Naše usluge

Edukacije stručnjaka
u IT industriji

Naziv edukacije

Naučite vlastiti LLM: BERT

Arhitektura i principi duboke mreže. Principi učenja duboke mreže. Aktivacijske funkcije. Funkcije gubitka.
Razlike rekurentne mreže i transformer mreže. Enkoderi, dekoderi i enkoderi-dekoderi. Mehanizni pažnje: Self attention i Multihead attention.

Sadržaj edukacije:

Učenje jezičnog modela na rekurentnoj i transformer arhitekturi. Autoregresivno i maskirano učenje.
Statički i dimenički (kontekstuializirani) vektori za reprezentaciju jezika- embeddings.
BERT model s varijacijama: RoBERTa, AlBERT, SpanBERT.
Transfer learninig principi – fino podešavanje modela na korisnički zadatak iz domene predviđanja sekvence, klasifikacije ili generiranje rečenica.

Trajanje: 4h

Izvođači: Prof. dr. sc. Sanda Martinčić-Ipšić / Andrija Poleksić, Fakultet informatike i digitalnih tehnologija

Lokacija: Fakultet informatike i digitalnih tehnologija, Radmile Matejčić 2, 51000 Rijeka

Termin: 27.3.2024., 22.05.2024., 14-19h

Prijava

<– povratak

digitalna transformacija
jadranske hrvatske

info@edihadria.eu

EDIH Adria konzorcij (Projekt je sufinanciran od strane Europske unije prema Ugovoru o dodjeli bespovratnih sredstava br. 101083838 i Nacionalnom planu oporavka i otpornosti Republike Hrvatske 2021.-2026.)

Trg braće Mažuranića 10, 51000 Rijeka

digitalna transformacija jadranske hrvatske

info@edihadria.eu

EDIH Adria konzorcij (Projekt je sufinanciran od strane Europske unije prema Ugovoru o dodjeli bespovratnih sredstava br. 101083838 i Nacionalnom planu oporavka i otpornosti Republike Hrvatske 2021.-2026.)

Trg braće Mažuranića 10, 51000 Rijeka

Nešto nije u redu. Pokušajte ponovno.
Prijava uspješna.

© 2025. EDIH Adria

Pravila privatnosti

Made with ❤️ & 🧠 by STRATEGIJA 22​

Pravila privatnosti

© 2025. EDIH Adria

Made with ❤️ & 🧠 by STRATEGIJA 22​

što je

de minimis?

Potpora male vrijednosti, koja u ukupnom iznosu ne može biti veća od 200.000 € po pojedinom poduzetniku, odnosno 100.000 € ako je riječ o poduzetniku koji obavlja djelatnost cestovnog prijevoza za najamninu ili naknadu, u bilo kojem razdoblju unutar tri fiskalne godine.

Pri tom se uzimaju u obzir sve potpore male vrijednosti (zbrajaju se) neovisno o instrumentu, namjeni i razini davatelja potpore male vrijednosti.

EDIH Adria

Prijava

Osobne podatke prikupljene ovom prijavom koristit ćemo u skladu s Pravilima privatnosti.