Razvoj generativne umjetne inteligencije u 2024: Primjene, izazovi i edukacija

U 2023. godini svjedočili smo nevjerojatno brzom razvoju tehnologija generativne umjetne inteligencije (UI), koje se temelji na velikim jezičnim modelima (LLM). Razvoj velikih jezičnih modela, posebice multimodalnih (tekst, slika, zvuk, programski kod) ubrzao je mogućnosti primjene u različitim poslovnim segmentima poput marketinga – upravljanje prodajnim kanalima te općenitoj komunikaciji s kupcima i korisnicima, pisanju zapisnika i sažetaka velikih poslovnih studija; u medicini za brže pisanje medicinskih izvještaja i dijagnoza, u edukaciji za pomoć pri provjeri znanja; u pravu za bržu analizu pravnih spisa i pisanje pravnih dokumenta, u znanstvenim istraživanjima za predviđanje novih antibiotika i drugo. Studije pokazuju da je generativna umjetna inteligencija već unijela promjene na tržište rada te da će se promjene i dalje nastaviti velikom brzim.

Međutim, ekonomske dobrobiti primjene ove tehnologije dolaze uz niz potencijalnih sigurnosnih problema poput generiranja netočnog sadržaja, koji se naziva halucinacijama, pristranog ili uvredljivog sadržaja (bias i toxicity), pouzdanošću generiranog teksta, autorskim pravima i privatnosti. Navedeni rizici mogu značajno naštetiti reputaciji tvrtke te utjecati na društvo.

EDIH Adria projekt pripremio je niz jednodnevnih radionica na kojima možete pronaći najbolji način da povećate vlastitu produktivnost i unaprijedite poslovanje primjenom generativne umjetne inteligencije.

Prompt inžinjering tako pokriva teme poput: uvoda u generativnu UI te utjecaj na poslovanje i tržište rada. Pregled zadataka koje generativna UI može riješiti te kojim izazovima nije dorasla uz pregled rizika i ograničenja. Odgovorit će se na pitanje koja je razlika korištenja prednaučenih i fino podešenih modela, te će se dati pregled modela za generiranje teksta, slika, govora, muzike i videa uz primjere primjene u marketingu, medicini, poslovanju itd. Nadalje sitematizirat će se prompt inžinjering pristupi i preporuke uz Zero-shot Prompting, Few-shot Prompting, Chain-of-Thought Prompting, Tree of Thoughts prompting, ReAct prompting, Active-Prompting, Multimodal CoT prompting, itd.

Uvod u razvoj aplikacija koje se zasnivaju na LLM-u (velikom jezičnom modelu) je edukacija koja se temelji na primjeni Transformer arhitekture duboke mreže, odnosno njezinom dekoder dijelu. Uvodno će se predstaviti principi učenja velikih jezičnih modela za generiranje teksta, njihovo fino podešavanje i principi evaluacije na benchmark podacima. Također, predstavit će se tehnike za primjenu velikih jezičnih modela u aplikacijama poput finog podešavanja, problem kastastrofalnog zaboravljanja te učenja unutar konteksta. Predstavit će se tehnike podešavanja parametara (Parameter Efficient Fine-Tuning-PEFT), adaptera te Low-Rank Adaptation of Large Language Models- LoRA tehnike. Posebice će se pažnja posvetiti generiranju činjenično točnih tekstova s Retrieval Augmented Generation (RAG) tehnikama uz primjenu vektorskih baza, grafova znanja ili eksternog znanja. Objasnit će se LLM agenti te najvažniji programskih paketa za izgradnju aplikacija poput LangChain-a i LlamaIndex-a. Nakon ovog tečaja korisnici će razlikovati prednaučene od fino podešenih modela, te biti u mogućnosti započeti s razvojem aplikacija koje odgovorno i sigurno koristite generativnu UI.

Ukoliko se korisnici žele okušati u izgradnji vlastitog LLM-a na BERT arhitekturi, napredna edukacija pokriva osnovne arhitekture i principe dubokog učenje s aktivacijskim funkcijama i funkcijama gubitka. Objasnit će se razlike rekurentne mreže i transformer mreže, te njezinih enkoder, dekoder i enkoderi-dekoder varijanti. U osnovi arhitekture su mehanizmi pažnje Self attention i Multihead attention. Objasnit će se principi autoregresivnog i maskiranog učenja, te razlika između statičkih i dinamičkih (kontekstuializiranih) vektora za reprezentaciju jezika- embeddings. BERT model dolazi s varijacijama: RoBERTa, AlBERT, SpanBERT. Za uspješnost učenja modela važno je razumjeti principe učenja s prijenosom (transfer learning) uz fino podešavanje modela na korisnički zadatak iz domene predviđanja sekvence, klasifikacije ili generiranje rečenica.