Rijeka, prosinac 2024. – Na Drugoj međunarodnoj konferenciji o nastavi i učenju u medicinskom obrazovanju (MEDRI 2025 – FUTUREMED), održanoj u organizaciji Medicinskog fakulteta Sveučilišta u Rijeci, Damir Medved, direktor EDIH ADRIA, predstavio je sveobuhvatnu analizu tehnoloških, etičkih i pravnih implikacija primjene AI konverzacijskih agenata u zdravstvu.
Revolucija s izazovima
Predavanje je započelo temeljnim pitanjem koje definira cijelu problematiku implementacije umjetne inteligencije u medicini: “Gdje je granica između općih informacija koje AI agent može primjereno pružiti i domena koji zahtijevaju profesionalnu ekspertizu?” Kao ilustraciju važnosti ovog pitanja, Medved je istaknuo da pogrešna konfiguracija automobila rezultira financijskim gubitkom, dok pogrešan medicinski savjet može imati ozbiljne zdravstvene posljedice.
Iskustvo EDIH ADRIA projekta, koji je rangiran unutar top 5% između 225 europskih digitalnih inovacijskih hubova po ostvarenim rezultatima, pokazuje da 92,3% pruženih usluga ima AI komponentu u isporučenim uslugama. Ovi podatci naglašavaju nevjerojatnu priliku koju AI konverzacijski agenti pružaju za transformaciju angažmana pacijenata, administrativne učinkovitosti i kliničke potpore, ali istovremeno otkrivaju i značajne izazove koji zahtijevaju pažljivu razmatranje.
Regulatorni krajolik koji se oblikuje
Jedno od središnjih pitanja predstavljenog istraživanja odnosi se na regulatornu klasifikaciju AI sustava u zdravstvu. Prema novom EU AI Act-u (Regulativa 2024/1689), sustavi za triaž pacijenata eksplicitno su klasificirani kao visokorizični prema Anex III, Sekcija 5(d), bez obzira na eventualno “administrativno” uokvirivanje. Ova klasifikacija povlači za sobom niz zahtjeva usklađenosti koji uključuju sustave upravljanja rizicima, dokumentaciju upravljanja podacima, automatsko bilježenje za revizije, mehanizme transparentnosti i odredbe o ljudskom nadzoru.
Medved je detaljno razradio različite razine klasifikacije AI funkcija. Dok je čisto zakazivanje termina klasificirano kao ograničeni rizik i ne spada pod medicinske uređaje, prikupljanje simptoma potencijalno je visokorizično i može biti klasificirano kao medicinski softver. Procjena hitnosti i prepoznavanje hitnih slučajeva nedvosmisleno spadaju u kategoriju visokog rizika te zahtijevaju klasifikaciju kao medicinski uređaj klase IIa+ odnosno IIb prema Regulativi o medicinskim proizvodima (MDR 2017/745).
Ključni rokovi usklađenosti koje institucije moraju imati na umu su veljača 2025. za obuku o AI pismenosti, kolovoz 2026. za Annex III sustave i kolovoz 2027. za medicinske uređaje. Ovi rokovi nisu preporuke nego obvezujući zahtjevi koji zahtijevaju trenutno djelovanje.
Pitanje odgovornosti u distribuiranom sustavu
Posebno zanimljiv segment predavanja odnosio se na kompleksnu distribuciju odgovornosti između različitih aktera u lancu implementacije AI sustava. Prema novoj Direktivi o odgovornosti za proizvode 2024/2853, AI sustavi sada su eksplicitno definirani kao “proizvodi”, pri čemu se pretpostavlja da su neusklađeni sustavi defektni. Direktiva pokriva i štete nastale kontinuiranim učenjem sustava, što je osobito relevantno za moderne AI modele.
Razvojni programeri i pružatelji AI sustava podliježu strogoj odgovornosti prema ovoj direktivi, dok zdravstvene institucije kao korisnici sustava ostaju odgovorne prema nacionalnim zakonima o deliktu. Ono što je posebno važno naglasiti jest da zdravstveni profesionalci zadržavaju profesionalnu odgovornost i ne mogu delegirati kliničku procjenu na AI sustave. Kako je Medved istaknuo, nadzor po principu “human-in-the-loop” ne eliminira odgovornost pružatelja usluga.
Dodatno, primjena GDPR Članka 22 znači da AI triaž predstavlja automatizirano odlučivanje, pri čemu pacijenti zadržavaju pravo na ljudsku intervenciju. Zanimljivo je napomenuti da je prvobitno predložena AI Direktiva o odgovornosti povučena u listopadu 2025., što znači da se zahtjevi temeljeni na krivnji sada provode kroz 27 različitih nacionalnih režima.
Paradoks sigurnosti: kada točnost nije dovoljna
Jedan od najupečatljivijih dijelova predavanja odnosio se na kliničke dokaze o performansama AI sustava za provjeru simptoma. Analiza 48 različitih sustava pokazala je da njihova točnost u primarnoj dijagnozi varira između samo 19% i 38%, dok točnost u triažu doseže između 49% i 90%. U usporedbi s općim liječnicima, najbolji AI sustavi postižu točnost od 70,5%, dok prosječni liječnici ostvaruju 82,1% točnosti.
Posebno zabrinjavajuća je pojava pod-triaža, gdje AI sustavi ne prepoznaju ozbiljna stanja u jednom od sedam do deset slučajeva. Medved je dokumentirao niz stvarnih neuspjeha AI sustava, uključujući Stanfordsko istraživanje iz 2025. koje je pokazalo da 20% odgovora AI sustava sadrži nesigurne preporuke, poput predlaganja visine mosta osobama s depresivnim mislima. ChatGPT je dokumentirano dao savjet osobi s infekcijom mokraćnog sustava da “pije urin”, što je dovelo do samootrovanja. Babylon Health je pokazao rodnu pristranost te interpretirao srčani udar kao napad panike, dok je istraživanje objavljeno u Annals of Internal Medicine pokazalo da čak 88% odgovora može biti lažno kada se chatbotovi manipuliraju.
Etički okviri i medicinske smjernice
Svjetska zdravstvena organizacija (WHO) objavila je 2021. godine šest temeljnih principa za implementaciju AI u zdravstvu koji obuhvaćaju zaštitu autonomije, promicanje sigurnosti, osiguravanje transparentnosti, poticanje odgovornosti, osiguravanje inkluzivnosti i promicanje održivosti. Ažuriranje iz 2024. godine dodalo je više od 40 preporuka specifično za velike jezične modele, s posebnim upozorenjima o “pristranosti automatizacije”.
Svjetsko medicinsko udruženje (World Medical Association) u svojoj deklaraciji iz 2025. godine koristi termin “nadopunjena inteligencija” umjesto “umjetna inteligencija”, naglašavajući da AI podržava, ali ne zamjenjuje ljudsku prosudbu. Liječnik mora zadržati konačnu vlast nad svim AI rezultatima. Slično tome, Stalni odbor europskih liječnika (CPME) u svojoj izjavi iz studenoga 2024. jasno navodi da “AI nije implementiran kako bi zamijenio zdravstvene profesionalce niti umanjio autonomiju pacijenata”, te da liječnici ostaju slobodni odlučiti o korištenju AI-a.
Primjenjujući klasične bioetičke principe na AI triaž, Medved je objasnio kako princip autonomije zahtijeva da budu pacijenti informirani o AI sustavu te da imaju pravo na procjenu koja se temelji isključivo na ljudskom sudu. Princip dobročinstva zahtijeva rigoroznu validaciju učinkovitosti i sigurnosti prije implementacije. Princip nepričinjavanja štete posebno je kritičan za prepoznavanje hitnih slučajeva gdje neuspjeh sustava može dovesti do neposredne štete. Konačno, princip pravde zahtijeva validaciju kroz različite populacije i adresiranje “digitalnog jaza”.
Povjerenje pacijenata kao temeljni preduvjet
Istraživanja prikazana u predavanju otkrila su fascinantan paradoks u stavovima pacijenata prema AI u zdravstvu. Čak 60% pacijenata osjeća nelagodu s primjenom AI-a u zdravstvu, dok 66% smatra da je “vrlo važno” znati je li AI uključen u njihovu skrb. Možda najzabrinjavajući podatak jest da se 71,5% pacijenata osjeća neugodno s AI sustavom koji ne može objasniti svoju logiku, čak i ako taj sustav postiže 90% točnosti.
Demografska analiza pokazuje da mlađe generacije, posebno u dobi između 18 i 34 godine, pokazuju veće povjerenje prema AI (oko 80%), dok starije generacije iznad 55 godina pokazuju manje od 60% prihvaćanja. Zanimljivo je da viša AI pismenost ne povećava povjerenje, već ga zapravo smanjuje, što ukazuje da informirani skepticizam vodi opreznim stavovima.
Ključno rješenje koje je Medved istaknuo odnosi se na ulogu liječnika kao “posrednika povjerenja”. Potvrda i preporuka zdravstvenog profesionalca značajno povećava prihvaćanje AI sustava od strane pacijenata. Vidljiv ljudski nadzor djeluje kao mehanizam koji olakšava primjerenu adopciju tehnologije.
Model postupne autonomije kao praktično rješenje
Kao odgovor na kompleksne izazove koje AI konverzacijski agenti predstavljaju, predavanje je predstavilo innovativan “Graduated Autonomy Framework” koji usklađuje autonomiju AI sustava s razinom kliničkog rizika. Ovaj model prepoznaje da granica između različitih razina autonomije određuje regulatornu klasifikaciju i distribuciju odgovornosti.
Za funkcije najnižeg rizika, poput pružanja informacija i odgovora na često postavljana pitanja, primjenjuje se model “human-on-the-loop” gdje je ljudski nadzor dostupan ali nije obvezan za svaku transakciju. Isti model vrijedi za osnovno zakazivanje termina. Za srednji rizik, poput upitnika o simptomima koji prikupljaju podatke, primjenjuje se “human-in-the-loop” gdje ljudski pregled postaje sastavni dio procesa.
Kod visokorizičnih funkcija poput procjene hitnosti koja zahtijeva prioritizaciju, potrebna je eksplicitna ljudska odobrenja prije poduzimanja bilo kakve akcije. Konačno, za kritične funkcije poput prepoznavanja hitnih slučajeva, primjenjuje se model “human-in-command” gdje AI sustav može samo upozoriti osoblje koje zadržava potpunu kontrolu nad odlukama.
Praktična demonstracija: AI asistent za polikliniku
Kako bi ilustrirao primjenu teorijskih principa, Medved je predstavio demonstraciju AI asistenta dizajniranog za polikliniku. Ovaj sustav dizajniran je prema jasnim principima transparentnosti, ograničenosti, konzervativnosti i revizije.
Asistent može razumjeti probleme pacijenata koristeći prirodni jezik kako bi identificirao potrebe, zakazati odgovarajuće usluge usklađujući potrebe s dostupnim terminima, pružiti opće informacije o radnom vremenu, lokacijama i pripremi za preglede, te prepoznati signale hitnosti i preusmjeriti komunikaciju uz istovremeno upozoravanje osoblja.
Ono što asistent eksplicitno ne radi jednako je važno kao i ono što radi. Sustav nikada ne predlaže medicinske dijagnoze niti sugerira specifična stanja. Ne daje preporuke o liječenju, ne predlaže lijekove ili terapije. Ne provodi kliničku prioritizaciju niti rangira hitnost slučajeva. Najvažnije, ne poduzima autonomne akcije u hitnim slučajevima već samo upozorava osoblje.
Ovakav dizajn omogućuje da sustav izbjegavanjem interpretacije simptoma ostane u kategoriji ograničenog administrativnog rizika, dok za prepoznavanje hitnih slučajeva primjenjuje human-in-command nadzor što osigurava regulatornu usklađenost i kliničku sigurnost.
Put naprijed: preporuke za implementaciju
Medved je zaključio predavanje s tri ključne preporuke za zdravstvene institucije koje razmatraju implementaciju AI konverzacijskih agenata. Prva preporuka odnosi se na točnu klasifikaciju funkcionalnosti prema EU AI Act-u, pri čemu triaž pacijenata mora biti tretiran kao visokorizična primjena te započeti proces usklađenosti odmah.
Druga preporuka naglašava implementaciju robusnog ljudskog nadzora za sve kliničke funkcije, koristeći model human-in-the-loop gdje nikada ne smije doći do potpuno autonomnog djelovanja. Treća preporuka zahtijeva definiranje jasnih granica funkcionalnosti gdje je zakazivanje prihvatljivo, ali procjena hitnosti i hitni slučajevi uvijek zahtijevaju neposredan ljudski pregled.
Ključni rokovi koje institucije moraju pratiti su veljača 2025. za obuku AI pismenosti, kolovoz 2026. za sustave iz Annex III i kolovoz 2027. za medicinske uređaje. Kako je Medved istaknuo, odgovorna implementacija je postiživa kroz primjenu modela postupne autonomije i robusnog ljudskog nadzora.
Predavanje je završilo snažnom porukom: “AI konverzacijski agenti nude stvarnu vrijednost, ali odgovorna implementacija zahtijeva da ih tretiramo kao alate koji nadopunjuju – nikada ne zamjenjuju – kliničku praksu.” Ova poruka rezonira s misijom EDIH ADRIA da pruža potporu u digitalnoj transformaciji koja je istovremeno inovativna i odgovorna, postavlja europske standarde u implementaciji AI tehnologija te doprinosi stvaranju zdravstvenog sustava koji kombinira tehnološku naprednost s ljudskom brigom.
Croatian 
English 
Italian