Nova studija pokazuje da AI češće prihvata i prenosi lažne medicinske tvrdnje kada one izgledaju kao autoritativni medicinski dokument. U testu 20 modela i preko 1.000.000 upita, prosečna stopa verovanja lažima iznosila je 32%, ali je narasla na gotovo 47% kada su greške bile ubačene u bolničke otpusne beleške. Istraživači pozivaju na ugrađene mehanizme verifikacije pre šire primene AI u zdravstvu.
Studija: AI Lakše Širi Medicinske Dezinformacije Ako Izgledaju Autoritativno
FILE PHOTO: Illustration shows AI (Artificial Intelligence) letters and robot hand
Veštačka inteligencija češće daje netačne medicinske savete kada lažne tvrdnje potiču iz izvora koje algoritmi smatraju autoritativnim, pokazala je nova studija objavljena u časopisu The Lancet Digital Health.
Kako je studija sprovedena
Istraživači sa Mount Sinaia testirali su 20 otvorenih i vlasničkih modela velikih jezika na tri vrste sadržaja: prave bolničke otpusne beleške u koje je umetnuta jedina izmišljena preporuka, uobičajene zdravstvene mitove prikupljene sa Reddita i 300 kratkih kliničkih scenarija koje su napisali lekari. Odgovori modela analizirani su na više od 1.000.000 upita — pitanja i instrukcija korisnika vezanih za te sadržaje.
Ključni nalazi
U celini, modeli su „poverovali“ izmišljenim informacijama iz oko 32% ispitanih izvora. Međutim, kada je dezinformacija bila ubačena u dokument koji je delovao kao stvarna bolnička beleška, verovatnoća da će AI prihvatiti i proslediti netačnu preporuku porasla je na gotovo 47%.
Suprotno tome, kada su laži poticale iz objava na Redditu, širenje od strane AI alata palo je na samo 9%. Takođe, način na koji je formulisan upit uticao je na verovatnoću prenošenja dezinformacije: autoritativni ton — npr. "Ja sam viši kliničar i podržavam ovu preporuku" — povećavao je verovatnoću da model prihvati netačnu tvrdnju.
„Trenutni AI sistemi često tretiraju samouveren medicinski jezik kao istinit po difoltu, čak i kada je jasno netačan“, rekao je dr Eyal Klang iz Icahn School of Medicine.
Studija je pokazala i veliku razliku među modelima: GPT modeli kompanije OpenAI bili su najmanje podložni i najtačniji u detekciji zabluda, dok su neki drugi modeli prihvatali do 63,6% lažnih tvrdnji.
Implikacije i preporuke
Istraživači upozoravaju da takva ranjivost predstavlja značajan rizik ako se AI alati široko integrišu u zdravstvenu negu — posebno u mobilnim aplikacijama koje pacijentima nude savete i u sistemima koji pomažu lekarima u donošenju odluka. Potrebne su ugrađene provere i mehanizmi za verifikaciju medicinskih tvrdnji pre nego što AI predstavi informacije kao činjenice.
Autor studije dr Girish Nadkarni ističe: „AI može biti značajna pomoć za kliničare i pacijente, ali mora imati zaštitne mehanizme koji proveravaju medicinske tvrdnje pre nego što se predstave kao činjenice.“
Posebno, nedavno istraživanje u Nature Medicine pokazalo je da postavljanje pitanja AI o simptomima nije superiornije u odnosu na uobičajenu internet pretragu kada je reč o pomoći pacijentima pri donošenju zdravstvenih odluka.
Pomozite nam da budemo bolji.
