Studija Penn State ustanovila je da veliki jezički modeli, uključujući ChatGPT, odgovaraju tačno na približno 76% zdravstvenih pitanja na osnovu više od 200 stvarnih upita koje su ocenila devetorica lekara. AI najbolje funkcioniše kod rutinskih medicinskih pitanja, dok ima slabije rezultate u dermatologiji i pitanjima mentalnog zdravlja. Iako AI može pomoći ljudima bez pristupa lekarima, autori upozoravaju da se ne koristi za samodiagnozu.
Koliko greše AI „doktori“? Studija Penn State: ChatGPT tačan u oko 76% slučajeva
ChatGPT app displayed on a phone screen is seen in illustration. (Credit: Jakub Porzycki/NurPhoto via Getty Images)
Nova studija Penn State University pokazuje da veliki jezički modeli (LLM), među kojima je i ChatGPT, odgovaraju tačno na otprilike 76% zdravstvenih upita — rezultat koji istovremeno pokazuje potencijal i granice upotrebe AI u medicinskom savetovanju.
Kako je istraživanje provedeno
Tim predvođen dr Amulyom Yadav prikupio je više od 200 stvarnih korisničkih opisa simptoma i medicinskih pitanja, koja su poslata raznim AI sistemima, uključujući ChatGPT. Devet lekara sa odgovarajućim sertifikatima ocenjivalo je odgovore AI po kriterijumima tačnosti i pouzdanosti.
Glavni nalazi
Po brojevima: LLM modeli su u proseku bili tačni oko 76% vremena. ChatGPT je u analizi nadmašio ostale modele ukljuĉene u studiju. Generalno, odgovori LLM-ova bili su kvalitetniji od rezultata koje pružaju tradicionalni pretraživači poput Google-a i Bing-a u kontekstu zdravstvenih pitanja.
Gde AI pokazuje slabosti: Najniže ocene tačnosti zabeležene su kod pitanja iz oblasti dermatologije, mentalnog zdravlja i interne medicine. Dermatološka pitanja često zahtevaju analizu slika — domen u kojem trenutačno tekstualni modeli zaostaju — dok pitanja o mentalnom zdravlju traže nijansiranu procenu i klinički kontekst.
Praktični uticaj i upozorenja
Autorica studije, dr Yadav, napominje da AI može biti važan resurs za ljude koji nemaju pristup zdravstvenoj zaštiti: prema podacima WHO, više od 50% svetske populacije nema adekvatan pristup zdravstvenim uslugama. Ipak, upozorava — „LLM-ovi trenutno nisu tako tačni kao ljudski lekari i zato treba izbegavati samodiagnozu“.
Gallup-ova anketa navodi da AI utiče na zdravstvene odluke skoro polovine Amerikanaca; 14% ispitanika je izjavilo da su preskočili odlazak lekaru zbog informacija koje su dobili od AI, što istraživači prevode u oko 14 miliona ljudi u SAD.
Šta iz toga sledi
AI može pružiti brze informacije i pomoći ljudima bez pristupa lekaru, ali ne treba ga smatrati zamenom za medicinski pregled i stručni savet. Autori preporučuju oprez prilikom korišćenja LLM-ova za dijagnostiku i naglašavaju potrebu za dodatnim istraživanjima i regulacijom.
Napomena: Rezultati će biti predstavljeni na konferenciji FAccT 2026 u Montrealu. Izvor podataka: izveštaj Associated Press i istraživači Penn State-a.
Pomozite nam da budemo bolji.
