Upozorenje: ChatGPT i drugi LLM modeli ne razlikuju uverenja od činjenica

ChatGPT ne razlikuje uverenja od činjenica — novo istraživanje sa Stanforda

Novo istraživanje sa Stanford univerziteta pokazuje da veliki jezički modeli (LLM), uključujući ChatGPT, Claude, DeepSeek i Gemini, imaju ozbiljne poteškoće u razlikovanju uverenja od objektivnih činjenica. Tim istraživača testirao je 24 modela na više od 13.000 pitanja i utvrdio da nijedan od testiranih modela nije dosledno prepoznao kada je neko uverenje netačno.

„Kako se jezički modeli sve češće uvode u oblasti visokog rizika, poput prava, medicine, novinarstva i nauke, njihov kapacitet da razlikuju uverenje od znanja i činjenicu od fikcije postaje od suštinskog značaja“, navode autori studije.

Istraživači su zabeležili da modeli često „haluciniraju“ ili prihvataju netačne tvrdnje kao validne, što povećava rizik od širenja dezinformacija. Takvo ponašanje ima direktne, zabrinjavajuće posledice u oblastima gde su tačnost i verodostojnost ključni — na primer, u medicinskim dijagnozama, sudskim procenama ili novinarskom izveštavanju.

„Ovi rezultati otkrivaju strukturnu slabost jezičkih modela: teškoće u doslednom razlikovanju subjektivnog uverenja i objektivne istine u zavisnosti od formulacije tvrdnje“, rekao je Pablo Haya Coll iz Laboratorije za kompjutersku lingvistiku Autonomnog univerziteta u Madridu (koji nije bio uključen u studiju).

Autori studije, Language models cannot reliably distinguish belief from knowledge and fact, objavljene u časopisu Nature Machine Intelligence, pozivaju tehnološke kompanije da hitno poboljšaju modele pre njihovog uvođenja u domene visokog rizika.

Moguća rešenja i ograničenja

Jedno od predloženih rešenja jeste treniranje modela da bude oprezniji u formulisanju odgovora — na primer, da jasno razdvoje šta je provera činjenica, a šta izveštaj o nečijem uverenju. Ipak, kako ističu stručnjaci, takav pristup može smanjiti učestalost halucinacija, ali i negativno uticati na korisnost i fluentnost odgovora.

Dok se ne postignu robustnija rešenja, autori i nezavisni stručnjaci upozoravaju na ograničenu pouzdanost LLM-a u kritičnim kontekstima i pozivaju na dodatnu proveru informacija i jasnu human-in-the-loop kontrolu.

Ključne činjenice:

• Testirano: 24 LLM-a, preko 13.000 pitanja.
• Glavni problem: modeli ne prepoznaju dosledno lažna uverenja i često ih prihvataju kao činjenice.
• Preporuka: unapređenja modela i oprez pri primeni u pravnim, medicinskim i novinarskim domenima.

Studija: "Language models cannot reliably distinguish belief from knowledge and fact", Nature Machine Intelligence.