Nova studija pokazuje da DALL·E 3 i ChatGPT (GPT‑3.5) često stvaraju slike i tekstove o Neandertalcima koji odražavaju zastarele naučne predstave i stereotipe. Istraživači su analizirali 400 slika i 200 odlomaka i otkrili mešanje hronologija, izostanak žena i dece i značajnu vezu sa literaturom iz sredine i kraja 20. veka. Autori pozivaju na širi otvoreni pristup naučnim izvorima i na kritičko obrazovanje o upotrebi AI.
AI Zastarava Neandertalce — Novo istraživanje otkriva veliki jaz između modela i savremene nauke
The species, known scientifically as Homo neanderthalensis, has been debated for more than a century. (CREDIT: Advances in Archaeological Practice)
Generativni modeli veštačke inteligencije često nude brze odgovore, ali koliko su ti odgovori tačni kada je reč o dalekoj prošlosti? Novo istraživanje koje su vodili Matthew Magnani (Univerzitet u Mejnu) i Jon Clindaniel (Univerzitet u Čikagu), objavljeno u časopisu Advances in Archaeological Practice, ispituje upravo to pitanje kroz primeru Neandertalaca (Homo neanderthalensis).
Images closest to average embedding from the four different prompts; clockwise from the top with prompt revision, with prompt revision (expert), no prompt revision (expert), and no prompt revision. (CREDIT: Advances in Archaeological Practice)
Kako su istraživači testirali AI
Tim je 2023. godine testirao dve široko korišćene platforme: DALL·E 3 za generisane slike i ChatGPT baziran na modelu GPT‑3.5 za kratke tekstove. Za slike su pripremili četiri tipa upita — dva bez eksplicitnog zahteva za naučnom tačnošću i dva vođena ekspertizom — i svaki pokrenuli po 100 puta (ukupno 400 slika). Za tekst su generisali 200 jednoparagraph opisa, od kojih je polovina nastala iz osnovnog pitanja, a polovina iz upita koji je modelu nalagao da odgovori kao stručnjak za ponašanje Neandertalaca.
Availability of “Neanderthal” article content type by year in the collected Constellate dataset. (CREDIT: Advances in Archaeological Practice)
Glavni nalazi
Rezultati pokazuju izražen problem: veliki deo generisanog sadržaja oslanja se na zastarele predstave. Slike često prikazuju Neandertalce kao snažno pogrbljene, prekrivene debelom dlakom i slične majmunskim oblicima; žene i deca su retko prisutni, a scene se fokusiraju na mišićave odrasle muškarce. Tekstovi su u oko polovine slučajeva bili neusklađeni sa savremenim istraživanjima — u jednom od upita više od 80% odlomaka nije odražavalo aktuelna naučna znanja.
Clusters of scholarly abstracts identified by HDBSCAN and projected into two dimensions by UMAP. Abstracts that could not be assigned to a cluster are denoted with the color gray. (CREDIT: Advances in Archaeological Practice)
Modeli su takođe mešali hronologije: u istim scenama pojavljivale su se korpe, merdevine, staklo, metalni alati ili slamnati krovovi — tehnologije koje nisu odgovarale vremenu Neandertalaca. Poređenjem sa arheološkom literaturom, istraživači su procenili da tekstovi ChatGPT‑a najviše korespondiraju sa radovima iz ranih 1960‑ih, dok su slike DALL·E 3 najbliže literaturi iz kasnih 1980‑ih i ranih 1990‑ih.
Subclusters of scholarly abstracts in cluster 0, as identified by HDBSCAN using a leaf-based cluster selection method and projected into two dimensions using UMAP. AI-generated text embeddings have been superimposed according to their predicted cluster membership. (CREDIT: Advances in Archaeological Practice)
Zašto dolazi do ovih grešaka
Jedan od ključnih razloga je pristup izvorima: mnogo savremenih naučnih radova nalazi se iza paywalla, pa su stariji, pristupačniji izvori neproporcionalno zastupljeni u podacima koje model uči. Autori su i sami, prilikom izrade uporednog skupa radova, morali da se oslone na apstrakte za radove posle 1920‑ih, što ilustruje ovu sistemsku pristrasnost.
Posledice i preporuke
Generativna AI može olakšati pristup istoriji i nauci široj publici, ali istovremeno rizikuje da masovno širi zastarele stereotipe i netačne predstave. U antropologiji i arheologiji, gde javno razumevanje često zavisi od slika i priča, takve greške mogu utvrditi pogrešne predstave.
Istraživači pozivaju na:
- Širi otvoreni pristup naučnim radovima kako bi modeli učili iz savremenih istraživanja;
- Uključivanje eksperata pri oblikovanju sadržaja namenjenog obrazovanju i komunikaciji nauke;
- Podučavanje kritičkom korišćenju generativne AI u školama i medijima.
„Omogućavanje da antropološki skupovi podataka i naučni članci budu AI‑pristupačni jedan je od važnih koraka kako bismo dobili tačniji AI izlaz,“ rekao je Jon Clindaniel.
Rad pruža i metodološki šablon koji drugi istraživači mogu upotrebiti za proveru koliko generisani sadržaji odgovaraju aktuelnoj stručnoj literaturi. Rezultati su dostupni u časopisu Advances in Archaeological Practice.
Pomozite nam da budemo bolji.
