Studija Univerziteta u Barseloni ispitivala je može li generativni AI samostalno da stvara originalne vizuelne ideje koristeći Test Of Creative Imagery Abilities. U eksperimentu su učestvovali 27 umetnika, 26 ne-umetnika i model Stable Diffusion u dve varijante; 255 ocenjivača procenilo je 1.000 slika po pet kriterijuma. Rezultat: AI je bio uspešan samo uz ljudski prompt, dok je bez njega pokazao najslabije rezultate. Zaključak: AI danas nije autonomni izvor kreativnosti — kvalitet izlaza zavisi od ljudskog inputa.
Novo istraživanje: AI još ne dostiže ljudsku kreativnost u vizuelnim zadacima
A new study finds AI struggles with true creativity, especially in visual imagination tasks compared to humans. (CREDIT: Shutterstock)
Stranica ispunjena apstraktnim oblicima može probuditi sasvim različite ideje kod različitih ljudi: jedna osoba u zakrivljenoj liniji vidi pticu u letu, druga nešto mehaničko. Generativni sistemi veštačke inteligencije često ne uspevaju da iz istog oblika izvuku maštovitu ideju — i to je u središtu novog istraživanja Univerziteta u Barseloni.
Šta su istraživači pitali?
Tim iz Univerziteta u Barseloni u radu objavljenom u časopisu Advanced Science nije proveravao samo koliko je ubedljiva slika koju AI proizvede, već je postavio teže pitanje: može li AI samostalno da generiše istinski originalne vizuelne ideje bez ljudskog usmeravanja?
From left to right, Silvia Rondini, Xim Cerdá-Company, Antoni Rodríguez-Fornells, Claudia Álvarez, Olivier Penacchio and Dan Dediu. (CREDIT: UNIVERSITY OF BARCELONA
Metodologija
Istraživači su koristili standardizovani Test Of Creative Imagery Abilities (TCIA), koji učesnicima pokazuje apstraktne oblike i traži da u mislima formiraju sliku, opišu je i nacrtaju. U eksperimentu su učestvovale dve grupe ljudi — 27 vizuelnih umetnika i 26 ne-umetnika — dok je model Stable Diffusion izvršio isti zadatak u dve varijante:
- Human-guided: model je dobio prompt koji sadrži stvarnu ideju generisanu od strane jednog od ljudskih učesnika.
- Self-guided: model je dobio samo osnovni, minimalan prompt bez ljudske ideje.
Panel od 255 ljudskih ocenjivača procenio je ukupno 1.000 slika po pet dimenzija: dopadljivost, živost, originalnost, estetika i radoznalost.
Examples of drawings from each category (in rows): Visual Artists, Non-Artists, Human-Inspired GenAI, Self-Guided GenAI. The values reported in the right-hand top corner of each drawing correspond to the drawing’s Creativity score by humans, GPT-4o, and Guided-GPT-4o raters, respectively. (CREDIT: Advanced Science)
Rezultati
Rezultati su bili jasni i dosledni: vizuelni umetnici su dobili najbolje ocene, slede ne-umetnici. AI koji je dobio ljudski prompt plasirao se otprilike na nivou prosečnog ne-umetnika, dok je self-guided AI bio ocenjen najniže — i to sa značajnom razlikom.
„Iako je AI model bio treniran na kreativnim proizvodima ljudskih učesnika, pokazao je loš učinak u stvaranju kreativnih slika,“ rekla je Xim Cerdá-Company iz IDIBELL-a i CVC-UAB, ko-vođa studije. „Zapravo, radio je još lošije kada je bio lišen ljudske pomoći.“
Isto tako, istraživanje je pokazalo da GPT-4o kao automatizovani ocenjivač ima poteškoća u razlikovanju nivoa kreativnosti bez referentnih primera — tendencija da precenjuje AI-proizvode bila je očigledna. Kada su mu dati primeri ljudskih ocena, njegovi rezultati su se približili ljudskim, ali su i dalje imali veću varijansu.
Distribution of the responses among the k-means with k = 2 clusters. Left: by rater type (colour, Human vs. GPT-4o vs. Guided-GPT-4o). Middle: by rater type (colour) and drawer type (Human or Stable Diffusion). Right: by rater type (colour) and image category (Non-Artists, Visual Artists, Human-Inspired GenAI, and Self-Guided GenAI). (CREDIT: Advanced Science)
Zašto je ovo važno?
Prethodna istraživanja koja su koristila verbalne zadatke često su isticala AI kao „kreativnu“ zbog brzine i sposobnosti kombinovanja koncepata. Međutim, apstraktni vizuelni zadaci nemaju jasno semantičko uporište — i tu AI pokazuje ograničenja: bez konkretne ljudske sugestije model ne proizvodi originalne ideje.
Profesor Antoni Rodríguez-Fornells, ko-vođa studije, sažima: „Trenutni generativni AI modeli su još daleko od reprodukovanja nezavisnih kreativnih procesa.“
Ograničenja i praktične implikacije
Autori ističu da je u studiji korišćen jedan tip modela (Stable Diffusion) i da rezultati ne moraju u potpunosti da se generalizuju na najnovije multimodalne sisteme. Ipak, za dizajnere, umetnike, marketinške stručnjake i edukatore poruka je jasna: kvaliteta AI izlaza u kreativnim zadacima u velikoj meri zavisi od kvaliteta i specifičnosti ljudskog inputa. Modeli su, u ovom kontekstu, više izvršioci nego autonomni izvor ideja.
Rezultati su objavljeni u časopisu Advanced Science, a originalna priča pojavila se u The Brighter Side Of News.
Pomozite nam da budemo bolji.
