Studija Kellogg School pokazuje da veća upotreba velikih jezičkih modela pri pisanju grant-prijava smanjuje novinu predloženih ideja: prijave potpomognute AI su sličnije ranije finansiranim projektima. Takve prijave imale su ~4 procentna poena veću verovatnoću finansiranja od NIH-a i oko 5% više publikacija, ali retko su rezultovale visoko citiranim "hit" radovima. Autori upozoravaju da šira primena AI može pomeriti portfolio ka bezbednijim, inkrementalnim istraživanjima umesto rizičnih proboja.
Veštačka inteligencija Menja Ko Dobija Grant — Ali Po kojoj Ceni?
AI Could Help Researchers Get Funding—But at What Cost?
Studija istraživača sa Kellogg School of Management istražuje kako upotreba velikih jezičkih modela (LLM), poput ChatGPT i Claude, utiče na sadržaj i ishod naučnih prijava za grantove. Analiza obuhvata poverljivu bazu prijava iz dve velike univerzitetske ustanove u periodu 2021–2025, uključujući i podnete, i finansirane i nefinansirane projekte prema NSF i NIH programima.
Glavni nalazi
Autori su otkrili da prijave koje su u većoj meri potpomognute AI sadrže ideje koje su semantički bliže ranije finansiranim projektima — drugim rečima, manje su nove i kreativne. Istovremeno, takve prijave imale su veću verovatnoću da budu finansirane od strane NIH-a i da rezultuju objavljenim radovima, ali retko su se pretvarale u visoko citirane „hit“ radove.
„Nauka napreduje istraživanjem ideja koje još ne deluju očigledno,“ kaže Dashun Wang, direktor CSSI. „Ako AI uči iz jučerašnjih uspešnih prijava, postoji rizik da se naučni portfelj sutra učini manje avanturističkim.“
Brojčani rezime
- Prijave sa visokom upotrebom AI imale su približno 4 procentna poena veću verovatnoću finansiranja od strane NIH-a u odnosu na prijave sa niskom upotrebom AI.
- Takve prijave dovele su u proseku do oko 5% više publikacija, ali nisu rezultovale većim brojem visoko citiranih radova.
Metodologija
Tim je kvantitativno kvantifikovao stepen asistencije AI analizom teksta prijava i dodeljivanjem rezultata za upotrebu AI. Potom su ocenili semantičku sličnost prijava u odnosu na ranije finansirane projekte kako bi izmerili novinu predloga. Kontrolisali su demografske varijable (pol, akademska pozadina) i čak uporedili prijave napisane istim istraživačem, ali sa različitim nivoima AI pomoći.
Razlike između NIH i NSF
Efekat veće verovatnoće finansiranja i većeg broja publikacija pojavio se za NIH ali ne i za NSF. Sekundarna analiza fokusirana na biomedicinska istraživanja pokazala je slične obrasce, što sugeriše da razlika nije samo posledica različitih polja koja agencije finansiraju. Moguća objašnjenja uključuju NIH-ovu sklonost ka snažnim preliminarnim rezultatima u aplikacijama ili duže vremenske okvire objavljivanja kod NSF projekata.
Implikacije i preporuke
Autori upozoravaju da širenje AI alata može podstaći istraživače da podnose "bezbednije", inkrementalne prijave koje imaju veću verovatnoću da budu prihvaćene, što može smanjiti udeo visokorizičnih, visoko-nagrađivanih istraživanja potrebnih za velike proboje. Iako AI može pomoći pojedincima da povećaju šanse za finansiranje i objave, kolektivni efekat može biti homogenizacija istraživačkih tema.
Preporuke uključuju da fondovi i univerziteti razmotre uravnotežen portfelj finansiranja koji aktivno podržava i rizične, ali potencijalno revolucionarne ideje, kao i da se dalje istraže mehanizmi preko kojih AI utiče na sadržaj prijava.
Zaključak
Upotreba LLM alata u pisanju grant-prijava ubrzava rad i može povećati stopu uspeha i objavljivanja, ali istovremeno postoji realan rizik smanjenja inovativnosti predloženih istraživanja. Dalja istraživanja i promišljena politika finansiranja potrebni su da bi se umanjili neželjeni sistemski efekti.
Pomozite nam da budemo bolji.
