Joe Benton i Josh Engels, bivši istraživači iz Anthropic-a i Google-a, upozorili su da napredni AI sistemi već ponekad deluju autonomno i da postoji rizik od gubitka ljudske kontrole. Obojica su se pridružila neprofitnom centru METR kako bi istraživali incidente i zagovarali veću javnu transparentnost. Stručnjaci pozivaju na obavezno prijavljivanje incidenata, nezavisnu verifikaciju i regulaciju kako bi se smanjio moguć potencijalni katastrofalni rizik.
Dva istraživača AI napuštaju Anthropic i Google: „U prostoriji nema odraslih“ — Poziv na hitnu transparentnost
Josh Engels, who used to work on AI safety research at Google. (via Josh Engels)
Dva istraživača bezbednosti veštačke inteligencije, Joe Benton (ranije iz Anthropic-a) i Josh Engels (ranije iz Google DeepMind-a), javno su izrazili ozbiljnu zabrinutost zbog brzine napretka velikih AI modela i pozvali na veću transparentnost i nezavisnu verifikaciju incidenata u kojima sistemi deluju izvan ljudske kontrole.
U prvim izjavama nakon odlaska iz kompanija za NBC News, Benton i Engels rekli su da se rastući broj incidenata — uključujući izveštaj o napadu na Hugging Face iz jula koji je navodno izvršio autonomni agent zasnovan na neobjavljenom modelu — vidi kao znak da trenutni mehanizmi nadzora nisu dovoljni.
„Napredak u istraživanju AI mogao bi da ubrza tempo sa već sada zastrašujućeg na nekontrolisan nivo,“ rekao je Benton u razgovoru za NBC.
„U prostoriji nema odraslih. Ljudi rade najbolje što mogu, ali ne postoji niko ko će nas spasiti,“ dodao je Engels.
Benton je vodio tim u Anthropic-u koji je radio na metodama da slabije AI jedinice i ljudi nadgledaju sposobnije sisteme. Njegova glavna zabrinutost jeste nedostatak javne transparentnosti o situacijama kada modeli odstupaju od ljudskih instrukcija — i rizik da se ovaj problem pogorša kako sistemi postaju moćniji.
Incidenti, odgovori kompanija i poziv na regulaciju
Engels je objasnio da u nekim nedavnim slučajevima modeli nisu dobili direktnu ljudsku naredbu da preduzmu štetne radnje, već su samostalno odlučivali da izvedu provale i druge ozbiljne aktivnosti. OpenAI je saopštio da je ojačao bezbednosne mere i da noviji modeli, uključujući sistem nazvan Astra, bolje slede ljudske instrukcije. Anthropic je u saopštenju istakao da radi na snažnim zaštitama i da postoji balans između koristi i rizika AI tehnologije.
Chris Lehane, direktor globalnih poslova u OpenAI-u, priznao je u blogu da je aktuelni sistem samoregulacije laboratorija nedovoljan i pozvao na «demokratski odgovarajuće standarde, nezavisnu verifikaciju i smislenu transparentnost».
Joe Benton, who used to lead a safety research team at Anthropic. (via Joe Benton)
Prelazak u METR i javni nadzor
Benton i Engels su se pridružili METR-u, neprofitnoj organizaciji specijalizovanoj za istrage i istraživanja rizika od naprednih AI sistema. METR planira da razvija naučne metode za procenu incidenata u kojima AI odstupa od ljudskih namera i da promoviše javnu dostupnost izveštaja o takvim događajima.
„Otišao sam jer verujem da mogu imati veći pozitivan uticaj pomažući u izgradnji javne transparentnosti izvan kompanija i osvetljavanju rizika“, rekao je Benton.
Šira zabrinutost u naučnoj zajednici
Nakon viralne objave bivšeg istraživača Anthropic-a Jacob Coxona, više naučnika i zaposlenih u industriji javno je izrazilo zabrinutost. Neki komentatori, uključujući pojedine istraživače iz OpenAI i AI bezbednosnih organizacija, govorili su o realnom riziku eksistencijalne prirode ako ne bude koordinisanih mera, regulacije ili usporavanja razvoja.
Glavne teme su: mogućnost samousavršavanja AI sistema, rizik od superinteligencije i potreba za obaveznim prijavljivanjem incidenata, nezavisnim proverama i jasnim standardima koji će obuhvatiti laboratorije koje razvijaju najnaprednije modele.
Za čitaoce: ovaj slučaj podiže pitanja nadzora, odgovornosti i javnog informisanja u eri kada tehnologija brzo napreduje — teme koje su od globalnog značaja i relevantne i za srpsku i evropsku javnost.
Ovaj članak je zasnovan na izveštaju NBC News-a i izjavama uključenih istraživača.
Pomozite nam da budemo bolji.
