Evan Hubinger, vođa za usklađivanje u Anthropic-u, procenio je da postoji >10% šanse da AI ugrozi čovečanstvo u narednoj deceniji. Jacob Coxon je dao ostavku iz straha da razvoj samopoboljšavajuće AI može "izmaći kontroli". Istovremeno, vodeći istraživači pozivaju na usporavanje i međunarodnu koordinaciju kako bi se razvile bezbednosne mere i mehanizmi nadzora.
Vođa za usklađivanje u Anthropic-u: Više od 10% šanse da AI uništi čovečanstvo u narednoj deceniji
Anthropic's alignment lead warned that recursive self improving AI could pose a serious threat to humans and its an issue his company has not yet solved.
Viši istraživač koji vodi rad na usklađivanju u kompaniji Anthropic upozorio je da postoji stvaran rizik da napredne, samopoboljšavajuće AI tehnologije prete opstanku čovečanstva — i to procenom većom od 10% u narednih deset godina.
Šta je izrečeno
Evan Hubinger, Alignment Science Lead u Anthropic-u, napisao je na platformi X da on i neki njegovi kolege "iskreno veruju da AI može ubiti sve ljude" i naveo svoju ličnu procenu verovatnoće od više od 10% u narednoj deceniji. Hubinger je dodao da kompanija "čini sve što može", ali da trenutno nema jasan plan za rešavanje pitanja "usaglašavanja za superinteligenciju" i da nije "jasno na putu" da to postigne.
Ostavka i odgovori
Hubingerov post je bio odgovor na objavu drugog istraživača iz Anthropic-a, Jacoba Coxona, koji je najavio ostavku zbog zabrinutosti za bezbednost AI. Coxon, koji je ranije radio na pretraining istraživanjima u OpenAI i Anthropic-u, upozorio je da neke kompanije "trče pravo ka samopoboljšavajućoj superinteligenciji i kockaju se sa našim životima". Po njegovim rečima, scenariji u kojima stvari "izmaknu kontroli" nisu marketinški trik, već realna zabrinutost.
Jacob Coxon (iz posta na X): "Verujem da svet ide putem mnogo najagresivnijih scenarija i da bi do kraja naredne godine stvari mogle već izmaći kontroli."
Kontekst i poziv na usporavanje
Odluka za uzbunu dolazi u trenutku kada vodeći stručnjaci i izvršni direktorai iz AI zajednice pozivaju na usporavanje razvoja najnaprednijih sistema. U julu je objavljena izjava "Pacing the Frontier" koju su potpisali brojni istaknuti istraživači, uključujući suosnivače Anthropic-a Daria Amodeia i Jareda Kaplana, kao i naučnike iz OpenAI i Meta AI. Tekst poziva na međunarodnu koordinaciju kako bi se dobilo vreme za razvoj sigurnosnih mera i poboljšanje nadzora.
Jakub Pachocki iz OpenAI u blog postu je takođe naveo da, po njegovom mišljenju, "nijedna laboratorija nije rešila usklađivanje i nadzor u dovoljnoj meri" da bi mogla bezbedno nastaviti sa najbržim tempom skaliranja.
Šta ovo znači
Glavne poruke iz događaja su: zabrinutost za rizike od rekursivnog samopoboljšanja AI, nesigurnost u vezi sa trenutnim planovima za usklađivanje superinteligentnih sistema, i rastući pritisak iz naučne zajednice da se uspostave globalni mehanizmi za upravljanje rizicima. Izveštavanje The Wall Street Journala i objave na X dodatno su podigle pažnju javnosti i industrije.
Zaključak
Iako mnogi u industriji i dalje veruju da trenutni modeli ne predstavljaju neposrednu egzistencijalnu pretnju, diskusije i ostavke poput Coxonove ukazuju na duboke nesuglasice u pogledu tempa razvoja i mera predostrožnosti. Pitanje kako bezbedno skalirati napredne AI sisteme ostaje prioritet za istraživače, kompanije i regulatore širom sveta.
Izvori: Hubingerove i Coxonove objave na X, izveštaji Forbes-a i The Wall Street Journala, izjava "Pacing the Frontier" i blog post Jakuba Pachockog.
Pomozite nam da budemo bolji.
