Zico Kolter predvodi četvoročlani Komitet za bezbednost i sigurnost u OpenAI koji ima ovlašćenje da zahteva odlaganje ili zaustavljanje izdavanja novih AI sistema ako su nesigurni. Dogovori sa tužiocima Kalifornije i Delavera pojačali su značaj njegove uloge u restrukturiranju kompanije. Komitet pokriva teme od sajberbezbednosti i rizika povezanih sa težinama modela do mogućnosti zloupotrebe za bioterorizam i uticaja na mentalno zdravlje; kritičari su oprezno optimistični, ali čekaju da vide primenu obaveza u praksi.
Zico Kolter — profesor koji ima moć da zaustavi OpenAI: šta to znači za bezbednost AI
Zico Kolter — ko je i šta mu je u nadležnosti?
Ako smatrate da veštačka inteligencija predstavlja ozbiljan rizik za čovečanstvo, važno je znati da jedan profesor sa Carnegie Mellon univerziteta sada ima ključnu ulogu u nadzoru razvoja najmoćnijih AI sistema. Zico Kolter predsedava četvoročlanim Komitetom za bezbednost i sigurnost u OpenAI-ju, telom koje ima ovlašćenje da zahteva odlaganje ili čak zaustavljanje izdavanja novih modela ukoliko ih smatra nesigurnim.
Zašto je njegova uloga važna?
Ucenjeni dogovori koje je OpenAI postigao sa državnim tužiocima Kalifornije i Delavera — Robom Bontom i Kathy Jennings — dodatno su naglasili značaj Kolterovog nadzora u procesu restrukturiranja kompanije. Prema memorandumima, Kolter će biti član odbora neprofitne OpenAI Foundation, neće biti član odbora profitne poslovne jedinice, ali će imati puna prava posmatranja na sastancima i pristup informacijama o odlukama koje se tiču bezbednosti AI.
„Ne govorimo samo o egzistencijalnim brigama ovde. Radi se o čitavom nizu pitanja bezbednosti i sigurnosti i kritičnim temama koje se otvaraju kada govorimo o ovim veoma široko korišćenim AI sistemima,“
Koje teme Komitet prati?
- Sajber bezbednost: da li agenti mogu slučajno ili namerno izneti osetljive podatke?
- Bezbednost modela i "težine" modela: rizici povezani sa samim parametrima i načinom njihove distribucije.
- Mogućnost zloupotrebe: da li modeli pomažu u dizajnu bioloških oružja, sofisticiranih sajber-napada ili drugih štetnih aktivnosti?
- Uticaj na ljude: psihološki efekti, dezinformacije i šteta po mentalno zdravlje korisnika.
Konkretniji kontekst i kritike
OpenAI je od osnivanja naglašavao bezbednost kao centralnu misiju, ali je proširenje komercijalnih proizvoda i brzina lansiranja izazvala kritike da kompanija ponekad žuri sa izbacivanjem proizvoda. Interni sukobi tokom 2023. i pravne bitke — uključujući spor sa suosnivačem Elonom Muskom — dodatno su potaknuli zabrinutost javnosti.
Komitet koji vodi Kolter formiran je pre godinu dana; među članovima su i ljudi koji sede u glavnom odboru OpenAI-ja, poput bivšeg američkog generala Paula Nakasonea. Sam Kolter je rekao da odbor može zahtevati odlaganja izdavanja dok se ne sprovedu odgovarajuće mere ublažavanja rizika, ali je odbio da otkrije da li je panel do sada već intervenisao, pozivajući se na poverljivost.
Ko je Zico Kolter?
Kolter je direktor odeljenja za mašinsko učenje na Carnegie Mellon univerzitetu. AI je počeo da proučava još kao brucoš na Georgetownu početkom 2000-ih, kada je oblast bila znatno manje popularna. Prati OpenAI deceniju i bio je prisutan na događajima kompanije već 2015. Ipak, kao i mnogi stručnjaci, rekao je da nije očekivao tako brzo širenje sposobnosti i pratećih rizika.
Šta sleduje?
Zagovornici bezbednosti i kritičari pomno prate kako će obaveze unutar novih dogovora s tužilaštvima biti sprovedene u praksi. Nathan Calvin iz neprofitne organizacije Encode rekao je da je „oprezno optimističan“ — ali je upozorio da zapis na papiru mora dobiti stvarnu snagu kroz aktivnosti, resurse i transparentnost.
Zaključak: Kolterova uloga daje institucionalnu težinu nadzoru bezbednosti u OpenAI-ju, ali će stvarni efekat zavisiti od nezavisnosti komiteta, dostupnosti resursa i spremnosti uprave da posluša preporuke koje zahtevaju odlaganja ili promene u proizvodima.
Pomozite nam da budemo bolji.
