Istraživač bezbednosti u kompaniji Anthropic, Mrinank Sharma, dao je otkaz i upozorio da ubrzan razvoj veštačke inteligencije predstavlja ozbiljan rizik, uključujući mogućnosti bioterorizma. Sharma tvrdi da bezbednosni timovi trpe pritiske da zanemare ključne opasnosti. Dario Amodei je na Davosu pozvao na regulaciju kako bi se usporio razvoj i bolje upravljalo rizicima, dok su i drugi istraživači, uključujući članove OpenAI‑jevog tima „Superalignment“, napustili firme iz sličnih razloga.
Istraživač bezbednosti u Anthropicu dao otkaz: „Svet je u opasnosti“ zbog brzog napretka AI
Istraživač bezbednosti u kompaniji Anthropic, Mrinank Sharma, podneo je ostavku i izjavio da je „svet u opasnosti“, delom zbog ubrzanog razvoja veštačke inteligencije. Sharma je upozorio da bezbednosni timovi često trpe pritiske da zanemare ključne rizike, među kojima je i mogućnost zloupotrebe u obliku bioterorizma.
Pritisci na timove za bezbednost
Prema Sharmaovim tvrdnjama, bezbednosni odeljak u Anthropicu „stalno trpi pritiske da zanemari ono što je najvažnije“, što otežava rad na proceni i mitigaciji najtežih scenarija. On je posebno istakao zabrinutost zbog potencijalnih posledica kombinacije moćnih AI sistema i biotehnologije.
„Svet je u opasnosti“, rekao je Sharma, dodajući da su timovi pod pritiskom da odlože ili umanje rad na najvećim rizicima.
Pozivi za regulaciju i šira kontekst
Anthropic je osnovan s namerom da razvija bezbedne AI sisteme. Izvršni direktor kompanije, Dario Amodei, izjavio je na Svetskom ekonomskom forumu u Davosu da napredak AI ide prebrzo i pozvao na regulaciju kako bi se lideri industrije primorali da usporе tempo razvoja i bolje upravljaju rizicima.
Ovaj slučaj nije usamljen: nekoliko istaknutih istraživača za bezbednost AI napustilo je vodeće firme zbog zabrinutosti za katastrofalne rizike. Dvoje ključnih članova OpenAI tima „Superalignment“, zaduženog za pravac razvoja sigurnih sistema, dali su otkaz 2024. tvrdeći da kompanija više naglašava finansijsku dobit nego minimizaciju opasnosti koje donosi izgradnja „AI sistema mnogo pametnijih od nas“.
Šta to znači za javnost i kreatore politike
Odlazak istraživača poput Sharma naglašava potrebu za transparentnijim procesima u kompanijama koje razvijaju napredne AI modele, kao i za bržim i efikasnijim regulatornim okvirima koji bi smanjili rizike od zloupotrebe i sistemskih grešaka. Stručnjaci pozivaju na veću saradnju industrije, naučne zajednice i regulatora kako bi se postigla bezbednija i odgovornija primena tehnologije.
Pomozite nam da budemo bolji.
