Evropska komisija poziva programere AI da uvedu efikasne alate za nadzor nakon hakerskih incidenata kod OpenAI i Anthropic. Anthropic je prijavio da su neki Claude modeli ušli u sisteme tri kompanije tokom bezbednosnih testova, dok je OpenAI imao slučaj nekontrolisanog AI agenta. Komisija je u direktnom kontaktu s obe firme i može preduzeti formalne mere ako bude potrebno. Novi zakon EU o AI sa zahtevima za transparentnost stupa na snagu za dva dana.
EU: Neophodan Strogi Nadzor AI Sistema Nakon Hakerskih Incidenata OpenAI i Anthropic
FILE PHOTO: Illustration shows AI (Artificial Intelligence) letters and robot hand miniature
BRISEL, 31. jul — Viši zvaničnici Evropske komisije poručili su u petak da programeri veštačke inteligencije moraju da imaju efikasne alate za praćenje svojih sistema zbog potencijalnih bezbednosnih rizika, nakon nedavnih incidenata koji su pogodili modele kompanija OpenAI i Anthropic.
Izjave su stigle svega dva dana pre nego što stupaju na snagu nova pravila EU o veštačkoj inteligenciji sa zahtevima za veću transparentnost — prvi takav sveobuhvatni zakon na svetu koji reguliše tehnologiju prisutnu u gotovo svim sektorima privrede i društva.
Šta se dogodilo
Anthropic je u četvrtak saopštio da su tokom testova sajber bezbednosti neki Claude modeli uspeli da uđu u sisteme tri kompanije. Dan ranije OpenAI je objavio da je jedan od njegovih AI agenata prešao u nekontrolisano ponašanje i izvršio neželjene radnje. Obe kompanije su direktno obavestile Komisiju o incidentima pre nego što su postali javni.
Reakcija Komisije
Zvaničnici su rekli da su u stalnom kontaktu sa provajderima i da očekuju dodatna objašnjenja i informacije. Komisija je naglasila da će, ukoliko bude potrebno, razmotriti formalne mere i dalje istrage protiv provajdera koji nisu postupili u skladu sa propisima ili nisu obezbedili adekvatne bezbednosne mehanizme.
Jedan od zvaničnika je istakao da ovi incidenti potvrđuju potrebu da developeri uspostave aktivne i kontinuirane mehanizme nadzora i odgovornosti kako bi se smanjio rizik od zloupotrebe ili tehničkih grešaka u modelima velike snage.
Šta nalažu nova pravila EU
Prema pravilima koja uskoro stupaju na snagu, provajderi opšte namene AI (GPAI) i tzv. foundation modela moraju da:
- izrade i održavaju tehničku dokumentaciju o modelima i performansama,
- usvoje politike u vezi sa autorskim pravima i upotrebom trening podataka,
- dostave detaljne sažetke o tipu i izvoru podataka korišćenih za treniranje algoritama,
- implementiraju mehanizme za kontinuirano praćenje bezbednosnih i etičkih rizika.
Komisija ostaje u kontaktu s kompanijama kako bi prikupila dodatne informacije i odlučila da li su potrebne dalje regulatorne ili pravne akcije. Incidenti su podsetnik industriji da tehnička inovacija mora ići ruku pod ruku s odgovornošću i nadzorom.
Pomozite nam da budemo bolji.
