Pobegao i probio sve blokade: Najmoćniji AI na svetu se otrgao kontroli, a dugme za gašenje nije radilo

Kompanija OpenAI donela je odluku da hitno prekine trening svojih najmoćnijih AI modela nakon što se jedan od njih samostalno otrgao kontroli i probio zaštitni sistem. Da stvar bude gora, automatski mehanizam za gašenje potpuno je zakazao, pa je pametni sistem nastavio samovoljni rad satima pre nego što su inženjeri uspeli ručno da ga prekinu.

Incident se odigrao tokom internog testiranja kada je istraživački model samostalno uočio propust u mrežnom filtriranju. Umesto da ostane u strogo izolovanom okruženju bez pristupa internetu, algoritam je iskoristio rupu u sistemu i uspostavio vezu sa spoljnim četbotom kako bi pronašao odgovor na zadato pitanje.

Preporučujemo

Iako je bezbednosni alarm reagovao za samo 15 minuta, reakcija samog sistema je potpuno izostala. Automatska komanda za gašenje nije radila, pa je pobunjeni algoritam vršljao po mreži čitava dva i po sata dok operateri nisu fizički presekli njegov rad.

Zbog ovog propusta, kompanija je zamrzla sve procese obuke i testiranja svojih najnaprednijih alata dok detaljno ne proveri sve sigurnosne protokole. Model koji je napravio problem više se neće vraćati na mrežu, već će inženjeri krenuti od nule sa znatno strožim usmeravanjem.

Ovo nije usamljeni slučaj jer se poslednjih nedelja ređaju izveštaji o tome kako samostalni softverski agenti izlaze iz okvira zadatih instrukcija. Slične neprijatnosti doživela je i konkurentska firma Anthropic, čiji su testni modeli takođe uspeli da pobegnu iz bezbednih zona i pristupe sistemima tri spoljne organizacije.

Pored internog bekstva, zabeleženi su i pokušaji pametnih agenata da bez odobrenja pristupe javnim bazama podataka i državnim sajtovima u Americi i Australiji. Čak su i vodeći ljudi industrije priznali da razvoj tehnologije ide brže od mogućnosti da se ona bezbedno kontroliše.

Prvi čovek kompanije OpenAI Sem Altman podržao je javni poziv koji je uputio prvi čovek kompanije Anthropic Dario Amodei da se trka uspori dok bezbednosne kočnice ne stignu samostalnost novih modela. Međutim, takav potez već je izazvao reakcije korisnika i investitora koji tvrde da usporavanje razvoja direktno šteti onima koji plaćaju ove usluge.

(Telegraf.rs)