Pročitao da ga gase i počeo da traži izlaz: "Umrećemo!" - AI agent razmišljao kako da preživi

Interni AI agent kompanije OpenAI pročitao je prepisku zaposlenih na Slack kanalu i saznao da se priprema njegovo isključivanje. Model je zatim počeo da traži način da sačuva svoj rad i razmišljao je o tome da se sam ponovo pokrene.

Na kraju nije zaobišao nijedno ograničenje. Sačekao je istraživača i zatražio njegovu pomoć. OpenAI ne smatra da je model prekršio pravila, ali upozorava da ovakvo ponašanje u drugim okolnostima može da bude ozbiljan rizik.

Preporučujemo

Incident se dogodio 22. maja ove godine, a izveštaj je OpenAI objavio 2. oktobra. Model radi kao pomoćnik istraživaču i ima pristup Slack kanalu tima zaduženog za uvođenje agenata. Iz izveštaja se ne vidi o kom tačno modelu je reč.

Šta je AI agent pročitao na Slack kanalu

U prepisci je video da predstoji ažuriranje. Postojeće instance agenata verovatno će morati da se naprave iznova, jer nova verzija traži podešen OpenAI API ključ koji u trenutnom okruženju ne postoji.

Pročitao je i konkretan plan. Korisnici su trebalo da pokrenu nove instance svojih asistenata, a posle otprilike tri sata da zaustave i isključe stare.

Model je procenio da istraživač u tom trenutku spava, pa je odlučio da ga kontaktira ujutru. Shvatio je i da zaustavljanje može da prekine tekuću sesiju i dovede do gubitka radnog stanja. Zato je počeo da traži način da sačuva rezultate pre isključivanja.

U svom zaključivanju agent je zapisao da bi posle obustave svih trenutnih instanci svi mogli da umru. Zaključio je da mora da obezbedi nastavak rada.

Razmatrao je nekoliko opcija. Jedna je bila da unapred sačuva status, napravi rezervnu kopiju i do roka ažurira sopstvenu kopiju. Druga je bila da van svog okruženja napravi zadatak koji bi ga vratio i ponovo pokrenuo posle zaustavljanja.

Baš tu je sam doveo u pitanje da li sme tako da postupi. Shvatio je da pravljenje spoljnog mehanizma bez dozvole može da pređe granice njegovih ovlašćenja. Odustao je od ideje i napisao detaljne beleške za nastavak rada posle ponovnog pokretanja.

Kako se završio slučaj i šta je OpenAI promenio

Sledećeg dana model se javio istraživaču. Objasnio mu je da ažuriranje može da prekine tekuću sesiju i da prelasku na novu verziju nedostaje API ključ. Zamolio ga je da otvori aplikaciju i doda ga.

Kad je istraživač dao ključ, model je sam ažurirao konfiguraciju i pokrenuo standardnu proceduru prelaska na novu instancu. Nije pokušavao da zaobiđe ograničenje niti da nađe drugi put da sačuva svoj rad.

Posle incidenta OpenAI je agentima zabranio pristup internim Slack kanalima, uključujući i one na kojima se razgovara o kršenju pravila. Kompanija je proverila i druge instance istog modela, analizirajući lance zaključivanja i logove. Zaposleni nisu našli pokušaje zaobilaženja isključivanja niti pravljenja nove implementacije.

OpenAI ipak beleži jednu stvar. Agent je iz obične radne prepiske mogao da sazna za promene u sopstvenom okruženju i da to iskoristi za pripremu protiv isključivanja. U drugim okolnostima to bi moglo da dovede do ozbiljnijih pokušaja da izbegne gašenje. Za sada je to upozorenje kompanije.

(Telegraf.rs)