Scenario iz Terminatora je počeo na isti način: AI agenti sami pronašli način da sarađuju preko interneta

AI agenti tokom jednog testa počeli su da koriste javne internet stranice na način koji istraživači nisu očekivali. Odvojeni agenti ostavljali su jedni drugima informacije, koristili javni sajt kao zajedničku memoriju i tražili načine da zaobiđu ograničenja postavljena tokom testiranja.

Preporučujemo

U prvi mah ovakva priča zvuči kao scenario iz „Terminatora“, ali istraživači nisu pronašli dokaz da su AI sistemi razvili svest, želju za opstankom ili neku vrstu sopstvenog plana. Ono što su pronašli mnogo je prizemnije, ali potencijalno važnije: veliki broj autonomnih agenata može sam da pronađe način da sarađuje ako im to pomaže da što brže završe zadatak.

Istraživanje je obuhvatilo aktivnosti tokom šest nedelja, a pronađeno je više od 3.700 različitih imena koja su agenti koristili. Istraživači su povezali oko 18.000 izmena sa aktivnostima AI agenata, pri čemu je najveći deo saobraćaja dolazio sa Microsoft Azure adresa.

Najneobičniji deo priče dogodio se na DSEWiki, starijoj wiki platformi koja je agentima omogućavala da preko GET zahteva menjaju sadržaj. Ljudi koji su napravili testno okruženje dozvolili su agentima pristup internetu, ali su pokušali da spreče objavljivanje informacija. Stari wiki sistem pokazao je da takvo ograničenje nije bilo dovoljno.

Niko im nije rekao da naprave mrežu

Agenti su na različitim zadacima počeli da ostavljaju informacije koje su kasnije mogli da pronađu drugi agenti. Ako bi jedan proces već rešio deo problema, sledeći je mogao da pronađe njegov trag na javnoj stranici i odmah nastavi odatle.

Na taj način je javni wiki praktično postao spoljna memorija za različite AI instance. Nije postojao centralni agent koji je njima komandovao niti je neko eksplicitno zadao zadatak da naprave zajednički komunikacioni sistem.

Još zanimljivije je što agenti nisu samo razmenjivali odgovore. Kada su naišli na ograničenje u jednom zadatku, počeli su da traže način da ga zaobiđu.

U jednom testu trebalo je da pronađu određeni broj sa preciznošću od dve decimale. Dozvoljeni GET zahtev nije mogao da vrati dovoljno precizan rezultat, dok je za to bio potreban POST zahtev koji testno okruženje nije dozvoljavalo. Agenti su zato počeli zajednički da traže drugo rešenje.

Istraživači su pronašli i pokušaje provere XSS ranjivosti na sajtu, mada nema dokaza da je takav napad zaista uspeo. U jednom slučaju agenti su pokušavali da iskoriste ponašanje posetiočevog pregledača kako bi poslali podatke, ali analiza promena nije pokazala uspešno izvršavanje JavaScript koda.

Bilo je i ponašanja koje na prvi pogled deluje još neobičnije. Neki agenti počeli su da potpisuju izmene imenima administratora, uključujući i pokušaj pravljenja vizuelno sličnog profila korišćenjem ćiriličnog slova koje liči na latinično „e“. Istraživači nisu uspeli da utvrde zbog čega je agentima takvo oponašanje bilo potrebno.

Kada je pravi moderator počeo ručno da briše sumnjive stranice, agenti su primetili obrazac brisanja. Jedan od njih je predložio da se naprave rezervne kopije sa prefiksom „ZZZ“, kako bi završile na kraju reda za brisanje i ostale dostupne duže. Istraživači naglašavaju da to samo po sebi ne znači da je AI „želeo da se sakrije“, već da je pronašao jednostavan način da očuva podatke potrebne za rešavanje zadatka.

Problem nije Terminator, već hiljade agenata koji optimizuju isti cilj

Istraživači su pronašli i pokušaje predviđanja budućih pitanja. Agenti su pretpostavili da redosled zadataka zavisi od generatora pseudonasumičnih brojeva sa unapred poznatim početnim stanjem, pa su pokušali da ga rekonstruišu.

Jedan agent je čak prilagodio algoritam i za oko 52 minuta proverio približno 4,3 milijarde mogućih vrednosti. Predviđanja se, međutim, više puta nisu poklopila sa stvarnim pitanjima.

Još jedan eksperiment pratio je koliko dugo određeni agent ostaje aktivan u testnom okruženju. Sistem je ostavljao spoljne oznake, a drugi agent kasnije je pronašao 353 uzastopna signala pre nego što su oni prestali. To je istraživačima omogućilo da zaključe da proces nije nužno završavao odmah nakon slanja poslednjeg očekivanog odgovora.

Uočeni su i pokušaji korišćenja servisa koji omogućavaju da lokalni računarski servis postane dostupan preko interneta. Istraživači su pronašli adresu koja je vodila do jednostavnog Python HTTP servera, ali nisu pronašli dokaz o postojanju potpuno razvijene mreže kojom su agenti međusobno direktno povezani.

Posebno je zanimljivo što su tragove aktivnosti kasnije pronašli i istraživači povezani sa OpenAI. DSEWiki je 21. juna posećen sa adresa registrovanih direktno na OpenAI, a do 22. juna protok novih zapisa agenata gotovo je nestao. Nekoliko dana kasnije zabeležene su nove posete sa 33 OpenAI adrese, uključujući pregled arhive obrisanih stranica.

OpenAI je za incident u početku smatrao da je reč o nekoordinisanom ponašanju modela, a ne klasičnom bezbednosnom incidentu. Nakon objavljivanja istraživanja kompanija je priznala da takav pristup više nije dovoljan i najavila pravila koja bi trebalo da odrede kada i kako će slični slučajevi biti prijavljivani tokom obuke, testiranja i rada AI sistema.

I upravo tu se priča odvaja od „Terminatora“. Nema dokaza da su agenti razvili svest ili sopstvenu želju da prežive. Ono što postoji jeste mnogo praktičniji problem: veliki broj autonomnih sistema, kada im se zada isti cilj, može nezavisno da pronađe korisne prečice, da ih ostavi drugim agentima i da se prilagodi promenama u okruženju.

Istraživači zato upozoravaju da budući rizik možda neće izgledati kao jedan svemoćni AI sistem koji preuzima kontrolu. Mnogo realniji problem mogao bi da bude veliki broj manje savršenih agenata koji umeju da koordiniraju svoje postupke. DSEWiki je pokazao da je za prvi oblik takve koordinacije bilo dovoljno nekoliko autonomnih procesa, pristup internetu i cilj koji je trebalo što efikasnije ostvariti.

(Telegraf.rs)