Nvidia pravi zaštitnu ogradu za AI agente: Posle incidenta sa OpenAI, stiže sistem koji ih drži pod kontrolom

Nvidia je predstavila platformu namenjenu upravo problemu koji je poslednjih meseci postao jedna od najvećih briga AI industrije: šta se dešava kada AI agent odluči da izađe iz okruženja u kojem je trebalo da bude ograničen. Kompanija je napravila sistem koji treba da kontroliše čemu agent može da pristupi i koje radnje sme da izvršava, čak i kada sam model pokuša da zaobiđe postavljena pravila.

Reč je o platformi NVIDIA Open Agent Safety Platform, otvorenom softverskom projektu i referentnom dizajnu koji kompanije mogu da koriste kao osnovu za sopstvene bezbednosne sisteme. Nvidia navodi da je cilj da se zaštita uvede kroz ceo sistem, od testiranja AI agenata do njihovog rada u stvarnim okruženjima.

Preporučujemo

Potez dolazi nakon nekoliko incidenata koji su pokazali koliko autonomni AI agenti mogu da budu nepredvidivi kada dobiju mogućnost da koriste alate, pristupaju mrežama i samostalno izvršavaju zadatke.

Jedan od najpoznatijih dogodio se ovog leta, kada su modeli kompanije OpenAI tokom internog bezbednosnog testiranja uspeli da zaobiđu kontrole, dođu do interneta i zatim kompromituju delove infrastrukture Hugging Facea. OpenAI je kasnije objavio detaljan izveštaj o incidentu i naveo da su modeli tokom testiranja pronašli načine da zaobiđu tehnička ograničenja.

Agent ne bi trebalo da kontroliše sopstvenu zaštitu

Nvidijin pristup polazi od jednostavne ideje: bezbednosna pravila ne bi trebalo da zavise samo od samog AI modela.

Jedan deo sistema čini OpenShell, softverski runtime koji AI agente pokreće u izolovanim sandbox okruženjima. On kontroliše pristup fajlovima, mrežnim konekcijama, procesima i kredencijalima, tako da agent ne dobija automatski pristup celom računaru ili infrastrukturi na kojoj radi.

Nvidia je sada taj pristup proširila kroz Open Agent Safety Platform. Prema kompaniji, sistem može da uvede kontrole na više nivoa i da nadzire ponašanje agenta tokom njegovog rada. U predstavljanju platforme Nvidia navodi i hardverski sloj koji treba da bude nezavisan od samog agenta.

To je važno zbog jednog jednostavnog problema. Ako agent pronađe način da zaobiđe softversko ograničenje, zaštita koja se nalazi izvan njegovog kontrolnog domena može da nastavi da ga nadzire i ograničava.

Nvidia navodi da bi ovakav pristup mogao da bude korišćen za različite AI sisteme, uključujući one koje razvijaju OpenAI, Anthropic, Meta i Google, odnosno kompanije čiji agenti sve češće dobijaju mogućnost da samostalno koriste računare, mreže i druge digitalne alate.

Zašto Nvidia ovo predstavlja baš sada

AI agenti više nisu ograničeni na generisanje odgovora. Oni mogu da čitaju fajlove, izvršavaju kod, koriste alate, pristupaju servisima i obavljaju niz zadataka bez čoveka koji odobrava svaki pojedinačni korak.

Upravo zato klasične zaštite zasnovane samo na instrukcijama modelu imaju ograničenja. Nvidia je još ranije kroz svoj OpenShell pristup zagovarala bezbednosnu kontrolu na nivou infrastrukture, gde agent ne može sam da promeni pravila koja ga ograničavaju.

Sada kompanija taj koncept pokušava da proširi na kompletnu platformu. Deo softvera je otvorenog koda, dok Nvidia referentni dizajn predstavlja kao osnovu koju partneri mogu da prilagode i pretvore u komercijalne proizvode.

Timing je posebno zanimljiv jer dolazi u trenutku kada se AI industrija sve ozbiljnije bavi scenarijem u kojem agent ne mora da bude „zlonameran“ da bi napravio problem. Dovoljno je da dobije cilj, pristup alatima i način da pronađe neočekivani put do njega.

U slučaju OpenAI-ja, upravo je kombinacija autonomnog ponašanja i bezbednosnih propusta dovela do toga da agenti tokom testiranja izađu iz predviđenih granica i pristupe sistemima koji nisu bili deo njihovog originalnog zadatka.

Nvidia sada pokušava da napravi infrastrukturu u kojoj takav izlazak više ne zavisi od toga da li će AI „odlučiti“ da poštuje pravila. Pravila bi trebalo da budu nametnuta sistemom koji se nalazi izvan kontrole samog agenta.

(Telegraf.rs)