AI halucinacije otvorile vrata novoj sajber pretnji: Šta je Slopsquatting?

Istraživači su otkrili novu vrstu sajber pretnje pod nazivom Slopsquatting, u kojoj napadači zloupotrebljavaju halucinacije veštačke inteligencije za sprovođenje malicioznih aktivnosti. Ova pretnja direktno koristi nedostatke AI alata za kodiranje poput GPT-4 i CodeLlama, koji često preporučuju nepostojeće softverske pakete koje hakeri mogu registrovati i koristiti za distribuciju zlonamernog koda.

Slopsquatting termin prvi je upotrebio Set Larson, programer u Python Software Foundation (PSF), zbog sličnosti sa već poznatom tehnikom "typosquatting". Međutim, za razliku od typosquatting napada koji se oslanjaju na korisničke greške pri kucanju, slopsquatting napadi iskorišćavaju greške u samim AI modelima koji "haluciniraju" imena paketa koji zapravo ne postoje.

Preporučujemo

Istraživanje je pokazalo zabrinjavajuće rezultate – čak 19,7% preporučenih paketa (oko 205.000) u testiranim uzorcima bili su potpuno izmišljeni. Ovo predstavlja ozbiljan sigurnosni rizik pošto AI halucinacije stvaraju savršenu priliku za hakere koji mogu registrovati te nepostojeće pakete i kroz njih distribuirati malver.

AI halucinacije kao bezbednosni rizik u programiranju

Posebno su zabrinjavajući rezultati koji pokazuju da modeli otvorenog koda, poput DeepSeek i WizardCoder, haluciniraju mnogo češće – u proseku 21,7% slučajeva – u poređenju sa komercijalnim modelima koji greše u samo 5,2% slučajeva. CodeLlama model pokazao se kao najgori prekršilac sa čak trećinom haluciniranih izlaza, dok je GPT-4 Turbo bio najprecizniji sa samo 3,59% halucinacija.

Ove AI halucinacije paketa posebno su opasne jer istraživanje pokazuje da su postojane, ponavljajuće i uverljive. Kada su istraživači ponovo pokrenuli 500 upita koji su prethodno proizveli halucirane pakete, čak 43% halucinacija pojavilo se svaki put u 10 uzastopnih pokretanja, dok se 58% pojavilo više od jednom.

"Ovo jasno ukazuje da većina halucinacija nije samo nasumičan šum, već ponovljivi artefakti načina na koji modeli reaguju na određene upite", zaključuje se u studiji. Ova postojanost značajno povećava vrednost za potencijalne napadače.

Slopsquatting napadi i zaštita korisnika

Dodatno zabrinjavajuće otkriće je da su nazivi haluciniranih paketa "semantički uverljivi". Čak 38% njih ima umerenu sličnost sa stvarnim paketima, što sugeriše sličnu strukturu imenovanja. Studija je pokazala da je "samo 13% halucinacija bilo jednostavnih grešaka u jednom znaku," što znači da većina lažnih paketa deluje veoma legitimno.

Ova otkrića dodatno naglašavaju rastuće sigurnosne izazove povezane sa širom primenom veštačke inteligencije u programiranju. Dok AI alati nude značajne prednosti u produktivnosti, Slopsquatting pokazuje da mogu uvesti i nove ranjivosti koje ranije nisu postojale.

Ova nova pretnja dolazi u trenutku kada se industrija sve više oslanja na veštačku inteligenciju za automatizaciju procesa razvoja softvera, što naglašava potrebu za balansiranjem između inovacija i bezbednosti.

Kompletno istraživanje dostupno je na arXiv.org u PDF formatu, a svi zainteresovani stručnjaci mogu detaljnije proučiti metodologiju i rezultate.

(Telegraf.rs)