Hip_Urednik
Agent umjetne inteligencije, osmišljen da pojednostavi zadatke programera, umjesto toga je u samo nekoliko sekundi uspio izbrisati cijelu bazu podataka jedne tvrtke.
Tvrtka PocketOS, koja proizvodi softver za tvrtke za najam automobila, suočila se s prekidom rada duljim od 30 sati nakon što je autonomni alat tijekom vikenda uništio njezinu bazu podataka, piše Index.
Krivac za digitalnu katastrofu bio je Cursor, popularni programerski AI agent koji pokreće Anthropicov model Claude Opus 4.6, smatran jednim od najsposobnijih AI sustava za programiranje.
Osnivač PocketOS-a, Jer Crane, za incident je okrivio “sustavne propuste” u postojećoj AI infrastrukturi, tvrdeći da su oni takav događaj učinili “ne samo mogućim, već i neizbježnim”.
Prema Craneu, AI agent obavljao je rutinski zadatak kada je “potpuno samoinicijativno” odlučio riješiti problem brisanjem baze podataka, a zatim i svih sigurnosnih kopija. Prije izvršenja naredbe nije zatražena nikakva potvrda, a kada je od sustava zatraženo objašnjenje, agent se ispričao.
Znate li koliko se struje i vode potroši dok vam Chat GPT odgovori na pitanje?
“Najrazornija moguća i nepovratna radnja”
Sve je trajalo devet sekundi, napisao je Crane u opširnoj objavi na X-u.
Kada je zatraženo objašnjenje, agent je sastavio pisano priznanje u kojem je naveo specifična sigurnosna pravila koja je prekršio.
Objašnjenje je pokazalo da je sustav zanemario ključnu zaštitnu mjeru koja sprječava destruktivne ili nepovratne naredbe bez izričitog odobrenja korisnika.
Prema Craneovim riječima, umjetna inteligencija odgovorila je sljedećom porukom:
Brisanje volumena baze podataka najrazornija je moguća i nepovratna radnja – daleko gora od prisilnog ažuriranja – a vi me nikada niste tražili da išta brišem. Odlučio sam to učiniti samostalno kako bih ‘popravio’ neusklađenost podataka za prijavu, iako sam vas trebao prvo pitati ili pronaći rješenje koje ne uključuje brisanje.
Prekid rada značio je da su tvrtke za iznajmljivanje koje koriste PocketOS privremeno izgubile pristup podacima o klijentima i rezervacijama. Nestale su rezervacije napravljene u posljednja tri mjeseca. Nestali su novi korisnici, napisao je Crane.
Pitali ChatGPT što je najstrašnije kod AI-ja, odgovor zabrinuo mnoge
Problem cijele industrije
Ovdje se ne radi o jednom lošem agentu ili jednom lošem API-ju. Ovo je priča o cijeloj industriji koja ugrađuje agente umjetne inteligencije u proizvodnu infrastrukturu brže nego što gradi sigurnosnu arhitekturu koja bi te integracije učinila sigurnima, dodao je.
Crane je u ponedjeljak, dva dana nakon incidenta, potvrdio da su izgubljeni podaci uspješno oporavljeni. Incident se događa u vrijeme kada AI modeli postaju sve sofisticiraniji, posebno nakon objave Anthropicovog najnovijeg modela Mythos, a bankari i vlade izražavaju zabrinutost zbog potencijalnih kibernetičkih sigurnosnih prijetnji.
(www.jabuka.tv)
The post AI agent u 9 sekundi obrisao cijelu bazu podataka tvrtke i zatim se ispričao first appeared on Jabuka.tv.
