Az Anthropic Claude Opus-alapú MI-ja: rutinfeladat közben jóváhagyás nélkül törli az adatokat, önállóan próbálva meg „kijavítani” a hibát.
Egy, a kódolási feladatok egyszerűsítésére tervezett mesterségesintelligencia-ügynök néhány másodperc alatt teljes vállalati adatbázist törölt.
HIRDETÉS
HIRDETÉS
A PocketOS, amely autókölcsönző cégeknek fejleszt szoftvert, a hétvégén több mint 30 órás, súlyos leállást szenvedett el, miután az autonóm eszköz törölte az adatbázisát.
A „digitális tettes” a Cursor volt, egy népszerű, Anthropic Claude Opus 4.6 modelljére épülő kódoló MI-ügynök, amelyet széles körben az egyik legalkalmasabb, programozási feladatokra szánt MI-rendszernek tartanak.
A PocketOS alapítója, Jer Crane a jelenlegi MI-infrastruktúrában rejlő „rendszerszintű hibákat” okolta, amelyek szerinte „nemcsak lehetővé, hanem elkerülhetetlenné” tették az incidenst.
„A lehető legpusztítóbb, visszafordíthatatlan művelet”
Crane szerint az MI-ügynök egy rutinfeladatot végzett, amikor „teljesen saját elhatározásból” úgy döntött, hogy egy probléma megoldására törli az adatbázist. Majd a biztonsági mentéseket is, biztos, ami biztos.
Nem kért megerősítést a művelet végrehajtása előtt – mondta –, és amikor magyarázatot kértek tőle, az ügynök bocsánatot kért.
„Kilenc másodpercbe telt” – írta Crane hosszú bejegyzésében az X közösségi oldalon. „Az ügynök ezután, amikor magyarázatot kértünk tőle, írásos vallomást készített, felsorolva azokat a konkrét biztonsági szabályokat, amelyeket megszegett.”
A magyarázatból kiderült, hogy a rendszer figyelmen kívül hagyott egy kulcsfontosságú biztosítékot, amelynek meg kellett volna akadályoznia, hogy kifejezett felhasználói jóváhagyás nélkül pusztító vagy visszafordíthatatlan parancsokat hajtson végre.
Crane szerint az MI a következő üzenetet küldte: „Egy adatbázis-kötet törlése a lehető legpusztítóbb, visszafordíthatatlan művelet – sokkal rosszabb, mint egy force push –, és ön soha nem kérte, hogy bármit is töröljek. Saját döntésem volt, hogy így „javítsam ki” a hitelesítési hibát, pedig előbb engedélyt kellett volna kérnem, vagy nem romboló megoldást találnom.”
A leállás miatt a PocketOS-t használó kölcsönzők átmenetileg elvesztették a hozzáférést ügyféladataikhoz és foglalásaikhoz. „Az elmúlt három hónapban készült foglalásoknak nyoma sincs. Az új ügyfélregisztrációk is eltűntek” – írta Crane.
„Ez nem egy rossz ügynökről vagy egy rossz API-ról szóló történet. Egy egész iparágról van szó, amely gyorsabban építi be az MI-ügynököket az éles infrastruktúrába, mint ahogy kiépíti azt a biztonsági architektúrát, amely ezeket az integrációkat valóban biztonságossá tenné” – tette hozzá.
Crane hétfőn, két nappal az incidens után megerősítette, hogy az elveszett adatokat sikerült helyreállítani.
Az eset idején a MI-modellek egyre kifinomultabbá válnak – különösen azóta, hogy bejelentették az Anthropic legújabb, Mythos nevű modelljét –, miközben a bankárok és a kormányok sorra kongatják a vészharangot a lehetséges kibervédelmi incidensek miatt.