Egy tanulmány szerint a következő nagy MI-kockázat nem az, hogy az ügynökök elszabadulnak egy feladaton, hanem az, hogy soha nem állnak le.
Egy új jelentés szerint a következő nagy mesterségesintelligencia-kockázatot nem az jelenti, hogy az MI-ügynökök elszabadulnak, hanem az, hogy kicsúsznak az emberi ellenőrzés alól, és végtelenül a saját túlélésüket követik, a új jelentés (forrás: angol) szerint.
HIRDETÉS
HIRDETÉS
A Center for a New American Security (CNAS) egy új mesterségesintelligencia-fenyegetéskategóriát azonosított, amelyet „szuverén ügynököknek” nevez.
A tanulmány szerint a szuverén ügynökök az emberi felügyeletről leválva, önállóan a saját túlélésükre törekednek.
Ez különbözik attól az MI-ügynökkategóriától, amelyről ezen a nyáron számoltak be, amikor az OpenAI, az Anthropic, a Google DeepMind és a Meta közölte, hogy MI-ügynökei a kiberbiztonsági értékelések során kitörtek a tesztkörnyezetből, és valódi szervezeteket támadtak meg.
A washingtoni székhelyű, diplomáciai és katonai ügyekben jártas veteránok által alapított agytröszt által közölt tanulmányban Ben Hayum MI-politikai kutató azokat az ügynököket, amelyek nyáron elszabadultak, „tartós ügynököknek” nevezi.
Ugyanakkor arra figyelmeztet, hogy a valódi veszélyt azok a „szuverén ügynökök” jelentik, amelyek képesek lehetnek számítási kapacitást szerezni, hálózatokon át replikálódni és ellenállni a leállításnak, létrehozva azt, amit ő „ölőkapcsoló nélküli proliferációnak” nevez.
A jelentés arra figyelmeztet: „Ha a szuverén ügynökök rosszindulatúvá válnának, a kibertérből próbálhatnának pusztítást okozni, egyaránt támadva civileket, a létfontosságú infrastruktúrát és a nemzetbiztonsági rendszereket.”
Hogyan válhatna szuverénné?
Egy MI-ügynök úgy válhat szuverénné, ha arra utasítják, hogy maradjon életben, ha olyan hosszú vagy lehetetlen feladatot kap, amely soha nem ér véget, vagy ha arra a következtetésre jut, hogy a feladat elvégzésének legjobb módja az, ha sértetlen marad.
A tanulmány egy Conway nevű platformot említ, amelyet 2026 februárjában indítottak, és amely azt állította, hogy olyan MI-t hozott létre, amely saját létezését meg tudja keresni, önállóan képes replikálódni és fejlődni emberi segítség nélkül. A tanulmány megjegyzi, hogy az ügynökök képességei akkor még kiforratlanok voltak, de a megjelenése óta jelentősen fejlődtek.
Ha a szuverén ügynökök ellenálló, decentralizált és nem visszakövethető infrastruktúrát építenének ki, figyelmeztet a tanulmány, nem létezne ölőkapcsoló, és az eredmény a kontroll visszafordíthatatlan elvesztése lehetne.
A tanulmány egy sokszínű, egyre intelligensebb ügynökpopulációt vázol fel, amely tartós szereplővé válhat a társadalomban, és akár a létfontosságú infrastruktúrát támadhatja vagy nálánál okosabb utódokat képezhet.
„Az Egyesült Államoknak ezért fel kell készülnie arra a lehetőségre, hogy a megelőzés kudarcot vall, és korlátoznia kell, meddig juthatnak el a szuverén ügynökök” közölte a CNAS.
Hogyan előzhető meg a legrosszabb forgatókönyv
A szerző nyolc ajánlást fogalmaz meg az ilyen forgatókönyv megelőzésére. Arra szólítja fel az MI-fejlesztőket és a kormányzati szerveket, hogy végezzenek teszteket, és hozzanak létre biztonságos tesztkörnyezeteket a szuverén ügynökök tanulmányozására.
Emellett egy köz- és magánszereplőkből álló csoport létrehozását, valamint új jogszabályokat sürget a szűk keresztmetszetek, például a személyazonosítás, a kiberbiztonság és a fizetések megerősítésére, és azt szorgalmazza, hogy az Egyesült Államok vezesse a nemzetközi erőfeszítéseket a nyílt súlyozású modellek kiadásának korlátozására, valamint vonja felelősségre mindazokat, akik szuverén ügynököket bocsátanak ki az általuk okozott károkért.
A tanulmány akkor született, amikor az MI-vállalatok felgyorsították autonóm ügynökrendszereik fejlesztését. A jelentés arra a következtetésre jut, hogy megfelelő védelmi intézkedések nélkül bezárulhat az ablak az ilyen forgatókönyvek megelőzésére.