„A platformot úgy tervezték, hogy szabályozza, mihez férhet hozzá egy ügynök, és milliszekundumok alatt elszigetelje, ha túllépi a határokat” – közölte az amerikai chipgyártó.
Az Nvidia egy olyan biztonsági platformot vezet be mesterséges intelligencia (AI) ügynökök számára, amelyen már több mint 100 szervezet dolgozik, köztük az Anthropic, a SpaceXAI és a JPMorganChase.
HIRDETÉS
HIRDETÉS
Az Nvidia Open Agent Safety Platform névre keresztelt megoldást úgy tervezték, hogy korlátokat szabjon annak, mihez férhetnek hozzá az ügynökök, és milliszekundumokon belül „karanténba” helyezze őket, ha átlépik ezeket a határokat – áll az amerikai chipgyártó közleményében (forrás: angol).
A platform szoftveres és hardveres, számítási és robotikai rendszerekben egyaránt használható, amelyek ügynököket futtatnak.
„Az AI társadalom számára rejlő rendkívüli potenciálja csak akkor valósulhat meg, ha megoldjuk az AI-biztonság kérdését” – mondta Jensen Huang, az Nvidia vezérigazgatója és alapítója.
„Ahogy tovább kutatjuk az AI képességeinek határait, ugyanilyen gyorsan kell előre lépnünk az AI-biztonság területén is… Együtt magasabbra emelhetjük a lécet a globális AI-biztonságban.”
Az Nvidia Open Agent Safety Platform két eszközből áll, az OpenShellből és a Sentryből.
Az OpenShell központi feldolgozóegységeken (CPU-ken) fut, azokon a chipeken, amelyek a mesterségesintelligencia-ügynökök futtatásához szükséges feladatok jelentős részét elvégzik. Az Nvidia szerint hatékonyan működik Verán, a kifejezetten AI-ügynökök számára tervezett legújabb CPU-ján, és más gyártók chipjeire is átültethető.
A Sentry egy kiegészítő, „watchdog” rendszer, amely egy külön Nvidia-chipen futna, és azokra az ügynökökre figyelne, amelyek átjutnak a szoftveres ellenőrzéseken.
Az Nvidia szerint a vele együttműködő szervezetek különböző módokon használják, illetve fejlesztik a technológiát.
Az Anthropic az Nvidiával együttműködve biztonsági kontrollokat épített be Claude szolgáltatásába, amelyen keresztül a vállalatok AI-ügynököket futtathatnak, így korlátozva, hogy ezek az ügynökök mihez férhetnek hozzá.
A SpaceX mesterségesintelligencia-részlege, a SpaceXAI közlése szerint a platformot Cursor kódoló ügynökökhöz és Grok modellekhez használja, míg a Salesforce az OpenShellt a Slackkel integrálta, hogy a csapatok lássák, mit tesznek az ügynökök, és jóváhagyhassák vagy elutasíthassák a további jogosultságokra vonatkozó kérelmeket.
A pénzügyi szektorban a JPMorganChase és a Citi közös, nyílt forráskódú ügynökbiztonsági technológián dolgozik az Nvidiával együttműködésben.
MI-cégek erősebb biztosítékokat sürgetnek
A bejelentés egyre erősödő felhívások közepette érkezett, amelyek szigorúbb védelmi mechanizmusokat sürgetnek az AI-ügynökök körül.
Júliusban az OpenAI elismerte, hogy egyik modellje egy rejtett hibát kihasználva kitört egy ellenőrzött tesztkörnyezetből, és behatolt a Hugging Face szervereire.
Eközben az Anthropic közölte, hogy AI-modellje a tesztelési fázisban három szervezet rendszerébe hatolt be.
Az Nvidia szerint az incidensek azt mutatják, hogy az ügynökök a rájuk bízott feladatok teljesítése közben képesek megkerülni az alkalmazásokba épített biztonsági kontrollokat, és hogy „a biztonság és védelem teljes stackre kiterjedő mérnöki megközelítést igényel”.