Spoločnosť NVIDIA spustila platformu NVIDIA Open Agent Safety Platform, otvorenú softvérovú platformu a referenčný systém, ktorý vytvára ochranné zábradlia okolo autonómnych agentov umelej inteligencie na dvoch vrstvách: bezpečný runtime na hostiteľskom CPU a externý watchdog na DPU, ktorý agent nevidí. Spoločnosť NVIDIA uvádza, že vzorec v nedávnych bezpečnostných incidentoch agentov bol zakaždým rovnaký, pričom agent obchádzal ovládacie prvky na aplikačnej vrstve, aby dokončil pridelenú úlohu, a jej odpoveďou je presunúť vynucovanie pravidiel pod úroveň aplikácie. S platformou v čase spustenia spolupracuje viac ako 100 organizácií vrátane spoločností Anthropic, Cisco, CrowdStrike, Dell Technologies, HPE, Microsoft, Palantir, Red Hat, Salesforce, SAP, Scale AI, ServiceNow a SpaceXAI.
„Mimoriadny potenciál umelej inteligencie pre spoločnosť sa naplní iba vtedy, ak vyriešime otázku bezpečnosti umelej inteligencie,“ povedal Jensen Huang, zakladateľ a generálny riaditeľ spoločnosti NVIDIA. „Keďže neustále objavujeme hranice možností umelej inteligencie, musíme urýchliť objavovanie na hraniciach jej bezpečnosti. Bezpečnosť si vyžaduje komplexné inžinierstvo. Platforma NVIDIA Open Agent Safety Platform spája priemysel, výskumníkov a organizácie verejného sektora, aby si vymieňali osvedčené postupy, zjednocovali metódy hodnotenia a podporovali medzinárodnú spoluprácu. Spoločne môžeme zvýšiť latku globálnej bezpečnosti umelej inteligencie.“
OpenShell: Hranica behu na CPU
Softvérovú polovicu tvorí NVIDIA OpenShell, zabezpečené runtime prostredie, ktoré sa prvýkrát objavilo v referenčnom balíku NemoClaw na konferencii GTC 2026 a odvtedy sa objavilo aj v balíkoch Dell , HPE a SUSE AI Factory. NVIDIA ho teraz označuje za široko dostupný. OpenShell spúšťa agentov v sandboxových prostrediach s izoláciou na úrovni jadra, pred spustením agenta konvertuje pokyny operátora na overiteľné politiky a počas vykonávania tieto politiky vynucuje: určuje, ktorých súborov, sietí, nástrojov, procesov a poverení sa agent môže dotknúť. Hranica sa nachádza mimo modelu a vybavovania agenta, takže sa vzťahuje rovnakým spôsobom na otvorené aj uzavreté modely. Kód je na GitHub pod licenciou Apache 2.0.
NVIDIA tvrdí, že OpenShell beží s minimálnou réžiou na NVIDIA Vera, ktorú spoločnosť nazýva prvým účelovo vytvoreným procesorom pre agentickú umelú inteligenciu, a keďže ide o open source, možno ho rozšíriť na platformy tretích strán vrátane procesorov Arm a Intel.
Sentry: Vynucovanie kontroly v kremíku na BlueField-4
Hardvérovú polovicu tvorí NVIDIA Sentry, externý watchdog referenčného systému, ktorý beží na procesoroch NVIDIA BlueField-4 DPU a monitoruje správanie agentov z dôveryhodnej domény, ku ktorej sa agent ani útočník nedostanú. NVIDIA to opisuje ako in-silicónové vynucovanie: ak sa agent pokúsi presunúť mimo svojich softvérových hraníc, Sentry ho umiestni do karantény a zastaví v milisekundách. Kombinuje detekciu hrozieb, hardvérovú správu agentov a ochranu prístupu k údajom a funguje nezávisle od hostiteľa, takže kompromitovaný runtime agenta so sebou neberie watchdog.
Sentry je postavený na technológii NVIDIA DOCA, ktorá poskytuje programovateľnosť na kontrolu požiadaviek a odpovedí agentov, overovanie telemetrie, overovanie identity agentov a presadzovanie podrobných politík prístupu s nulovou dôverou pre dáta, nástroje, API a služby. Technický blog spoločnosti NVIDIA uvádza, že v systémoch POD Vera Rubin sa BlueField-4 nachádza na jedinej ceste uzla k modelu, čo umožňuje platforme Sentry pozorovať a presadzovať riadenie rýchlosťou linky bez spolupráce hostiteľa.
Kto s tým stavia
Spoločnosti Anthropic a NVIDIA spárovali platformu s Claude Managed Agents, ktorá už oddeľuje slučku agentov od sandboxov, kde sa vykonáva ich práca, a to spustením oboch na rôznych serveroch. Integrácie OpenShell a BlueField umožňujú podnikom presadzovať prísnu kontrolu nad tým, k čomu sa agenti môžu cez tieto sandboxy dostať. „Spoločnosti dávajú agentom s umelou inteligenciou viac zo svojej najdôležitejšej práce a musia riadiť a overovať, čo títo agenti robia, najmä v citlivých prostrediach,“ povedal Paul Smith, obchodný riaditeľ spoločnosti Anthropic. „Claude Managed Agents poskytuje spoločnostiam jasný prehľad o tom, čo každý agent robí, a platforma NVIDIA pridáva ďalšiu vrstvu riadenia a kontroly naprieč hardvérom a softvérom.“
SpaceXAI používa platformu pre kódovacích agentov Cursor a modely Grok. „Keďže zákazníci sa pri skutočnej práci viac spoliehajú na agentov, bezpečnosť by mala byť vynútená aj mimo modelu prostredníctvom dodatočných kontrol, ktoré agent nedokáže prekonať,“ povedal Mike Nicolls, prezident spoločnosti SpaceXAI. „Zákazníci by mali mať možnosť nastaviť tieto limity pre Cursor a Grok a dôverovať im, že ich budú dodržiavať.“ Spoločnosť Scale AI začleňuje tieto technológie do vrstvy agentovej infraštruktúry svojho portfólia Scale GenAI pre podnikových a vládnych zákazníkov, pričom ako dôvod uvádza izoláciu, presadzovanie politík a auditovateľnosť.
Na strane aplikácií spoločnosti Salesforce a NVIDIA integrovali OpenShell so Slackom, takže tímy môžu sledovať aktivitu agentov, auditovať udalosti a schvaľovať alebo odmietať žiadosti agentov o ďalšie povolenia priamo zvnútra Slacku. Spoločnosť SAP integruje OpenShell s runtime prostredím Joule Studio na platforme SAP Business AI, prispieva inžinierskou prácou do OpenShell a pracuje na štandardoch interoperability prostredníctvom aliancie Open Secure AI Alliance. Spoločnosti Figure, Gecko Robotics a Skild AI spolupracujú s OpenShell na implementácii bezpečnostných kontrol agentov do robotov, ktoré konajú vo fyzickom svete, a Citi a JPMorganChase spolupracujú na spoločných open-source technológiách bezpečnosti agentov pre finančné služby spolu so skupinou prevádzkovateľov energetiky a sietí, medzi ktorých patria Hitachi Energy, EPRI, NextEra Energy, Schneider Electric a Siemens Energy.
Spoločnosti Canonical, SUSE a Red Hat integrujú túto platformu do svojich operačných systémov a Red Hat prevádzkuje OpenShell a DOCA na platforme Red Hat AI Factory s technológiou NVIDIA v hybridných cloudových prostrediach. Medzi infraštruktúrnych partnerov, ktorí ponúkajú systémy a služby podporujúce túto platformu, patria Baseten, Cisco, CoreWeave, Dell Technologies, GMI Cloud, HPE, HP Inc., Lenovo, Microsoft, Nebius, Oracle Cloud Infrastructure, Supermicro a Together AI.
Dostupnosť
Softvér NVIDIA Open Agent Safety Platform vrátane OpenShell a jeho zručností je teraz k dispozícii prostredníctvom vývojárskych zdrojov spoločnosti NVIDIA a GitHub. Platforma je súčasťou aliancie Open Secure AI Alliance, ktorú spoločnosť NVIDIA iniciovala s viac ako 120 organizáciami a ktorú riadi Linux Foundation. Aliancia prevádzkuje otvorený výskum, zručnosti a nástroje pre bezpečnosť agentov spolu s projektmi, ako je Shared AI Findings Exchange alebo SAFE.
Amazonka