Společnost NVIDIA a více než 35 zakládajících partnerů spustili iniciativu Open Secure AI Alliance, která se zaměřuje na vývoj open-source nástrojů, modelů, agentních frameworků a bezpečnostních technologií pro systémy umělé inteligence. Členství je pozoruhodné jak absencí, tak i tím, kdo se přihlásil: Microsoft, IBM, Cisco, Palantir, Dell Technologies a HPE jsou přítomni, zatímco OpenAI, Google a Anthropic, tři laboratoře nejvíce spojované s modely hraničního uzavření, nejsou.
Aliance je budována s podporou iniciativy Akrites nadace Linux Foundation a nadace Open Source Security Foundation (OpenSSF). Jejím deklarovaným cílem je poskytnout bezpečnostním týmům kontrolovatelné a přizpůsobitelné technologie pro zabezpečení modelů umělé inteligence, agentů a dodavatelského řetězce softwaru kolem nich.
Mezi zakládajícími členy se nacházejí společnosti z oblasti cloudové infrastruktury, kybernetické bezpečnosti, podnikového softwaru, výzkumu umělé inteligence a open-source komunit. Mezi členy patří Adobe, Box, Capital One, Cisco, Cloudflare, CrowdStrike, Databricks, Dell Technologies, Elastic, Fortinet, GitHub, HPE, Hugging Face, IBM, LangChain, Linux Foundation, Microsoft, Mistral, NAVER, NetApp, Nokia, Palantir, Palo Alto Networks, Perplexity, Red Hat, Salesforce, SAP, ServiceNow, Siemens, SK Telecom, Snowflake, SpaceXAI, Synopsys, Uber, vLLM a Zscaler.
Zaměření se přesouvá za hranice vah modelů
Aliance tvrdí, že zabezpečení umělé inteligence by mělo být hodnoceno na úrovni celého agentového stacku, nikoli pouze na základě dostupnosti vah modelu. V tomto pohledu agent umělé inteligence zahrnuje model, orchestrační vrstvu, nástroje, kontroly identity, oprávnění, izolační mechanismy, ochranné zábradlí, protokolování a procesy hodnocení.
Otevřené modely mohou vytvářet rizika zneužití, včetně odstranění ochranných opatření nebo adaptace pro útočnou kybernetickou aktivitu. Aliance však tvrdí, že uzavřené modely tato rizika neodstraňují a mohou omezit schopnost obránce kontrolovat chování, ověřovat kontroly nebo provozovat funkce umělé inteligence v rámci jeho vlastní infrastruktury.
Iniciativa bude podporovat model, který organizacím umožní používat uzavřené i otevřené modely umělé inteligence. Uzavřené modely mohou zůstat vhodné pro určité pokročilé funkce, zatímco otevřené modely a kombinace mohou nabídnout transparentnost, lokální kontrolu a přizpůsobení pro obranné úlohy.
To je obzvláště důležité v regulovaných odvětvích a suverénních prostředích, kde organizace mohou potřebovat zachovat přímou provozní kontrolu nad citlivými daty, chováním modelů, bezpečnostními protokoly a pracovními postupy reakce na incidenty.
Výzkum Open Agent Harness
NVIDIA plánuje alianci poskytnout otevřené modely, váhy modelů, data a výzkum v oblasti využití agentů. Jedním z prvních příspěvků je projekt NVIDIA Labs Object-Oriented Agent (NOOA), který je k dispozici na GitHubu.
NOOA je výzkumný rámec navržený pro zlepšení bezpečnosti a auditovatelnosti využití agentů s umělou inteligencí. Projekt má usnadnit testování, sledování, řízení a vyhodnocování chování agentů při interakci modelů s nástroji, externími daty, úložišti kódu a podnikovými systémy.
Očekává se, že širší spolupráce bude zahrnovat nástroje pro identitu agentů, izolaci pracovní zátěže, bezpečné formáty modelů, skenování modelů a bezpečný vývoj softwaru s podporou umělé inteligence.
Příspěvky členů Cílová identita, zabezpečení modelu a skenování
Několik zakládajících členů nastínilo technologie, které by mohly tvořit součásti otevřeného obranného stacku s umělou inteligencí.
Společnost HPE podporuje SPIFFE/SPIRE, otevřený rámec pro identitu úloh s nulovou důvěryhodností. Tato technologie využívá kryptografické ověřování identity k ověřování služeb a agentů umělé inteligence, což pomáhá zajistit, aby k podnikovým zdrojům a komunikaci napříč distribuovanými prostředími měly přístup pouze autorizované úlohy.
Hugging Face přispěl do PyTorch Foundation souborem Safetensors. Safetensors je formát pro modelové váhy, který je navržen tak, aby se zabránilo rizikům při spuštění libovolného kódu spojeným s některými serializovanými formáty modelových souborů. Jeho cílem je zajistit bezpečnější distribuci a kontrolu modelů umělé inteligence v prostředích s otevřeným zdrojovým kódem.
Společnosti IBM a Red Hat zdůraznily Lightwell, který využívá digitálně podepsané záplaty ke zlepšení integrity v celém dodavatelském řetězci softwaru s otevřeným zdrojovým kódem. Microsoft přispěl MDASH, vícemodelovým agentním skenovacím systémem, který koordinuje specializované agenty umělé inteligence k identifikaci, vyhodnocení a prokázání potenciálně zneužitelných softwarových zranitelností.
Společnost SpaceXAI spustil spuštění Grok Build, terminálového kódovacího agenta pro umělou inteligenci, a signalizoval záměr zveřejnit váhy modelů Grok. Tyto příspěvky odrážejí širší důraz aliance na umožnění nezávislé inspekce, testování a adaptace nástrojů umělé inteligence používaných v bezpečnostních operacích.
Politické důsledky pro bezpečnost otevřené umělé inteligence
Aliance Open Secure AI Alliance se rovněž zasazuje o politické přístupy, které by nástroje otevřené umělé inteligence vnímaly jako součást infrastruktury kybernetické bezpečnosti, a nikoli jako kategoricky jako rizikový faktor. Její postoj je takový, že široká omezení modelů hraničního otevřeného prostředí by mohla zvýšit závislost na omezeném počtu proprietárních poskytovatelů a zároveň snížit schopnost podniků a vládních obránců testovat a posilovat své vlastní systémy.
Aliance vyzývá ke sdíleným investicím do otevřených datových sad, hodnotících rámců, simulátorů útoků, nástrojů pro red-teaming, bezpečné distribuce modelů a kontrol zabezpečení agentů. Pro týmy podnikové infrastruktury toto úsilí podtrhuje rostoucí potřebu zabezpečit nasazení umělé inteligence jako propojené systémy, které kombinují modely, aplikace, identity, úložiště, sítě, pozorovatelnost a automatizované rozhodování.
Amazon