NVIDIA 和超过 35 家创始合作伙伴共同发起了开放安全人工智能联盟 (Open Secure AI Alliance)，该联盟致力于开发用于人工智能系统的开源工具、模型、代理框架和安全技术。值得注意的是，该联盟的成员构成不仅包括新加入的成员，还包括缺席的成员：微软、IBM、思科、Palantir、戴尔科技和 HPE 均已加入，而 OpenAI、谷歌和 Anthropic 这三家以前沿封闭模型著称的实验室却并未加入。
该联盟的建立得到了Linux基金会Akrites计划和开源安全基金会（OpenSSF）的支持。其目标是为安全团队提供可检查且可调整的技术，以保护人工智能模型、代理及其周围的软件供应链。
创始成员涵盖云基础设施、网络安全、企业软件、人工智能研究和开源社区等领域。成员包括 Adobe、Box、Capital One、思科、Cloudflare、CrowdStrike、Databricks、戴尔科技、Elastic、Fortinet、GitHub、HPE、Hugging Face、IBM、LangChain、Linux 基金会、微软、Mistral、NAVER、NetApp、诺基亚、Palantir、Palo Alto Networks、Perplexity、红帽、Salesforce、SAP、ServiceNow、西门子、SK Telecom、Snowflake、SpaceXAI、Synopsys、Uber、vLLM 和 Zscaler。
关注点不再局限于模型权重
该联盟认为，人工智能安全性的评估应该涵盖整个代理堆栈层面，而不仅仅是模型权重的可用性。在这种观点看来，人工智能代理包括模型、编排层、工具、身份控制、权限、隔离机制、防护措施、日志记录和评估流程。
开放式模型可能带来滥用风险，包括移除安全措施或被用于攻击性网络活动。然而，该联盟认为，封闭式模型并不能消除这些风险，反而会限制防御者检查行为、验证控制措施或在其自身基础设施内运行人工智能功能的能力。
该计划将推广一种允许组织同时使用封闭式和开放式人工智能模型的模式。封闭式模型可能仍然适用于某些前沿功能，而开放式模型和框架则可以为防御性工作负载提供透明度、本地控制和定制化功能。
这在受监管行业和主权环境中尤为重要，因为在这些行业和主权环境中，组织可能需要对敏感数据、模型行为、安全日志和事件响应工作流程保持直接的操作控制。
开放代理工具研究
NVIDIA计划向该联盟贡献开源模型、模型权重、数据以及关于智能体框架的研究成果。早期贡献之一是NVIDIA Labs面向对象智能体（NOOA）项目，该项目已发布在GitHub上。
NOOA是一个旨在提升人工智能代理框架安全性和可审计性的研究框架。该项目旨在简化对代理行为的测试、追踪、管理和评估，尤其是在模型与工具、外部数据、代码库和企业系统交互时。
更广泛的联盟工作预计将包括代理身份识别工具、工作负载隔离、安全模型格式、模型扫描和安全 AI 辅助软件开发。
成员贡献目标：身份识别、模型安全和扫描
几位创始成员概述了可以构成开放式人工智能防御体系组成部分的技术。
HPE 正在支持 SPIFFE/SPIRE，这是一个用于零信任工作负载身份的开放框架。该技术采用加密身份验证来验证服务和 AI 代理的身份，从而确保只有授权的工作负载才能访问企业资源并在分布式环境中进行通信。
Hugging Face 已向 PyTorch 基金会贡献了 Safetensors。Safetensors 是一种模型权重格式，旨在避免某些序列化模型文件格式中存在的任意代码执行风险。它旨在使 AI 模型在开源环境中的分发和检查更加安全。
IBM 和 Red Hat 重点介绍了 Lightwell，它利用数字签名补丁来提升整个开源软件供应链的完整性。微软则贡献了 MDASH，这是一种多模型代理扫描工具，它协调专用 AI 代理来识别、评估和演示潜在的可利用软件漏洞。
SpaceXAI已开源了基于终端的AI编码代理Grok Build，并表示有意发布Grok模型的模型权重。这些贡献体现了该联盟更广泛地重视对用于安全运营的AI工具进行独立检查、测试和调整。
开放人工智能安全政策的影响
开放安全人工智能联盟也倡导将开放人工智能工具视为网络安全基础设施的一部分，而不是简单地将其视为风险因素。该联盟认为，对前沿开放模型施加广泛的限制可能会增加对少数专有供应商的依赖，同时削弱企业和政府防御者测试和加固自身系统的能力。
该联盟呼吁各方共同投资于开放数据集、评估框架、攻击模拟器、红队演练工具、安全模型分发和代理安全控制。对于企业基础设施团队而言，这项工作凸显了确保人工智能部署安全性的日益增长的需求，因为人工智能部署是相互关联的系统，融合了模型、应用程序、身份、存储、网络、可观测性和自动化决策等要素。
Amazon