NVIDIA y más de 35 socios fundadores han lanzado la Open Secure AI Alliance, una iniciativa centrada en el desarrollo de herramientas, modelos, marcos de agentes y tecnologías de seguridad de código abierto para sistemas de IA. La lista de miembros destaca tanto por sus ausencias como por sus incorporaciones: Microsoft, IBM, Cisco, Palantir, Dell Technologies y HPE forman parte de la alianza, mientras que OpenAI, Google y Anthropic, los tres laboratorios más identificados con modelos cerrados de vanguardia, no lo hacen.
Esta alianza se está creando con el apoyo de la iniciativa Akrites de la Linux Foundation y la Open Source Security Foundation (OpenSSF). Su objetivo declarado es proporcionar a los equipos de seguridad tecnologías inspeccionables y adaptables para proteger los modelos de IA, los agentes y la cadena de suministro de software relacionada.
Los participantes fundadores abarcan infraestructura en la nube, ciberseguridad, software empresarial, investigación en IA y comunidades de código abierto. La lista de miembros incluye a Adobe, Box, Capital One, Cisco, Cloudflare, CrowdStrike, Databricks, Dell Technologies, Elastic, Fortinet, GitHub, HPE, Hugging Face, IBM, LangChain, la Linux Foundation, Microsoft, Mistral, NAVER, NetApp, Nokia, Palantir, Palo Alto Networks, Perplexity, Red Hat, Salesforce, SAP, ServiceNow, Siemens, SK Telecom, Snowflake, SpaceXAI, Synopsys, Uber, vLLM y Zscaler.
El enfoque cambia más allá de los pesos del modelo.
La alianza argumenta que la seguridad de la IA debe evaluarse a nivel de todo el conjunto de agentes, en lugar de basarse únicamente en la disponibilidad de ponderaciones del modelo. Desde esta perspectiva, un agente de IA incluye el modelo, la capa de orquestación, las herramientas, los controles de identidad, los permisos, los mecanismos de aislamiento, las medidas de seguridad, el registro de eventos y los procesos de evaluación.
Los modelos abiertos pueden generar riesgos de uso indebido, como la eliminación de medidas de seguridad o su adaptación para actividades cibernéticas ofensivas. Sin embargo, la alianza sostiene que los modelos cerrados no eliminan estos riesgos y pueden limitar la capacidad de un defensor para inspeccionar el comportamiento, validar los controles u operar capacidades de IA dentro de su propia infraestructura.
Esta iniciativa promoverá un modelo que permita a las organizaciones utilizar tanto modelos de IA cerrados como abiertos. Los modelos cerrados pueden seguir siendo adecuados para ciertas capacidades de vanguardia, mientras que los modelos y plataformas abiertos pueden ofrecer transparencia, control local y personalización para cargas de trabajo defensivas.
Esto es especialmente relevante en sectores regulados y entornos soberanos, donde las organizaciones pueden necesitar mantener el control operativo directo sobre datos confidenciales, el comportamiento de los modelos, los registros de seguridad y los flujos de trabajo de respuesta a incidentes.
Investigación de aprovechamiento de agentes abiertos
NVIDIA planea aportar a la alianza modelos abiertos, ponderaciones de modelos, datos e investigaciones sobre sistemas de agentes. Una de las primeras contribuciones es el proyecto NVIDIA Labs Object-Oriented Agent (NOOA), disponible en GitHub.
NOOA es un marco de investigación diseñado para mejorar la seguridad y la auditabilidad de los sistemas de agentes de IA. El proyecto busca facilitar las pruebas, el seguimiento, la gobernanza y la evaluación del comportamiento de los agentes a medida que los modelos interactúan con herramientas, datos externos, repositorios de código y sistemas empresariales.
Se prevé que el trabajo conjunto de la alianza incluya herramientas para la identificación de agentes, el aislamiento de cargas de trabajo, formatos de modelos seguros, el escaneo de modelos y el desarrollo seguro de software asistido por IA.
Las contribuciones de los miembros se centran en la identidad, la seguridad del modelo y el escaneo.
Varios miembros fundadores describieron tecnologías que podrían formar parte de un conjunto abierto de herramientas de defensa basadas en IA.
HPE ofrece soporte para SPIFFE/SPIRE, un marco abierto para la identidad de cargas de trabajo de confianza cero. Esta tecnología utiliza la verificación de identidad criptográfica para autenticar servicios y agentes de IA, lo que ayuda a garantizar que solo las cargas de trabajo autorizadas puedan acceder a los recursos empresariales y comunicarse en entornos distribuidos.
Hugging Face ha aportado Safetensors a la Fundación PyTorch. Safetensors es un formato de ponderación de modelos diseñado para evitar los riesgos de ejecución arbitraria de código asociados con algunos formatos de archivos de modelos serializados. Su objetivo es hacer que la distribución e inspección de modelos de IA sean más seguras en entornos de código abierto.
IBM y Red Hat han destacado Lightwell, que utiliza parches firmados digitalmente para mejorar la integridad en toda la cadena de suministro de software de código abierto. Microsoft contribuyó con MDASH, un sistema de escaneo multimodal basado en agentes que coordina agentes de IA especializados para identificar, evaluar y demostrar vulnerabilidades de software potencialmente explotables.
SpaceXAI ha liberado el código fuente de Grok Build, un agente de codificación de IA basado en terminal, y ha manifestado su intención de publicar los pesos de los modelos Grok. Estas contribuciones reflejan el énfasis general de la alianza en facilitar la inspección, las pruebas y la adaptación independientes de las herramientas de IA utilizadas en operaciones de seguridad.
Implicaciones políticas para la seguridad de la IA abierta
La Alianza para la IA Abierta y Segura también aboga por políticas que consideren las herramientas de IA abierta como parte de la infraestructura de ciberseguridad, en lugar de como un factor de riesgo. Su postura es que las restricciones generalizadas a los modelos abiertos de vanguardia podrían aumentar la dependencia de un número limitado de proveedores propietarios, a la vez que reducen la capacidad de las empresas y los gobiernos para probar y fortalecer sus propios sistemas.
La alianza aboga por la inversión conjunta en conjuntos de datos abiertos, marcos de evaluación, simuladores de ataques, herramientas de pruebas de penetración, distribución segura de modelos y controles de seguridad para agentes. Para los equipos de infraestructura empresarial, esta iniciativa subraya la creciente necesidad de proteger las implementaciones de IA como sistemas interconectados que combinan modelos, aplicaciones, identidades, almacenamiento, redes, observabilidad y toma de decisiones automatizada.
Amazon