NVIDIA und über 35 Gründungspartner haben die Open Secure AI Alliance ins Leben gerufen, eine Initiative zur Entwicklung von Open-Source-Tools, -Modellen, -Agenten-Frameworks und -Sicherheitstechnologien für KI-Systeme. Die Mitgliederliste ist bemerkenswert, ebenso wie die Liste der Abwesenden: Microsoft, IBM, Cisco, Palantir, Dell Technologies und HPE sind vertreten, während OpenAI, Google und Anthropic, die drei Labore, die am stärksten mit innovativen, proprietären Modellen in Verbindung gebracht werden, nicht dabei sind.
Die Allianz wird mit Unterstützung der Akrites-Initiative der Linux Foundation und der Open Source Security Foundation (OpenSSF) gegründet. Ihr erklärtes Ziel ist es, Sicherheitsteams überprüfbare und anpassbare Technologien zur Verfügung zu stellen, um KI-Modelle, Agenten und die dazugehörige Software-Lieferkette zu schützen.
Die Gründungsmitglieder stammen aus den Bereichen Cloud-Infrastruktur, Cybersicherheit, Unternehmenssoftware, KI-Forschung und Open-Source-Communities. Zu ihnen gehören unter anderem Adobe, Box, Capital One, Cisco, Cloudflare, CrowdStrike, Databricks, Dell Technologies, Elastic, Fortinet, GitHub, HPE, Hugging Face, IBM, LangChain, die Linux Foundation, Microsoft, Mistral, NAVER, NetApp, Nokia, Palantir, Palo Alto Networks, Perplexity, Red Hat, Salesforce, SAP, ServiceNow, Siemens, SK Telecom, Snowflake, SpaceXAI, Synopsys, Uber, vLLM und Zscaler.
Der Fokus verlagert sich über die Modellgewichte hinaus
Die Allianz argumentiert, dass die Sicherheit von KI auf Ebene des gesamten Agenten-Stacks und nicht allein anhand der Verfügbarkeit von Modellgewichten bewertet werden sollte. Aus dieser Sicht umfasst ein KI-Agent das Modell, die Orchestrierungsschicht, Werkzeuge, Identitätskontrollen, Berechtigungen, Isolationsmechanismen, Schutzmechanismen, Protokollierung und Bewertungsprozesse.
Offene Modelle bergen Missbrauchsrisiken, etwa durch das Wegfallen von Schutzmechanismen oder die Anpassung für offensive Cyberaktivitäten. Die Allianz argumentiert jedoch, dass geschlossene Modelle diese Risiken nicht beseitigen und die Möglichkeiten der Verteidiger einschränken können, Verhalten zu überprüfen, Kontrollen zu validieren oder KI-Funktionen innerhalb ihrer eigenen Infrastruktur zu betreiben.
Die Initiative fördert ein Modell, das es Organisationen ermöglicht, sowohl geschlossene als auch offene KI-Modelle einzusetzen. Geschlossene Modelle können für bestimmte Spitzentechnologien weiterhin geeignet sein, während offene Modelle und Frameworks Transparenz, lokale Kontrolle und Anpassungsmöglichkeiten für defensive Workloads bieten.
Dies ist insbesondere in regulierten Sektoren und souveränen Umfeldern relevant, wo Organisationen möglicherweise die direkte operative Kontrolle über sensible Daten, Modellverhalten, Sicherheitsprotokolle und Arbeitsabläufe zur Reaktion auf Sicherheitsvorfälle behalten müssen.
Open Agent Harness Research
NVIDIA plant, der Allianz offene Modelle, Modellgewichte, Daten und Forschungsergebnisse zu Agenten-Frameworks zur Verfügung zu stellen. Ein erster Beitrag ist das NVIDIA Labs Object-Oriented Agent (NOOA)-Projekt, das auf GitHub verfügbar ist.
NOOA ist ein Forschungsrahmen, der die Sicherheit und Nachvollziehbarkeit von KI-Agentensystemen verbessern soll. Das Projekt zielt darauf ab, das Testen, Nachverfolgen, Steuern und Bewerten des Agentenverhaltens bei der Interaktion von Modellen mit Werkzeugen, externen Daten, Code-Repositories und Unternehmenssystemen zu vereinfachen.
Die umfassendere Allianzarbeit soll unter anderem Werkzeuge für die Agentenidentität, die Workload-Isolation, sichere Modellformate, das Scannen von Modellen und die sichere KI-gestützte Softwareentwicklung umfassen.
Mitgliederbeiträge: Zielidentität, Modellsicherheit und Scannen
Mehrere Gründungsmitglieder skizzierten Technologien, die Komponenten eines offenen KI-Verteidigungssystems bilden könnten.
HPE unterstützt SPIFFE/SPIRE, ein offenes Framework für die Identitätsverwaltung von Zero-Trust-Workloads. Die Technologie nutzt kryptografische Identitätsprüfung zur Authentifizierung von Diensten und KI-Agenten und trägt so dazu bei, dass nur autorisierte Workloads auf Unternehmensressourcen zugreifen und in verteilten Umgebungen kommunizieren können.
Hugging Face hat Safetensors an die PyTorch Foundation beigesteuert. Safetensors ist ein Modellgewichtungsformat, das entwickelt wurde, um die Risiken der Ausführung beliebigen Codes zu vermeiden, die mit einigen serialisierten Modelldateiformaten verbunden sind. Es soll die Verteilung und Überprüfung von KI-Modellen in Open-Source-Umgebungen sicherer machen.
IBM und Red Hat haben Lightwell hervorgehoben, das digital signierte Patches nutzt, um die Integrität der Open-Source-Software-Lieferkette zu verbessern. Microsoft steuerte MDASH bei, ein Multi-Modell-Agenten-Scanning-Framework, das spezialisierte KI-Agenten koordiniert, um potenziell ausnutzbare Software-Schwachstellen zu identifizieren, zu bewerten und aufzuzeigen.
SpaceXAI hat Grok Build, einen terminalbasierten KI-Codierungsagenten, als Open Source veröffentlicht und angekündigt, Modellgewichte für Grok-Modelle freizugeben. Diese Beiträge unterstreichen das übergeordnete Ziel der Allianz, die unabhängige Prüfung, das Testen und die Anpassung von KI-Werkzeugen im Bereich der Sicherheitsoperationen zu ermöglichen.
Politische Implikationen für die Sicherheit offener KI
Die Open Secure AI Alliance setzt sich zudem für politische Ansätze ein, die offene KI-Tools als Teil der Cybersicherheitsinfrastruktur und nicht kategorisch als Risikofaktor betrachten. Sie argumentiert, dass weitreichende Beschränkungen für innovative offene Modelle die Abhängigkeit von wenigen proprietären Anbietern erhöhen und gleichzeitig die Möglichkeiten von Unternehmen und Regierungen zur Prüfung und Absicherung ihrer eigenen Systeme einschränken könnten.
Die Allianz fordert gemeinsame Investitionen in offene Datensätze, Evaluierungsframeworks, Angriffssimulatoren, Red-Teaming-Tools, sichere Modellverteilung und Sicherheitskontrollen für Agenten. Für Infrastrukturteams in Unternehmen unterstreicht diese Initiative die wachsende Notwendigkeit, KI-Implementierungen als vernetzte Systeme abzusichern, die Modelle, Anwendungen, Identitäten, Speicher, Netzwerke, Observability und automatisierte Entscheidungsfindung kombinieren.
Amazon