NVIDIA i ponad 35 partnerów założycielskich powołało Open Secure AI Alliance, inicjatywę skoncentrowaną na rozwijaniu narzędzi open source, modeli, frameworków agentowych i technologii bezpieczeństwa dla systemów AI. Liczba członków jest godna uwagi zarówno ze względu na nieobecność, jak i na to, kto się zapisał: Microsoft, IBM, Cisco, Palantir, Dell Technologies i HPE są w sojuszu, podczas gdy OpenAI, Google i Anthropic, trzy laboratoria najczęściej kojarzone z pionierskimi, zamkniętymi modelami, nie są obecne.
Sojusz powstaje przy wsparciu inicjatywy Akrites Fundacji Linux oraz Open Source Security Foundation, czyli OpenSSF. Jego deklarowanym celem jest zapewnienie zespołom ds. bezpieczeństwa kontrolowanych i adaptowalnych technologii do zabezpieczania modeli sztucznej inteligencji, agentów i otaczającego je łańcucha dostaw oprogramowania.
Wśród uczestników założycielskich znajdują się firmy takie jak: infrastruktura chmurowa, cyberbezpieczeństwo, oprogramowanie korporacyjne, badania nad sztuczną inteligencją oraz społeczności open source. Na liście członków znajdują się: Adobe, Box, Capital One, Cisco, Cloudflare, CrowdStrike, Databricks, Dell Technologies, Elastic, Fortinet, GitHub, HPE, Hugging Face, IBM, LangChain, Linux Foundation, Microsoft, Mistral, NAVER, NetApp, Nokia, Palantir, Palo Alto Networks, Perplexity, Red Hat, Salesforce, SAP, ServiceNow, Siemens, SK Telecom, Snowflake, SpaceXAI, Synopsys, Uber, vLLM i Zscaler.
Przesuwa się uwaga poza wagi modeli
Sojusz argumentuje, że bezpieczeństwo AI powinno być oceniane na poziomie całego stosu agentów, a nie wyłącznie na podstawie dostępności wag modeli. W tym ujęciu agent AI obejmuje model, warstwę orkiestracji, narzędzia, kontrolę tożsamości, uprawnienia, mechanizmy izolacji, zabezpieczenia, rejestrowanie i procesy oceny.
Otwarte modele mogą stwarzać ryzyko nadużyć, w tym usunięcia zabezpieczeń lub adaptacji do ofensywnej cyberaktywności. Sojusz twierdzi jednak, że zamknięte modele nie eliminują tych zagrożeń i mogą ograniczać możliwości obrońcy w zakresie inspekcji zachowań, walidacji mechanizmów kontroli lub obsługi funkcji sztucznej inteligencji w ramach własnej infrastruktury.
Inicjatywa będzie promować model, który umożliwia organizacjom korzystanie zarówno z zamkniętych, jak i otwartych modeli sztucznej inteligencji. Modele zamknięte mogą pozostać odpowiednie dla niektórych pionierskich możliwości, podczas gdy modele otwarte i ich implementacje mogą oferować przejrzystość, lokalną kontrolę i personalizację w przypadku obciążeń defensywnych.
Jest to szczególnie istotne w sektorach regulowanych i środowiskach suwerennych, w których organizacje mogą potrzebować zachować bezpośrednią kontrolę operacyjną nad poufnymi danymi, zachowaniami modeli, dziennikami zabezpieczeń i przepływami pracy w zakresie reagowania na incydenty.
Badania nad wykorzystaniem agentów otwartych
NVIDIA planuje wnieść do sojuszu otwarte modele, wagi modeli, dane i badania nad uprzężą agentów. Jednym z pierwszych projektów jest projekt NVIDIA Labs Object-Oriented Agent (NOOA), dostępny na GitHubie.
NOOA to framework badawczy zaprojektowany w celu poprawy bezpieczeństwa i audytowalności uprzęży agentów AI. Projekt ma na celu ułatwienie testowania, śledzenia, zarządzania i oceny zachowań agentów w miarę interakcji modeli z narzędziami, danymi zewnętrznymi, repozytoriami kodu i systemami korporacyjnymi.
Oczekuje się, że szersza współpraca w ramach sojuszu obejmie narzędzia do identyfikacji agentów, izolacji obciążeń, bezpiecznych formatów modeli, skanowania modeli i bezpiecznego tworzenia oprogramowania wspomaganego sztuczną inteligencją.
Wkłady członków obejmują tożsamość, bezpieczeństwo modelu i skanowanie
Kilku członków założycieli przedstawiło technologie, które mogłyby stać się elementami otwartego stosu obronnego sztucznej inteligencji.
HPE wspiera SPIFFE/SPIRE, otwartą platformę do uwierzytelniania obciążeń roboczych w modelu zero-trust. Technologia ta wykorzystuje kryptograficzną weryfikację tożsamości do uwierzytelniania usług i agentów AI, pomagając zapewnić, że tylko autoryzowane obciążenia robocze mogą uzyskiwać dostęp do zasobów przedsiębiorstwa i komunikować się w środowiskach rozproszonych.
Hugging Face udostępnił Safetensors fundacji PyTorch. Safetensors to format wagowy modelu zaprojektowany w celu uniknięcia ryzyka wykonania dowolnego kodu związanego z niektórymi serializowanymi formatami plików modeli. Jego celem jest zwiększenie bezpieczeństwa dystrybucji i inspekcji modeli AI w środowiskach open source.
IBM i Red Hat wyróżniły Lightwell, który wykorzystuje cyfrowo podpisane poprawki do poprawy integralności w całym łańcuchu dostaw oprogramowania open source. Microsoft udostępnił MDASH, wielomodelową platformę do skanowania agentów, która koordynuje pracę wyspecjalizowanych agentów AI w celu identyfikacji, oceny i demonstracji potencjalnie podatnych na wykorzystanie luk w zabezpieczeniach oprogramowania.
SpaceXAI udostępniło Grok Build, terminalowy agent kodujący AI, jako oprogramowanie open source i zasygnalizowało zamiar udostępnienia wag modeli dla modeli Grok. Wkład ten odzwierciedla szerszy nacisk sojuszu na umożliwienie niezależnej inspekcji, testowania i adaptacji narzędzi AI wykorzystywanych w operacjach bezpieczeństwa.
Implikacje polityczne dla bezpieczeństwa otwartej sztucznej inteligencji
Sojusz Open Secure AI Alliance opowiada się również za podejściem politycznym, które traktuje otwarte narzędzia AI jako element infrastruktury cyberbezpieczeństwa, a nie kategorycznie jako czynnik ryzyka. Sojusz stoi na stanowisku, że szerokie ograniczenia dotyczące otwartych modeli granicznych mogłyby zwiększyć zależność od ograniczonej liczby zastrzeżonych dostawców, jednocześnie ograniczając możliwości przedsiębiorstw i instytucji rządowych w zakresie testowania i wzmacniania własnych systemów.
Sojusz wzywa do wspólnych inwestycji w otwarte zbiory danych, ramy ewaluacyjne, symulatory ataków, narzędzia red-teaming, bezpieczną dystrybucję modeli i kontrolę bezpieczeństwa agentów. Dla zespołów infrastruktury korporacyjnej działania te podkreślają rosnącą potrzebę zabezpieczania wdrożeń sztucznej inteligencji jako połączonych systemów, które łączą modele, aplikacje, tożsamości, pamięć masową, sieci, obserwowalność i zautomatyzowane podejmowanie decyzji.
Amazon