NVIDIA는 35개 이상의 창립 파트너사와 함께 AI 시스템을 위한 오픈 소스 도구, 모델, 에이전트 프레임워크 및 보안 기술 개발에 중점을 둔 오픈 시큐어 AI 얼라이언스(Open Secure AI Alliance)를 출범시켰습니다. 이 얼라이언스의 회원사 구성은 참여 기업뿐 아니라 불참 기업에서도 주목할 만합니다. 마이크로소프트, IBM, 시스코, 팔란티어, 델 테크놀로지스, HPE는 참여했지만, 폐쇄형 모델 개발로 가장 잘 알려진 오픈AI, 구글, 앤스로픽은 불참했습니다.
이 연합은 리눅스 재단의 아크라이츠(Akrites) 이니셔티브와 오픈 소스 보안 재단(OpenSSF)의 지원을 받아 설립되었습니다. 명시된 목표는 보안 팀에게 AI 모델, 에이전트 및 관련 소프트웨어 공급망을 보호하기 위한 검사 가능하고 적응 가능한 기술을 제공하는 것입니다.
창립 참여 기업들은 클라우드 인프라, 사이버 보안, 엔터프라이즈 소프트웨어, AI 연구 및 오픈 소스 커뮤니티 등 다양한 분야를 아우릅니다. 회원사 목록에는 Adobe, Box, Capital One, Cisco, Cloudflare, CrowdStrike, Databricks, Dell Technologies, Elastic, Fortinet, GitHub, HPE, Hugging Face, IBM, LangChain, Linux Foundation, Microsoft, Mistral, NAVER, NetApp, Nokia, Palantir, Palo Alto Networks, Perplexity, Red Hat, Salesforce, SAP, ServiceNow, Siemens, SK Telecom, Snowflake, SpaceXAI, Synopsys, Uber, vLLM, Zscaler 등이 포함됩니다.
모델 가중치를 넘어 초점이 옮겨가고 있습니다.
이 연합은 AI 보안을 모델 가중치의 가용성만으로 평가하는 것이 아니라 전체 에이전트 스택 수준에서 평가해야 한다고 주장합니다. 이러한 관점에서 AI 에이전트는 모델, 오케스트레이션 계층, 도구, 신원 제어, 권한, 격리 메커니즘, 안전장치, 로깅 및 평가 프로세스를 포함합니다.
개방형 모델은 보안 장치 제거 또는 공격적인 사이버 활동에 맞게 변형하는 등 오용 위험을 초래할 수 있습니다. 그러나 연합은 폐쇄형 모델이 이러한 위험을 완전히 제거하지 못하며, 방어자가 자체 인프라 내에서 행동을 검사하고, 제어를 검증하고, AI 기능을 운영하는 능력을 제한할 수 있다고 주장합니다.
이 계획은 조직이 폐쇄형 및 개방형 AI 모델을 모두 활용할 수 있도록 하는 모델을 장려할 것입니다. 폐쇄형 모델은 특정 첨단 기술에 적합할 수 있으며, 개방형 모델과 그 활용 방식은 방어적인 워크로드에 투명성, 로컬 제어 및 맞춤화를 제공할 수 있습니다.
이는 특히 규제 대상 부문이나 주권 국가 환경에서 조직이 민감한 데이터, 모델 동작, 보안 로그 및 사고 대응 워크플로에 대한 직접적인 운영 통제권을 유지해야 할 필요가 있을 때 더욱 중요합니다.
오픈 에이전트 하네스 연구
NVIDIA는 오픈 소스 모델, 모델 가중치, 데이터 및 에이전트 활용 연구를 해당 연합에 제공할 계획입니다. 초기 기여 사례 중 하나로 GitHub에서 확인할 수 있는 NVIDIA Labs 객체 지향 에이전트(NOOA) 프로젝트가 있습니다.
NOOA는 AI 에이전트 활용의 안전성과 감사 가능성을 향상시키기 위해 설계된 연구 프레임워크입니다. 이 프로젝트는 모델이 도구, 외부 데이터, 코드 저장소 및 엔터프라이즈 시스템과 상호 작용할 때 에이전트 동작을 더 쉽게 테스트, 추적, 관리 및 평가할 수 있도록 하는 것을 목표로 합니다.
이번 협력의 전반적인 작업에는 에이전트 식별, 워크로드 격리, 안전한 모델 형식, 모델 스캐닝 및 안전한 AI 지원 소프트웨어 개발을 위한 도구 개발이 포함될 것으로 예상됩니다.
회원 기여 주제: 신원 확인, 모델 보안 및 스캐닝
창립 멤버 몇몇은 개방형 AI 방어 스택의 구성 요소가 될 수 있는 기술들을 설명했습니다.
HPE는 제로 트러스트 워크로드 ID를 위한 개방형 프레임워크인 SPIFFE/SPIRE를 지원합니다. 이 기술은 암호화 기반 ID 검증을 사용하여 서비스와 AI 에이전트를 인증함으로써, 승인된 워크로드만 기업 리소스에 접근하고 분산 환경에서 통신할 수 있도록 보장합니다.
Hugging Face는 PyTorch 재단에 Safetensors를 기증했습니다. Safetensors는 일부 직렬화된 모델 파일 형식과 관련된 임의 코드 실행 위험을 방지하기 위해 설계된 모델 가중치 형식입니다. 이는 오픈 소스 환경 전반에서 AI 모델의 배포 및 검사를 더욱 안전하게 만드는 것을 목표로 합니다.
IBM과 Red Hat은 오픈 소스 소프트웨어 공급망 전반의 무결성을 향상시키기 위해 디지털 서명된 패치를 사용하는 Lightwell을 강조했습니다. Microsoft는 잠재적으로 악용 가능한 소프트웨어 취약점을 식별, 평가 및 입증하기 위해 특수 AI 에이전트를 조정하는 다중 모델 에이전트 스캐닝 도구인 MDASH를 제공했습니다.
SpaceXAI는 터미널 기반 AI 코딩 에이전트인 Grok Build를 오픈소스로 공개했으며, Grok 모델에 사용할 모델 가중치도 공개할 계획임을 밝혔습니다. 이러한 기여는 안보 작전에 사용되는 AI 도구의 독립적인 검토, 테스트 및 적용을 가능하게 하는 데 중점을 두는 SpaceXAI의 광범위한 노력을 반영합니다.
개방형 AI 보안에 대한 정책적 함의
오픈 시큐어 AI 얼라이언스는 오픈 AI 도구를 위험 요소로 간주하기보다는 사이버 보안 인프라의 일부로 취급하는 정책 접근 방식을 옹호하고 있습니다. 이들은 최첨단 오픈 모델에 대한 광범위한 제한이 소수의 독점 공급업체에 대한 의존도를 높이고 기업 및 정부 방어 담당자가 자체 시스템을 테스트하고 강화할 수 있는 능력을 저해할 수 있다는 입장을 취하고 있습니다.
이 연합은 개방형 데이터 세트, 평가 프레임워크, 공격 시뮬레이터, 레드팀 도구, 안전한 모델 배포 및 에이전트 보안 제어에 대한 공동 투자를 촉구하고 있습니다. 기업 인프라 팀에게 있어 이러한 노력은 모델, 애플리케이션, ID, 스토리지, 네트워킹, 관찰 가능성 및 자동화된 의사 결정이 결합된 상호 연결된 시스템으로서 AI 배포를 보호해야 할 필요성이 점점 더 커지고 있음을 강조합니다.
아마존