VAST Data는 Microsoft와 파트너십을 맺고 Microsoft Azure에서 VAST AI 운영 체제(AI OS)를 기본적으로 제공합니다. 이번 통합은 에이전트 기반 AI 및 프로덕션 모델 워크플로에 중점을 두고 클라우드에서 고성능의 확장 가능한 AI 인프라를 구축하는 것을 목표로 합니다.
VAST AI OS는 Azure 인프라에서 직접 실행되어 기업이 익숙한 Azure 도구, 거버넌스, 보안 및 청구 방식을 활용할 수 있도록 지원합니다. VAST의 온프레미스 기능을 Azure의 GPU 가속 환경으로 확장하는 동시에 통합 관리, 일관된 성능, Azure 수준의 안정성을 달성하는 것이 목표입니다.
Azure 네이티브 제품으로서의 VAST 서비스
Azure 고객은 통합 스토리지, 데이터 카탈로그, 데이터베이스 기능을 포함하는 VAST의 포괄적인 데이터 서비스 스택을 이용할 수 있습니다. 이 플랫폼은 애플리케이션 재설계 없이도 온프레미스, 하이브리드 및 멀티 클라우드 환경에서 복잡한 AI 프로세스를 지원하도록 설계되었습니다.
VAST를 클라우드 네이티브 Azure 서비스로 포지셔닝함으로써 기업은 AI 데이터 서비스를 단일 논리적 플랫폼으로 통합할 수 있습니다. 이러한 접근 방식은 운영상의 어려움을 최소화하고 데이터 위치에 관계없이 일관된 성능, 데이터 관리 및 보안을 제공하는 것을 목표로 합니다.
VAST Data의 공동 창립자인 제프 덴워스는 이번 파트너십을 통해 에이전트 AI를 위한 성능, 확장성, 그리고 사용 편의성을 모두 갖춘 AI 인프라를 구축할 수 있을 것이라고 설명했습니다. 그는 Azure와의 협력을 통해 고객들이 VAST의 익숙한 도구들을 활용하여 데이터 및 AI 프로세스를 통합할 수 있게 되었으며, Azure의 글로벌 입지와 유연성 덕분에 더욱 강화되었다고 강조했습니다.
InsightEngine 및 AgentEngine을 사용한 Agentic AI
이 통합은 자율 에이전트가 라이브 데이터를 기반으로 지속적으로 작동하는 에이전트형 AI에 최적화되어 있습니다. Azure 기반 VAST AI OS는 두 가지 핵심 서비스를 제공합니다.
- VAST InsightEngine: 이는 벡터 검색, 검색 증강 생성(RAG), 데이터 준비 등 AI 데이터 작업에 맞춰 설계된 효율적이고 고성능 컴퓨팅 및 데이터베이스 서비스를 제공합니다. 향상된 I/O 및 인덱싱을 통해 데이터 가까이에서 컴퓨팅을 실행함으로써 지연 시간을 줄이고 처리량을 향상시킵니다.
- VAST 에이전트 엔진: 하이브리드 및 멀티 클라우드 환경에서 실시간 데이터 스트림을 처리하는 자율 에이전트를 관리합니다. 이를 통해 수동 데이터 스테이징이나 파이프라인 재작성 없이 전 세계에 분산된 데이터 세트에서 지속적인 AI 처리가 가능합니다.
이러한 서비스를 함께 사용하면 Azure에서 VAST AI OS를 온프레미스 및 멀티 클라우드 환경 전반의 에이전트 AI 워크플로에 대한 제어 및 실행 계층으로 구축할 수 있습니다.
모델 빌더를 위한 확장 가능한 성능
VAST AI OS는 학습 및 추론 중에 GPU 및 CPU 클러스터를 효율적으로 활용하도록 설계되었습니다. Azure에서는 Laos VM 시리즈와 Azure Boost 가속 네트워킹을 사용합니다.
주요 성능 특징은 다음과 같습니다.
- GPU 및 CPU 기능을 최대한 활용하는 고처리량 데이터 서비스
- 자주 액세스되는 데이터 세트에 대한 지능형 캐싱으로 지연 시간 감소
- 소규모 파일 및 메타데이터 중심 AI 작업을 처리하기 위한 메타데이터 최적화된 입력/출력 경로
목표는 초기 테스트부터 여러 지역에 걸친 프로덕션 출시까지 안정적인 성능을 제공하여 모델 빌더가 성장함에 따라 일관된 데이터 계층을 제공하는 것입니다.
엑사바이트 규모의 데이터 공간을 갖춘 하이브리드 AI
하이브리드 또는 온프레미스 VAST 시스템을 사용하는 고객을 위해 엑사바이트 규모의 VAST DataSpace는 여러 사이트와 클라우드에 걸쳐 통합된 글로벌 네임스페이스를 제공합니다. 이 단일 논리적 뷰는 데이터 사일로를 제거하고 수동 데이터 복사의 필요성을 제거합니다.
기업은 일반적인 데이터 마이그레이션이나 재구성 없이 온프레미스에서 Azure로 GPU 가속 작업을 확장할 수 있습니다. VAST가 백그라운드에서 데이터 배치 및 이동을 관리하면서 동일한 네임스페이스를 타겟팅하여 AI 프로세스를 확장할 수 있습니다.
통합 데이터 액세스 및 AI 기반 데이터베이스
Azure 통합 플랫폼에는 다음이 포함됩니다.
- VAST 데이터스토어: 이 기능은 단일 플랫폼에서 파일(NFS, SMB), 객체(S3) 및 블록 프로토콜을 지원합니다. 이러한 설정을 통해 레거시, 분석 및 AI 작업이 별도의 스토리지 스택 없이 동일한 데이터를 공유할 수 있습니다.
- VAST 데이터베이스: 이는 빠른 트랜잭션 성능, 웨어하우스급 쿼리 속도, 데이터 레이크 경제성을 결합하여, 별도의 OLTP, OLAP 및 레이크 시스템이 아닌 단일 플랫폼에서 혼합 워크로드를 실행할 수 있게 해줍니다.
탄력적이고 비용 효율적인 아키텍처
VAST의 DASE(Disaggregated, Shared-Everything) 아키텍처는 Azure 내에서 컴퓨팅 및 스토리지 리소스를 독립적으로 확장할 수 있도록 지원합니다. 고객은 연결된 시스템에 과도하게 할당하는 대신, 모델, 데이터 세트 및 수요 변화에 따라 리소스를 조정할 수 있습니다.
내장된 유사성 감소 기능은 특히 대규모 모델, 임베딩 및 데이터셋 버전의 중복 데이터 패턴을 제거하여 저장 공간 요구 사항을 줄여줍니다. 이를 통해 광범위한 AI 인프라를 위한 더욱 비용 효율적인 기반을 구축할 수 있습니다.
Microsoft의 AI 로드맵과의 일치
Microsoft Azure Storage 부문 부사장인 Aung Oo는 Azure용 VAST AI OS가 Azure Boost를 탑재한 Laos VM 시리즈를 기반으로 고성능의 확장 가능한 플랫폼을 제공하며, 온프레미스 AI 파이프라인을 Azure의 GPU 지원 인프라로 확장한다고 밝혔습니다. 그는 현재 모델 구축 업체들이 확장성, 성능, AI 네이티브 기능을 위해 VAST를 도입하고 있다는 점을 언급하며, 이번 파트너십을 통해 운영을 간소화하고 비용을 절감하며 인사이트 도출 시간을 단축할 수 있을 것이라고 덧붙였습니다.
Microsoft가 AI 인프라와 맞춤형 실리콘 프로젝트를 개발함에 따라 VAST는 Azure 팀과 협력하여 향후 플랫폼 요구 사항을 충족할 것입니다. 이러한 파트너십을 통해 VAST는 핵심 데이터 및 AI 플랫폼으로 자리매김하고, 확장성, 성능 및 사용 편의성에 중점을 둔 운영 체제로 미래 AI 시스템을 지원하는 것을 목표로 합니다.
아마존