A VAST Data firmou uma parceria com a Microsoft para oferecer o Sistema Operacional de IA (AI OS) da VAST nativamente no Microsoft Azure. Essa integração visa criar uma infraestrutura de IA escalável e de alto desempenho na nuvem, com foco em IA agente e fluxos de trabalho de modelos de produção.
O sistema operacional VAST AI será executado diretamente na infraestrutura do Azure, permitindo que as empresas utilizem as ferramentas, a governança, a segurança e o faturamento já conhecidos do Azure. O objetivo é alcançar gerenciamento unificado, desempenho consistente e confiabilidade de nível Azure, ao mesmo tempo que se estendem os recursos locais do VAST para o ambiente acelerado por GPU do Azure.
Serviços VAST como uma oferta nativa do Azure
Os clientes do Azure terão acesso ao conjunto abrangente de serviços de dados do VAST, que inclui armazenamento unificado, catalogação de dados e recursos de banco de dados. A plataforma foi projetada para suportar processos complexos de IA em ambientes locais, híbridos e multicloud, sem a necessidade de reformulação do aplicativo.
Ao posicionar o VAST como um serviço nativo da nuvem Azure, as empresas podem consolidar serviços de dados de IA em uma única plataforma lógica. Essa abordagem visa minimizar os desafios operacionais e fornecer desempenho, gerenciamento de dados e segurança consistentes, independentemente de onde os dados estejam armazenados.
Jeff Denworth, cofundador da VAST Data, descreveu a parceria como uma forma de criar uma infraestrutura de IA que combine desempenho, escalabilidade e facilidade de uso para IA orientada a agentes. Ele enfatizou que a colaboração com o Azure permite que os clientes unifiquem dados e processos de IA com as ferramentas já conhecidas da VAST, agora aprimoradas pela presença global e flexibilidade do Azure.
IA Agentica com InsightEngine e AgentEngine
A integração é otimizada para IA agente, na qual agentes autônomos operam continuamente em dados em tempo real. O VAST AI OS no Azure oferecerá dois serviços principais:
- VAST InsightEngine: Isso proporciona serviços de computação e banco de dados eficientes e de alto desempenho, personalizados para tarefas de dados de IA, incluindo busca vetorial, geração aumentada por recuperação (RAG) e preparação de dados. Ao executar a computação próxima aos dados, com E/S e indexação aprimoradas, reduz-se a latência e aumenta-se a taxa de transferência.
- VAST AgentEngine: Isso permite o gerenciamento de agentes autônomos em fluxos de dados em tempo real em ambientes híbridos e multicloud. Dessa forma, é possível realizar o processamento contínuo de IA em conjuntos de dados distribuídos globalmente, sem a necessidade de preparação manual de dados ou reescrita de pipelines.
Em conjunto, esses serviços estabelecem o VAST AI OS no Azure como uma camada de controle e execução para fluxos de trabalho de IA baseados em agentes em ambientes locais e multicloud.
Desempenho em escala para modelistas
O VAST AI OS foi projetado para manter clusters de GPU e CPU ocupados durante o treinamento e a inferência. No Azure, ele usará a série de VMs Laos e a Rede Acelerada Azure Boost.
Os principais recursos de desempenho incluem:
- Serviços de dados de alto desempenho para aproveitar ao máximo as capacidades da GPU e da CPU.
- Cache inteligente para conjuntos de dados acessados frequentemente, reduzindo o tempo de espera.
- Caminhos de entrada/saída otimizados para metadados para lidar com tarefas de IA que envolvem arquivos pequenos e grande volume de metadados.
O objetivo é oferecer desempenho confiável desde os testes iniciais até as implementações de produção em várias regiões, fornecendo aos criadores de modelos uma camada de dados consistente à medida que crescem.
IA híbrida com espaço de dados em escala de exabytes
Para clientes com sistemas VAST híbridos ou locais, o VAST DataSpace em escala de exabytes oferece um namespace global unificado em diferentes sites e nuvens. Essa visão lógica única elimina silos de dados e a necessidade de cópia manual de dados.
As empresas podem expandir tarefas aceleradas por GPU de ambientes locais para o Azure sem a necessidade de migração ou reconfiguração de dados. Os processos de IA podem ser estendidos direcionando-os para o mesmo namespace, com o VAST gerenciando o posicionamento e a movimentação de dados em segundo plano.
Acesso Unificado a Dados e Banco de Dados Nativo de IA
A plataforma integrada ao Azure inclui:
- Armazenamento de dados VAST: Isso oferece suporte a protocolos de arquivo (NFS, SMB), objeto (S3) e bloco a partir de uma única plataforma. Essa configuração permite que tarefas legadas, de análise e de IA compartilhem os mesmos dados sem a necessidade de pilhas de armazenamento separadas.
- Banco de dados VAST: Isso combina desempenho transacional rápido, velocidade de consulta de nível de data warehouse e economia de data lake, permitindo que cargas de trabalho mistas sejam executadas em uma única plataforma, em vez de sistemas OLTP, OLAP e de data lake separados.
Arquitetura elástica e econômica
A arquitetura DASE (Disaggregated, Shared-Everything) do VAST permite o dimensionamento independente de recursos de computação e armazenamento no Azure. Os clientes podem ajustar os recursos conforme os modelos, conjuntos de dados e demanda mudam, em vez de sobrecarregar sistemas interligados.
A Redução de Similaridade integrada também reduz os requisitos de armazenamento, removendo padrões de dados duplicados, especialmente para modelos grandes, embeddings e versões de conjuntos de dados. Isso resulta em uma base mais econômica para uma infraestrutura de IA extensa.
Alinhamento com o roteiro de IA da Microsoft
Aung Oo, vice-presidente do Azure Storage na Microsoft, afirmou que o VAST AI OS no Azure oferece uma plataforma escalável e de alto desempenho, construída sobre a série de máquinas virtuais Laos com o Azure Boost, estendendo os pipelines de IA locais para a infraestrutura do Azure com suporte a GPUs. Ele destacou a atual adoção do VAST por desenvolvedores de modelos devido à sua escalabilidade, desempenho e recursos nativos de IA. Mencionou ainda que a parceria deve simplificar as operações, reduzir custos e acelerar a obtenção de insights.
À medida que a Microsoft desenvolve sua infraestrutura de IA e projetos de silício personalizados, a VAST trabalhará com a equipe do Azure para atender às futuras necessidades da plataforma. Essa parceria posiciona a VAST como uma plataforma essencial de dados e IA, visando dar suporte a futuros sistemas de IA com um sistema operacional focado em escalabilidade, desempenho e facilidade de uso.
Amazon