A Dell Technologies apresentou a Dell AI Data Platform, um conjunto de tecnologias de dados e armazenamento alinhadas ao ecossistema de IA da NVIDIA, projetado para ajudar empresas a migrarem de projetos-piloto de IA para sistemas de produção em escala de agentes. A plataforma foi desenvolvida para solucionar uma limitação comum em IA empresarial: dados muito lentos, isolados ou mal gerenciados para suportar cargas de trabalho de IA de alto valor.
À medida que as organizações tentam operacionalizar agentes de IA e fluxos de trabalho de longo contexto, muitas vezes descobrem que o fator limitante não é a escolha do modelo, mas sim a capacidade de acessar, estruturar e governar dados em sistemas fragmentados. A Dell posiciona a Plataforma de Dados de IA como parte da Fábrica de IA da Dell com NVIDIA, fornecendo uma combinação de mecanismos de dados, processamento acelerado por GPU e armazenamento de alto rendimento.
A Dell cita benchmarks internos que mostram indexação vetorial até 12 vezes mais rápida, processamento de dados 3 vezes mais rápido e tempo até o primeiro token 19 vezes mais rápido em comparação com os "métodos de computação tradicionais", com aceleração impulsionada por GPUs NVIDIA e bibliotecas CUDA-X integradas à camada de dados.
Automatizando o ciclo de vida dos dados de IA com o Dell Data Engines
No núcleo da Plataforma de Dados de IA da Dell está um conjunto de mecanismos de dados da Dell, acelerados pela infraestrutura de IA da NVIDIA, para automatizar o ciclo de vida dos dados de IA e reduzir o tempo de preparação dos dados, preservando os controles corporativos.
O Dell Data Orchestration Engine, baseado na tecnologia da Dataloop, adquirida pela Dell, foi projetado para gerenciar dados desde a ingestão até a obtenção de conjuntos de dados prontos para IA. Ele descobre automaticamente fontes de dados estruturados, não estruturados e multimodais, rotulando-os, enriquecendo-os e transformando-os em conjuntos de dados governados, adequados para treinamento e inferência. A plataforma combina pipelines automatizados com aprendizado ativo e revisão humana para aprimorar iterativamente a qualidade dos conjuntos de dados e a precisão dos modelos, sem comprometer a governança.
Para acelerar a implementação, o Data Orchestration Engine inclui um Marketplace com fluxos de trabalho de dados pré-construídos que incorporam microsserviços NVIDIA NIM, modelos de IA da NVIDIA e mais de 200 modelos, aplicativos e templates adicionais. Essa abordagem em formato de marketplace visa reduzir o tempo de retorno do investimento, fornecendo componentes reutilizáveis para padrões comuns de IA empresarial.
Integração com NVIDIA AI Blueprints, NIM e Nemotron
A plataforma de dados de IA da Dell está alinhada com o modelo AI-Q da NVIDIA para a criação de agentes de IA que fornecem insights acionáveis em dados corporativos. A Dell integra mecanismos de dados acelerados pela NVIDIA para oferecer suporte à preparação, recuperação e raciocínio eficientes de dados em fontes estruturadas e não estruturadas, com foco na geração aprimorada por recuperação e em fluxos de trabalho orientados a agentes.
As empresas podem acessar uma biblioteca de conteúdo da NVIDIA, incluindo:
- Projetos de IA NVIDIA pré-construídos para padrões comuns de agentes e aplicativos.
- Microsserviços NVIDIA NIM para implantação e inferência de modelos.
- O modelo NVIDIA Nemotron 3 Super, através do Dell Enterprise Hub na Hugging Face.
Essa integração permite que os clientes combinem a camada de dados e a pilha de armazenamento da Dell com o ecossistema de modelagem, inferência e microsserviços da NVIDIA em uma configuração compatível.
Suporte para NVIDIA STX, Vera Rubin NVL72 e Spectrum-X.
A Dell também está alinhando seu portfólio de infraestrutura com o design de referência modular STX da NVIDIA. A empresa planeja oferecer suporte ao NVIDIA STX, que utiliza as GPUs NVIDIA Vera Rubin NVL72, DPUs NVIDIA BlueField-4 e a rede Ethernet NVIDIA Spectrum-X. O objetivo é fornecer uma plataforma modular e escalável para gerenciamento e processamento de dados de IA, que integre GPU, DPU e rede de alto desempenho com o software de armazenamento e dados da Dell.
Essa abordagem baseada em STX visa ambientes que precisam gerenciar, processar e recuperar grandes volumes de dados para treinamento, ajuste fino e inferência em tempo real, mantendo o isolamento de desempenho e a taxa de transferência previsível.
Assistente de IA para análise de SQL
Dentro do Dell Data Analytics Engine, a Dell está introduzindo um Assistente de IA que fornece uma interface conversacional para análises SQL. O assistente permite que usuários de negócios e técnicos:
- Consultas a dados estruturados e controlados por linguagem natural em vez de SQL puro.
- Visualize os resultados da consulta para análise e colaboração.
- Trabalhar dentro dos limites de governança existentes, ao mesmo tempo que se expande o acesso aos dados para especialistas que não sejam de SQL.
Para organizações que implementam agentes de IA que precisam de dados estruturados de alta qualidade, este assistente focado em SQL visa reduzir a dependência de habilidades especializadas em engenharia de dados e acelerar os ciclos de decisão.
NVIDIA RTX PRO Blackwell e CUDA-X na camada de dados
Um ponto-chave do design da Plataforma de Dados de IA da Dell é a integração de GPUs NVIDIA diretamente na camada de dados. A Dell está incorporando GPUs NVIDIA RTX PRO Blackwell Server Edition para acelerar o processamento de dados próximo ao local onde os dados residem.
As bibliotecas NVIDIA CUDA-X, como o cuDF para operações colunares em dados estruturados e o cuVS para indexação vetorial, são executadas em conjunto com os mecanismos de dados da Dell para descarregar e paralelizar cargas de trabalho de dados. A Dell relata melhorias de desempenho de até 3 vezes para consultas SQL e até 12 vezes para indexação vetorial em comparação com as abordagens tradicionais centradas na CPU.
Ao incorporar a aceleração por GPU no fluxo de dados, a Dell pretende manter os pipelines de treinamento e inferência de IA subsequentes alimentados com dados preparados e indexados a uma taxa que corresponda ao consumo da GPU, um gargalo comum em ambientes de IA em escala de produção.
Armazenamento: Mantendo as GPUs em uso em escala
À medida que as cargas de trabalho de IA deixam de ser experimentais, a largura de banda e a latência do armazenamento frequentemente se tornam o fator limitante, deixando GPUs caras ociosas. A Dell está respondendo a isso com mecanismos de armazenamento otimizados para IA, projetados para manter o alto desempenho mesmo com o aumento da capacidade e do número de nós.
Sistema de arquivos Dell Lightning
O Dell Lightning File System é um sistema de arquivos paralelo de alto desempenho otimizado para cargas de trabalho de treinamento e inferência de IA. A Dell especifica até 150 GB/s por unidade de rack, com vantagens de desempenho em comparação com os sistemas de arquivos paralelos e somente flash tradicionais.
O Lightning utiliza uma arquitetura baseada em malha que permite acesso direto e de alta largura de banda dos nós de computação ao armazenamento, visando manter a utilização da GPU em escala. O sistema integra-se com a infraestrutura de IA baseada em NVIDIA e é ideal para clusters de treinamento com alta densidade de GPUs, onde a taxa de transferência sustentada é crucial.
Armazenamento Dell Exascale
O Dell Exascale Storage é apresentado como um sistema de armazenamento 3 em 1 para IA e computação de alto desempenho, compatível com armazenamento simultâneo de arquivos, objetos e arquivos paralelos em servidores Dell PowerEdge. Em uma única plataforma de hardware, as organizações podem implementar:
- Dell PowerScale para sistemas de arquivos de expansão horizontal
- Dell ObjectScale para armazenamento de objetos compatível com S3
- Dell Lightning File System para um sistema de arquivos paralelo de alto desempenho
Essa abordagem convergente visa cargas de trabalho exigentes de IA e HPC, incluindo negociação de alta frequência e "neoclouds", onde protocolos mistos e requisitos extremos de taxa de transferência coexistem. O Exascale Storage suporta placas de rede NVIDIA CX-8 e CX-9 SuperNICs e links de rede de até 800 GbE, e a Dell anuncia desempenho de até 6 TB/s por rack para cargas de trabalho de IA que precisam ingerir conjuntos de dados muito grandes rapidamente.
Descarregamento de cache KV com NVIDIA CMX e armazenamento Dell
Para dar suporte a cargas de trabalho de IA de contexto extenso e com agentes, a Dell e a NVIDIA estão habilitando o descarregamento do KV Cache da memória da GPU para o armazenamento compartilhado. Usando as tecnologias de armazenamento em memória NVIDIA CMX e os recursos de aceleração de inferência, o KV Cache pode ser implementado no Dell CMX Storage e em redes de alta velocidade em PowerScale, ObjectScale e Lightning File System.
Ao realocar o cache KV da memória limitada da GPU para um armazenamento compartilhado de alto desempenho, as organizações podem:
- Aumentar o comprimento efetivo do contexto para modelos de linguagem de grande porte.
- Manter a continuidade em interações de agentes de longa duração.
- Melhore a utilização da GPU liberando VRAM para computação em vez de cache.
Isso é particularmente relevante para agentes de IA que precisam consultar extensos dados históricos ou manter conversas longas e com estado, sem esgotar a memória da GPU.
PowerScale pNFS para desempenho de arquivos grandes
Dell PowerScaleA arquitetura Parallel Network File System (pNFS) da Dell, baseada em software, é otimizada para processamento de arquivos grandes em ambientes de IA. A Dell relata um desempenho até 6 vezes mais rápido para arquivos grandes em comparação com o NESv3.12.
O pNFS distribui o acesso a arquivos entre os nós para manter alta largura de banda e reduzir pontos de acesso intenso, ajudando a manter o fluxo de dados para as cargas de trabalho da GPU. O objetivo é minimizar gargalos de E/S e reduzir o tempo ocioso da GPU, especialmente em cenários de treinamento com arquivos de checkpoint e conjuntos de dados grandes.
Dell AI Factory com NVIDIA: Escala e ROI
A plataforma de dados de IA da Dell e as melhorias de armazenamento chegam no momento em que a Dell comemora o segundo aniversário da Dell AI Factory com a NVIDIA. Segundo a Dell, mais de 4,000 clientes estão implementando a plataforma AI Factory, com os primeiros usuários relatando um retorno sobre o investimento (ROI) de até 2.6 vezes no primeiro ano.
O amplo portfólio da Dell AI Factory abrange infraestrutura, software, soluções e serviços projetados para levar a IA de projetos-piloto isolados à produção em escala. A Plataforma de Dados de IA, os mecanismos de dados e a pilha de armazenamento descritos aqui visam abordar os aspectos de acesso a dados e desempenho dessa jornada, que, em muitos ambientes, provaram ser mais desafiadores do que a implementação de clusters ou modelos de GPU.
A plataforma de dados de IA da Dell com NVIDIA oferece uma arquitetura integrada e centrada em dados que combina automação do ciclo de vida, processamento de dados acelerado por GPU e armazenamento de alto desempenho, tudo projetado para manter os agentes e modelos de IA em plena utilização.
Amazon