Dell Technologies ha presentado la plataforma de datos de IA de Dell, un conjunto de tecnologías de datos y almacenamiento alineadas con el ecosistema de IA de NVIDIA, diseñada para ayudar a las empresas a pasar de proyectos piloto de IA a sistemas con capacidad de producción a gran escala. La plataforma está diseñada para abordar una limitación común en la IA empresarial: datos demasiado lentos, aislados o mal gestionados para soportar cargas de trabajo de IA de alto valor.
A medida que las organizaciones intentan implementar agentes de IA y flujos de trabajo de contexto extenso, suelen descubrir que el factor limitante no es la elección del modelo, sino la capacidad de acceder, estructurar y gestionar los datos en sistemas fragmentados. Dell posiciona la plataforma de datos de IA como parte de Dell AI Factory con NVIDIA , proporcionando una solución integral que combina motores de datos, procesamiento acelerado por GPU y almacenamiento de alto rendimiento.
Dell cita pruebas internas que demuestran una indexación vectorial hasta 12 veces más rápida, un procesamiento de datos 3 veces más rápido y un tiempo hasta el primer token 19 veces más rápido en comparación con los "métodos de computación tradicionales", con una aceleración impulsada por las GPU de NVIDIA y las bibliotecas CUDA-X integradas en la capa de datos.
Automatización del ciclo de vida de los datos de IA con Dell Data Engines
La plataforma de datos de IA de Dell se basa en un conjunto de motores de datos de Dell, acelerados por la infraestructura de IA de NVIDIA, para automatizar el ciclo de vida de los datos de IA y reducir el tiempo de preparación de los datos, al tiempo que se preservan los controles empresariales.
El motor de orquestación de datos de Dell, basado en la tecnología adquirida por Dell con Dataloop, está diseñado para gestionar datos desde su ingesta hasta la creación de conjuntos de datos listos para la IA. Descubre automáticamente fuentes de datos estructuradas, no estructuradas y multimodales, las etiqueta, enriquece y transforma en conjuntos de datos controlados, aptos para el entrenamiento y la inferencia. La plataforma combina flujos de trabajo automatizados con aprendizaje activo y revisión manual para mejorar iterativamente la calidad de los conjuntos de datos y la precisión de los modelos sin comprometer la gobernanza.
Para agilizar la implementación, el Motor de Orquestación de Datos incluye un Marketplace con flujos de trabajo de datos predefinidos que incorporan microservicios NVIDIA NIM, planos de IA de NVIDIA y más de 200 modelos, aplicaciones y plantillas adicionales. Este enfoque tipo Marketplace busca reducir el tiempo de obtención de valor al proporcionar componentes reutilizables para patrones comunes de IA empresarial.
Integración con NVIDIA AI Blueprints, NIM y Nemotron.
La plataforma de datos de IA de Dell se alinea con el modelo AI-Q de NVIDIA para la creación de agentes de IA que proporcionan información útil a partir de los datos empresariales. Dell integra motores de datos acelerados por NVIDIA para respaldar la preparación, recuperación y razonamiento eficientes de datos en fuentes estructuradas y no estructuradas, con especial atención a la generación aumentada por recuperación y los flujos de trabajo basados en agentes.
Las empresas pueden acceder a una biblioteca de contenido de NVIDIA, que incluye:
- Plantillas de IA de NVIDIA predefinidas para patrones comunes de agentes y aplicaciones.
- Microservicios NVIDIA NIM para la implementación e inferencia de modelos.
- El modelo NVIDIA Nemotron 3 Super a través de Dell Enterprise Hub en Hugging Face
Esta integración permite a los clientes combinar la capa de datos y la pila de almacenamiento de Dell con el ecosistema de modelos, inferencia y microservicios de NVIDIA en una configuración compatible.
Compatibilidad con NVIDIA STX, Vera Rubin NVL72 y Spectrum-X
Dell también está alineando su cartera de infraestructura con el diseño de referencia modular STX de NVIDIA. La compañía planea brindar soporte a NVIDIA STX, impulsado por la GPU NVIDIA Vera Rubin NVL72, las DPU NVIDIA BlueField-4 y la red Ethernet NVIDIA Spectrum-X. El objetivo es proporcionar una plataforma modular y escalable para la gestión y el procesamiento de datos de IA que integre estrechamente la GPU, la DPU y la red de alto rendimiento con el software de almacenamiento y datos de Dell.
Este enfoque basado en STX está dirigido a entornos que necesitan gestionar, procesar y recuperar grandes volúmenes de datos para el entrenamiento, el ajuste fino y la inferencia en tiempo real, manteniendo al mismo tiempo el aislamiento del rendimiento y un rendimiento predecible.
Asistente de IA para análisis SQL
Dentro del motor de análisis de datos de Dell, Dell presenta un asistente de IA que proporciona una interfaz conversacional para el análisis SQL. El asistente permite a los usuarios técnicos y de negocios:
- Datos estructurados y controlados por consultas mediante lenguaje natural en lugar de SQL puro.
- Visualice los resultados de las consultas para su análisis y colaboración.
- Trabajar dentro de los límites de gobernanza existentes mientras se amplía el acceso a los datos a expertos que no utilizan SQL.
Para las organizaciones que implementan agentes de IA que necesitan datos estructurados de alta calidad, este asistente centrado en SQL está diseñado para reducir la dependencia de habilidades especializadas en ingeniería de datos y acelerar los ciclos de toma de decisiones.
NVIDIA RTX PRO Blackwell y CUDA-X en la capa de datos
Un aspecto clave del diseño de la plataforma de datos de IA de Dell es la integración de las GPU de NVIDIA directamente en la capa de datos. Dell incorpora las GPU NVIDIA RTX PRO Blackwell Server Edition para acelerar el procesamiento de datos cerca de donde se encuentran.
Las bibliotecas NVIDIA CUDA-X, como cuDF para operaciones columnares en datos estructurados y cuVS para indexación vectorial, se ejecutan junto con los motores de datos de Dell para descargar y paralelizar las cargas de trabajo de datos. Dell informa de mejoras de rendimiento de hasta 3 veces para consultas SQL y de hasta 12 veces para indexación vectorial en comparación con los enfoques tradicionales centrados en la CPU.
Al integrar la aceleración por GPU en la ruta de datos, Dell pretende alimentar las canalizaciones de entrenamiento e inferencia de IA posteriores con datos preparados e indexados a una velocidad que coincida con el consumo de la GPU, que es un cuello de botella común en los entornos de IA a escala de producción.
Almacenamiento: Cómo mantener las GPU utilizadas a gran escala
A medida que las cargas de trabajo de IA dejan de ser experimentales, el ancho de banda y la latencia del almacenamiento suelen convertirse en el factor limitante, dejando inactivas las costosas GPU. Dell responde con motores de almacenamiento optimizados para IA, diseñados para mantener un alto rendimiento a medida que aumenta la capacidad y el número de nodos.
Sistema de archivos Dell Lightning
El sistema de archivos Dell Lightning es un sistema de archivos paralelo de alto rendimiento optimizado para cargas de trabajo de entrenamiento e inferencia de IA. Dell especifica hasta 150 GB/s por unidad de rack, con ventajas de rendimiento frente a los sistemas de archivos paralelos y de memoria flash tradicionales.
Lightning utiliza una arquitectura basada en interconexión que permite el acceso directo y de alto ancho de banda desde los nodos de cómputo al almacenamiento, con el objetivo de mantener la utilización de la GPU a gran escala. El sistema se integra con la infraestructura de IA basada en NVIDIA y es ideal para clústeres de entrenamiento con alta densidad de GPU, donde el rendimiento sostenido es fundamental.
Almacenamiento Dell Exascale
Dell Exascale Storage se presenta como un sistema de almacenamiento 3 en 1 para IA y computación de alto rendimiento, compatible con el almacenamiento simultáneo de archivos, objetos y archivos en paralelo en servidores Dell PowerEdge. En una única plataforma de hardware, las organizaciones pueden implementar:
- Dell PowerScale para sistemas de archivos escalables
- Dell ObjectScale para almacenamiento de objetos compatible con S3
- Sistema de archivos Dell Lightning para un sistema de archivos paralelo de alto rendimiento.
Este enfoque convergente está dirigido a cargas de trabajo exigentes de IA y HPC, incluyendo operaciones de alta frecuencia y "neoclouds", donde coexisten protocolos mixtos y requisitos de rendimiento extremos. Exascale Storage admite tarjetas de red NVIDIA CX-8 y CX-9 SuperNIC y enlaces de red de hasta 800 GbE, y Dell indica un rendimiento de hasta 6 TB/s por rack para cargas de trabajo de IA que deben procesar rápidamente conjuntos de datos muy grandes.
Descarga de caché KV con NVIDIA CMX y almacenamiento Dell
Para admitir cargas de trabajo de IA con contexto prolongado y agentes, Dell y NVIDIA permiten la descarga de KV Cache de la memoria de la GPU al almacenamiento compartido. Mediante las tecnologías de almacenamiento de memoria NVIDIA CMX y las capacidades de aceleración de inferencia, KV Cache se puede implementar en Dell CMX Storage y redes de alta velocidad en PowerScale, ObjectScale y Lightning File System.
Al reubicar la caché KV desde la memoria GPU limitada a un almacenamiento compartido de alto rendimiento, las organizaciones pueden:
- Aumentar la longitud efectiva del contexto para modelos de lenguaje grandes.
- Mantener la continuidad en las interacciones prolongadas entre agentes.
- Mejora la utilización de la GPU liberando VRAM para el cálculo en lugar de para la caché.
Esto es especialmente relevante para los agentes de IA que necesitan consultar datos históricos extensos o mantener conversaciones largas y con estado sin agotar la memoria de la GPU.
PowerScale pNFS para un rendimiento óptimo de archivos grandes
La arquitectura del sistema de archivos de red paralela (pNFS) de Dell PowerScale , basada en software, está optimizada para el procesamiento de archivos grandes en entornos de IA. Dell informa de un rendimiento hasta 6 veces superior para archivos grandes en comparación con NESv3.12.
pNFS distribuye el acceso a archivos entre los nodos para mantener un ancho de banda elevado y reducir los puntos críticos, lo que facilita el flujo de datos hacia las cargas de trabajo de la GPU. El objetivo es minimizar los cuellos de botella de E/S y reducir el tiempo de inactividad de la GPU, especialmente en escenarios de entrenamiento con archivos de punto de control y conjuntos de datos de gran tamaño.
Dell AI Factory con NVIDIA: Escalabilidad y retorno de la inversión
Las mejoras en la plataforma de datos y almacenamiento de IA de Dell llegan coincidiendo con el segundo aniversario de Dell AI Factory, fruto de su colaboración con NVIDIA. Según Dell, más de 4,000 clientes están implementando la solución AI Factory, y los primeros usuarios reportan un retorno de la inversión de hasta 2.6 veces en el primer año.
La cartera integral de Dell AI Factory abarca infraestructura, software, soluciones y servicios diseñados para llevar la IA desde proyectos piloto aislados hasta la producción a gran escala. La plataforma de datos de IA, los motores de datos y la pila de almacenamiento que se describen aquí están pensados para abordar los aspectos de acceso a los datos y rendimiento de este proceso, que, en muchos entornos, han resultado más complejos que la implementación de clústeres o modelos de GPU.
La plataforma de datos de IA de Dell con NVIDIA ofrece una arquitectura integrada y centrada en los datos que combina la automatización del ciclo de vida, el procesamiento de datos acelerado por GPU y el almacenamiento de alto rendimiento, todo ello diseñado para mantener los agentes y modelos de IA en plena utilización.
Amazon