Dell Technologies ha presentato la Dell AI Data Platform, una suite di tecnologie di dati e archiviazione allineate con l'ecosistema AI di NVIDIA, progettata per aiutare le aziende a passare dai progetti pilota di IA a sistemi agentici su scala produttiva. La piattaforma è pensata per affrontare un limite comune nell'IA aziendale: dati troppo lenti, isolati o mal gestiti per supportare carichi di lavoro di IA ad alto valore aggiunto.
Quando le organizzazioni tentano di rendere operativi gli agenti di intelligenza artificiale e i flussi di lavoro a lungo termine, spesso scoprono che il fattore limitante non è la scelta del modello, bensì la capacità di accedere, strutturare e gestire i dati attraverso sistemi frammentati. Dell posiziona la piattaforma dati AI come parte della Dell AI Factory con NVIDIA , fornendo una suite combinata di motori dati, elaborazione accelerata da GPU e storage ad alta velocità.
Dell cita benchmark interni che mostrano un'indicizzazione vettoriale fino a 12 volte più veloce, un'elaborazione dei dati 3 volte più veloce e un tempo di generazione del primo token 19 volte più veloce rispetto ai "metodi di calcolo tradizionali", con un'accelerazione ottenuta grazie alle GPU NVIDIA e alle librerie CUDA-X integrate nel livello dati.
Automatizzare il ciclo di vita dei dati per l'IA con Dell Data Engines.
Al centro della piattaforma dati AI di Dell si trova un insieme di motori dati Dell, accelerati dall'infrastruttura AI di NVIDIA, per automatizzare il ciclo di vita dei dati AI e ridurre i tempi di preparazione dei dati, preservando al contempo il controllo aziendale.
Il Dell Data Orchestration Engine, basato sulla tecnologia derivante dall'acquisizione di Dataloop da parte di Dell, è progettato per gestire i dati dall'acquisizione fino alla creazione di dataset pronti per l'intelligenza artificiale. Rileva automaticamente fonti di dati strutturate, non strutturate e multimodali, le etichetta, le arricchisce e le trasforma in dataset strutturati adatti all'addestramento e all'inferenza. La piattaforma combina pipeline automatizzate con apprendimento attivo e revisione umana per migliorare iterativamente la qualità dei dataset e l'accuratezza dei modelli senza compromettere la governance.
Per velocizzare l'implementazione, il Data Orchestration Engine include un Marketplace con flussi di lavoro dati predefiniti che integrano i microservizi NVIDIA NIM, i blueprint NVIDIA AI e oltre 200 modelli, applicazioni e template aggiuntivi. Questo approccio in stile marketplace è pensato per ridurre i tempi di implementazione, fornendo componenti riutilizzabili per i modelli di intelligenza artificiale aziendali più comuni.
Integrazione con NVIDIA AI Blueprints, NIM e Nemotron
La piattaforma dati AI di Dell si allinea al modello AI-Q di NVIDIA per la creazione di agenti AI in grado di fornire informazioni utili a partire dai dati aziendali. Dell integra i motori dati accelerati da NVIDIA per supportare un'efficiente preparazione, recupero e analisi dei dati da fonti strutturate e non strutturate, con particolare attenzione alla generazione potenziata dal recupero e ai flussi di lavoro agentici.
Le aziende possono accedere a una libreria di contenuti NVIDIA, tra cui:
- Modelli predefiniti di intelligenza artificiale NVIDIA per agenti e applicazioni comuni
- Microservizi NVIDIA NIM per la distribuzione e l'inferenza dei modelli
- Il modello NVIDIA Nemotron 3 Super tramite Dell Enterprise Hub su Hugging Face
Questa integrazione consente ai clienti di combinare il livello dati e lo stack di storage di Dell con l'ecosistema di modelli, inferenza e microservizi di NVIDIA in una configurazione supportata.
Supporto per NVIDIA STX, Vera Rubin NVL72 e Spectrum-X
Dell sta inoltre allineando il proprio portfolio di infrastrutture al design di riferimento modulare STX di NVIDIA. L'azienda prevede di supportare NVIDIA STX, basato su NVIDIA Vera Rubin NVL72, DPU NVIDIA BlueField-4 e rete Ethernet NVIDIA Spectrum-X. L'obiettivo è fornire una piattaforma modulare e scalabile per la gestione e l'elaborazione dei dati AI che integri strettamente GPU, DPU e rete ad alte prestazioni con il software di storage e gestione dati di Dell.
Questo approccio basato su STX è pensato per ambienti che necessitano di gestire, elaborare e recuperare grandi volumi di dati per l'addestramento, la messa a punto e l'inferenza in tempo reale, mantenendo al contempo l'isolamento delle prestazioni e un throughput prevedibile.
Assistente AI per l'analisi SQL
All'interno di Dell Data Analytics Engine, Dell introduce un assistente AI che fornisce un'interfaccia conversazionale per l'analisi SQL. L'assistente consente agli utenti aziendali e tecnici di:
- Interrogare dati strutturati e gestiti tramite linguaggio naturale anziché SQL puro.
- Visualizza i risultati delle query per l'analisi e la collaborazione
- Operare entro i limiti di governance esistenti, ampliando al contempo l'accesso ai dati anche a utenti non esperti di SQL.
Per le organizzazioni che implementano agenti di intelligenza artificiale e necessitano di dati strutturati di alta qualità, questo assistente incentrato su SQL è pensato per ridurre la dipendenza da competenze specialistiche di ingegneria dei dati e accelerare i cicli decisionali.
NVIDIA RTX PRO Blackwell e CUDA-X nel livello dati
Un punto chiave nella progettazione della piattaforma dati AI di Dell è l'integrazione delle GPU NVIDIA direttamente nel livello dati. Dell sta integrando le GPU NVIDIA RTX PRO Blackwell Server Edition per accelerare l'elaborazione dei dati in prossimità del punto in cui risiedono i dati stessi.
Le librerie NVIDIA CUDA-X, come cuDF per le operazioni colonnari su dati strutturati e cuVS per l'indicizzazione vettoriale, vengono eseguite insieme ai motori dati di Dell per alleggerire e parallelizzare i carichi di lavoro sui dati. Dell riporta miglioramenti delle prestazioni fino a 3 volte per le query SQL e fino a 12 volte per l'indicizzazione vettoriale rispetto agli approcci tradizionali incentrati sulla CPU.
Integrando l'accelerazione GPU nel flusso di dati, Dell mira a garantire che le pipeline di addestramento e inferenza dell'IA a valle vengano alimentate con dati preparati e indicizzati a una velocità che corrisponda al consumo della GPU, che rappresenta un collo di bottiglia comune negli ambienti di IA su scala produttiva.
Archiviazione: Mantenere le GPU utilizzate su larga scala
Con l'avanzare dei carichi di lavoro di intelligenza artificiale oltre la fase sperimentale, la larghezza di banda e la latenza dello storage diventano spesso il fattore limitante, lasciando inattive le costose GPU. Dell risponde a questa esigenza con motori di storage ottimizzati per l'IA, progettati per mantenere prestazioni elevate anche con l'aumento della capacità e del numero di nodi.
File system Dell Lightning
Il Dell Lightning File System è un file system parallelo ad alte prestazioni ottimizzato per i carichi di lavoro di addestramento e inferenza dell'intelligenza artificiale. Dell specifica velocità fino a 150 GB/s per unità rack, con vantaggi prestazionali rispetto ai tradizionali file system basati esclusivamente su memoria flash e paralleli.
Lightning utilizza un'architettura basata su fabric che consente l'accesso diretto e ad alta larghezza di banda dai nodi di calcolo allo storage, con l'obiettivo di mantenere un utilizzo costante delle GPU su larga scala. Il sistema si integra con l'infrastruttura AI basata su NVIDIA ed è particolarmente adatto a cluster di training ad alta densità di GPU, dove il throughput sostenuto è fondamentale.
Storage Dell Exascale
Dell Exascale Storage si presenta come un sistema di storage 3 in 1 per l'intelligenza artificiale e il calcolo ad alte prestazioni, supportando lo storage simultaneo di file, oggetti e file paralleli sui server Dell PowerEdge. Su un'unica piattaforma hardware, le organizzazioni possono implementare:
- Dell PowerScale per file system scalabili
- Dell ObjectScale per l'archiviazione di oggetti compatibile con S3
- Dell Lightning File System per un file system parallelo ad alta velocità di trasmissione
Questo approccio convergente è pensato per carichi di lavoro di intelligenza artificiale e calcolo ad alte prestazioni (HPC) impegnativi, tra cui il trading ad alta frequenza e i "neocloud", dove coesistono protocolli misti ed esigenze di throughput estreme. Lo storage Exascale supporta le SuperNIC NVIDIA CX-8 e CX-9 e collegamenti di rete fino a 800 GbE, e Dell dichiara prestazioni fino a 6 TB/s per rack per i carichi di lavoro di intelligenza artificiale che devono acquisire rapidamente set di dati molto grandi.
Offload della cache KV con NVIDIA CMX e Dell Storage
Per supportare i carichi di lavoro di intelligenza artificiale con contesto lungo e agenti, Dell e NVIDIA stanno abilitando l'offload di KV Cache dalla memoria GPU allo storage condiviso. Utilizzando le tecnologie di storage in memoria NVIDIA CMX e le funzionalità di accelerazione dell'inferenza, KV Cache può essere implementato su Dell CMX Storage e reti ad alta velocità su PowerScale, ObjectScale e Lightning File System.
Spostando la cache KV dalla memoria GPU limitata a una memoria condivisa ad alte prestazioni, le organizzazioni possono:
- Aumentare la lunghezza effettiva del contesto per i modelli linguistici di grandi dimensioni
- Mantenere la continuità per le interazioni tra agenti di lunga durata
- Migliora l'utilizzo della GPU liberando la VRAM per i calcoli anziché per la cache.
Ciò è particolarmente rilevante per gli agenti di intelligenza artificiale che necessitano di consultare ampi dati storici o di mantenere conversazioni lunghe e complesse senza esaurire la memoria della GPU.
PowerScale pNFS per prestazioni ottimali con file di grandi dimensioni.
L'architettura pNFS (Parallel Network File System) basata su software di Dell PowerScale è ottimizzata per il throughput di file di grandi dimensioni in ambienti di intelligenza artificiale. Dell dichiara prestazioni fino a 6 volte superiori per i file di grandi dimensioni rispetto a NESv3.12.
pNFS distribuisce l'accesso ai file tra i nodi per mantenere un'elevata larghezza di banda e ridurre i punti critici, contribuendo a garantire un flusso costante di dati verso i carichi di lavoro della GPU. L'obiettivo è ridurre al minimo i colli di bottiglia I/O e i tempi di inattività della GPU, soprattutto negli scenari di addestramento con file di checkpoint e dataset di grandi dimensioni.
Dell AI Factory con NVIDIA: scalabilità e ritorno sull'investimento
La piattaforma dati AI di Dell e i miglioramenti allo storage arrivano in concomitanza con il secondo anniversario della Dell AI Factory, realizzata in collaborazione con NVIDIA. Secondo Dell, oltre 4,000 clienti stanno implementando la suite AI Factory e i primi utilizzatori hanno registrato un ritorno sull'investimento (ROI) fino a 2.6 volte superiore nel primo anno.
Il portfolio più ampio di Dell AI Factory comprende infrastrutture, software, soluzioni e servizi progettati per portare l'IA da progetti pilota isolati alla produzione su larga scala. La piattaforma dati per l'IA, i motori dati e lo stack di storage qui descritti sono pensati per affrontare gli aspetti di accesso ai dati e prestazioni di questo percorso, che, in molti ambienti, si sono rivelati più complessi rispetto alla semplice implementazione di cluster GPU o modelli.
La piattaforma dati AI di Dell con NVIDIA offre un'architettura integrata e incentrata sui dati che combina l'automazione del ciclo di vita, l'elaborazione dei dati accelerata da GPU e lo storage ad alta velocità, il tutto progettato per garantire il pieno utilizzo degli agenti e dei modelli di intelligenza artificiale.
Amazon