Dell Technologies hat die Dell AI Data Platform vorgestellt, eine Sammlung von Daten- und Speichertechnologien, die auf das KI-Ökosystem von NVIDIA abgestimmt sind und Unternehmen beim Übergang von KI-Pilotprojekten zu produktionsreifen, agentenbasierten Systemen unterstützen. Die Plattform zielt darauf ab, ein bekanntes Problem im Bereich der Unternehmens-KI zu lösen: Daten, die zu langsam, isoliert oder schlecht verwaltet sind, um anspruchsvolle KI-Workloads zu unterstützen.
Bei dem Versuch von Unternehmen, KI-Agenten und Workflows mit langem Kontext in die Praxis umzusetzen, stellen sie häufig fest, dass der limitierende Faktor nicht die Modellwahl, sondern die Fähigkeit ist, Daten in fragmentierten Systemen abzurufen, zu strukturieren und zu verwalten. Dell positioniert die KI-Datenplattform als Teil der Dell AI Factory mit NVIDIA, wodurch ein kombinierter Stack aus Daten-Engines, GPU-beschleunigter Verarbeitung und Hochdurchsatzspeicher bereitgestellt wird.
Dell verweist auf interne Benchmarks, die eine bis zu 12-mal schnellere Vektorindizierung, eine 3-mal schnellere Datenverarbeitung und eine 19-mal schnellere Time-to-First-Token im Vergleich zu „traditionellen Rechenmethoden“ zeigen. Die Beschleunigung wird durch NVIDIA-GPUs und in die Datenschicht integrierte CUDA-X-Bibliotheken erreicht.
Automatisierung des KI-Datenlebenszyklus mit Dell Data Engines
Kernstück der Dell AI Data Platform ist eine Reihe von Dell-Daten-Engines, die durch die NVIDIA AI-Infrastruktur beschleunigt werden, um den KI-Datenlebenszyklus zu automatisieren und die Datenaufbereitungszeit zu verkürzen, während gleichzeitig die Kontrolle des Unternehmens erhalten bleibt.
Die Dell Data Orchestration Engine, basierend auf der Technologie aus der Übernahme von Dataloop durch Dell, dient der Verwaltung von Daten vom Erfassungsprozess bis hin zu KI-fähigen Datensätzen. Sie erkennt automatisch strukturierte, unstrukturierte und multimodale Datenquellen, labelt, reichert diese an und transformiert sie in kontrollierte Datensätze, die für Training und Inferenz geeignet sind. Die Plattform kombiniert automatisierte Pipelines mit aktivem Lernen und menschlicher Überprüfung, um die Datensatzqualität und Modellgenauigkeit iterativ zu verbessern, ohne die Datenverwaltung zu beeinträchtigen.
Um die Bereitstellung zu beschleunigen, umfasst die Data Orchestration Engine einen Marktplatz mit vorkonfigurierten Daten-Workflows, die NVIDIA NIM-Mikrodienste, NVIDIA AI-Blueprints und über 200 weitere Modelle, Anwendungen und Vorlagen integrieren. Dieser Marktplatz-Ansatz soll die Wertschöpfungszeit verkürzen, indem wiederverwendbare Komponenten für gängige KI-Muster in Unternehmen bereitgestellt werden.
Integration mit NVIDIA AI Blueprints, NIM und Nemotron
Die Dell AI Data Platform orientiert sich an NVIDIAs AI-Q-Architektur für die Entwicklung von KI-Agenten, die verwertbare Erkenntnisse aus Unternehmensdaten liefern. Dell integriert NVIDIA-beschleunigte Daten-Engines, um die effiziente Datenaufbereitung, den Datenabruf und die Datenanalyse aus strukturierten und unstrukturierten Quellen zu unterstützen, mit Fokus auf abrufoptimierte Datengenerierung und agentenbasierte Workflows.
Unternehmen können auf eine Bibliothek mit NVIDIA-Inhalten zugreifen, darunter:
- Vorkonfigurierte NVIDIA AI Blueprints für gängige Agenten- und Anwendungsmuster
- NVIDIA NIM-Mikrodienste für Modellbereitstellung und Inferenz
- Das NVIDIA Nemotron 3 Super-Modell über den Dell Enterprise Hub auf Hugging Face
Durch diese Integration können Kunden die Datenschicht und den Speicherstack von Dell mit dem Modell-, Inferenz- und Microservice-Ökosystem von NVIDIA in einer unterstützten Konfiguration kombinieren.
Unterstützung für NVIDIA STX, Vera Rubin NVL72 und Spectrum-X
Dell richtet sein Infrastrukturportfolio am modularen STX-Referenzdesign von NVIDIA aus. Das Unternehmen plant, NVIDIA STX zu unterstützen, basierend auf der NVIDIA Vera Rubin NVL72, den NVIDIA BlueField-4 DPUs und dem NVIDIA Spectrum-X Ethernet-Netzwerk. Ziel ist es, eine modulare, skalierbare Plattform für KI-Datenmanagement und -verarbeitung bereitzustellen, die GPU, DPU und Hochleistungsnetzwerke eng mit Dells Speicher- und Datensoftware verknüpft.
Dieser STX-basierte Ansatz zielt auf Umgebungen ab, die große Datenmengen für Training, Feinabstimmung und Echtzeit-Inferenz verwalten, verarbeiten und abrufen müssen, während gleichzeitig eine isolierte Leistungssteuerung und ein vorhersehbarer Durchsatz gewährleistet werden.
KI-Assistent für SQL-Analysen
Dell führt innerhalb der Dell Data Analytics Engine einen KI-Assistenten ein, der eine dialogbasierte Schnittstelle für SQL-Analysen bietet. Der Assistent ermöglicht es Geschäfts- und technischen Anwendern:
- Abfragegesteuerte, strukturierte Daten unter Verwendung natürlicher Sprache anstelle von rohem SQL
- Visualisierung von Abfrageergebnissen zur Analyse und Zusammenarbeit
- Arbeiten Sie innerhalb der bestehenden Governance-Grenzen und erweitern Sie gleichzeitig den Datenzugriff auf Nicht-SQL-Experten.
Für Organisationen, die KI-Agenten einsetzen und qualitativ hochwertige strukturierte Daten benötigen, soll dieser SQL-orientierte Assistent die Abhängigkeit von spezialisierten Datenverarbeitungskenntnissen verringern und Entscheidungsprozesse beschleunigen.
NVIDIA RTX PRO Blackwell und CUDA-X in der Datenschicht
Ein zentrales Designmerkmal der Dell AI Data Platform ist die direkte Integration von NVIDIA-GPUs in die Datenschicht. Dell setzt NVIDIA RTX PRO Blackwell Server Edition GPUs ein, um die Datenverarbeitung in unmittelbarer Nähe der Daten zu beschleunigen.
Die NVIDIA CUDA-X-Bibliotheken, wie beispielsweise cuDF für spaltenorientierte Operationen auf strukturierten Daten und cuVS für die Vektorindizierung, laufen parallel zu den Daten-Engines von Dell, um Datenworkloads auszulagern und zu parallelisieren. Dell berichtet von Leistungssteigerungen um das Dreifache bei SQL-Abfragen und um das Zwölffache bei der Vektorindizierung im Vergleich zu herkömmlichen, CPU-zentrierten Ansätzen.
Durch die Einbettung der GPU-Beschleunigung in den Datenpfad will Dell sicherstellen, dass die nachgelagerten KI-Trainings- und Inferenzpipelines mit aufbereiteten, indizierten Daten in einem Umfang versorgt werden, der dem GPU-Verbrauch entspricht. Dies ist ein häufiger Engpass in KI-Umgebungen im Produktionsmaßstab.
Speicher: GPUs optimal auslasten
Da KI-Workloads zunehmend über die experimentelle Phase hinausgehen, werden Speicherbandbreite und Latenz oft zum limitierenden Faktor, wodurch teure GPUs ungenutzt bleiben. Dell begegnet diesem Trend mit KI-optimierten Speichermodulen, deren Architektur auf hohe Leistung auch bei steigender Kapazität und Anzahl an Knoten ausgelegt ist.
Dell Lightning Dateisystem
Das Dell Lightning File System ist ein leistungsstarkes paralleles Dateisystem, das speziell für KI-Trainings- und Inferenz-Workloads optimiert wurde. Dell gibt bis zu 150 GB/s pro Höheneinheit an und bietet damit Leistungsvorteile gegenüber herkömmlichen Flash-basierten und parallelen Dateisystemen.
Lightning nutzt eine Fabric-basierte Architektur, die einen direkten Zugriff mit hoher Bandbreite von den Rechenknoten zum Speicher ermöglicht und so eine hohe GPU-Auslastung gewährleistet. Das System integriert sich in NVIDIA-basierte KI-Infrastrukturen und eignet sich ideal für GPU-dichte Trainingscluster, bei denen ein dauerhafter Durchsatz entscheidend ist.
Dell Exascale Storage
Dell Exascale Storage präsentiert sich als 3-in-1-Speichersystem für KI und High-Performance Computing und unterstützt gleichzeitige Datei-, Objekt- und parallele Dateispeicherung auf Dell PowerEdge-Servern. Unternehmen können auf einer einzigen Hardwareplattform Folgendes bereitstellen:
- Dell PowerScale für Scale-Out-Dateisysteme
- Dell ObjectScale für S3-kompatiblen Objektspeicher
- Dell Lightning Dateisystem für ein paralleles Dateisystem mit hohem Durchsatz
Dieser integrierte Ansatz zielt auf anspruchsvolle KI- und HPC-Workloads ab, darunter Hochfrequenzhandel und „Neoclouds“, wo unterschiedliche Protokolle und extrem hohe Durchsatzanforderungen gleichzeitig auftreten. Exascale Storage unterstützt NVIDIA CX-8 und CX-9 SuperNICs sowie Netzwerkverbindungen mit bis zu 800 GbE. Dell gibt eine Leistung von bis zu 6 TB/s pro Rack für KI-Workloads an, die sehr große Datensätze schnell verarbeiten müssen.
KV-Cache-Offload mit NVIDIA CMX und Dell Storage
Um KI-Workloads mit langem Kontext und agentenbasierte Prozesse zu unterstützen, ermöglichen Dell und NVIDIA die Auslagerung des KV-Cache vom GPU-Speicher auf gemeinsam genutzten Speicher. Mithilfe der NVIDIA CMX-Speichertechnologien und der Funktionen zur Inferenzbeschleunigung lässt sich der KV-Cache auf Dell CMX-Speicher und in Hochgeschwindigkeitsnetzwerken über PowerScale, ObjectScale und Lightning File System bereitstellen.
Durch die Verlagerung des KV-Caches vom begrenzten GPU-Speicher auf einen leistungsstarken, gemeinsam genutzten Speicher können Unternehmen Folgendes erreichen:
- Erhöhung der effektiven Kontextlänge für große Sprachmodelle
- Gewährleisten Sie die Kontinuität bei lang andauernden Agenteninteraktionen.
- Verbessern Sie die GPU-Auslastung, indem Sie VRAM für Berechnungen anstatt für den Cache freigeben.
Dies ist insbesondere relevant für KI-Agenten, die auf umfangreiche historische Daten zugreifen oder lange, zustandsbehaftete Konversationen führen müssen, ohne den GPU-Speicher zu erschöpfen.
PowerScale pNFS für die Leistung großer Dateien
Dell PowerScaleDie softwaregesteuerte Architektur des Parallel Network File System (pNFS) ist für den Durchsatz großer Dateien in KI-Umgebungen optimiert. Dell berichtet von einer bis zu sechsmal höheren Leistung bei großen Dateien im Vergleich zu NESv3.12.
pNFS verteilt den Dateizugriff auf mehrere Knoten, um eine hohe Bandbreite zu gewährleisten und Engpässe zu vermeiden. Dadurch wird ein kontinuierlicher Datenfluss zu GPU-Workloads sichergestellt. Ziel ist es, E/A-Engpässe zu minimieren und die Leerlaufzeit der GPU zu reduzieren, insbesondere bei Trainingsszenarien mit großen Checkpoint-Dateien und Datensätzen.
Dell AI Factory mit NVIDIA: Skalierung und ROI
Dell präsentiert die KI-Datenplattform und die Speichererweiterungen zeitgleich mit dem zweijährigen Jubiläum der Dell AI Factory mit NVIDIA. Laut Dell setzen bereits über 4,000 Kunden die AI Factory-Plattform ein, wobei frühe Anwender im ersten Jahr einen ROI von bis zu 2.6x verzeichnen.
Das umfassende Portfolio der Dell AI Factory beinhaltet Infrastruktur, Software, Lösungen und Services, die KI-Anwendungen von isolierten Pilotprojekten in den großflächigen Produktiveinsatz überführen. Die hier beschriebene KI-Datenplattform, die Daten-Engines und der Speicher-Stack adressieren die Datenzugriffs- und Performance-Aspekte dieses Prozesses, die sich in vielen Umgebungen als anspruchsvoller erwiesen haben als die Bereitstellung von GPU-Clustern oder -Modellen.
Die Dell AI Data Platform mit NVIDIA bietet eine integrierte, datenzentrierte Architektur, die Lebenszyklusautomatisierung, GPU-beschleunigte Datenverarbeitung und Hochdurchsatzspeicher kombiniert, allesamt darauf ausgelegt, KI-Agenten und -Modelle optimal auszulasten.
Amazon