Dell Technologies hat in enger Zusammenarbeit mit CoreWeave die Auslieferung des branchenweit ersten NVIDIA GB300 NVL72-Systems bekannt gegeben. Dieser Meilenstein folgt auf Dells früheren Erfolg als erster Anbieter, der die NVIDIA GB200 ausgeliefert hat und damit seine Führungsposition im Bereich der KI-Infrastruktur weiter festigt. CoreWeave, ein führender KI-Cloud-Service-Provider (CSP), ist der erste Hyperscaler, der die NVIDIA GB300 NVL72 einsetzt, ein flüssigkeitsgekühltes Rack-Scale-KI-System, das für anspruchsvollste Unternehmens-Workloads entwickelt wurde.
Dieser Erfolg ist das Ergebnis einer starken Partnerschaft zwischen Dell, CoreWeave und NVIDIA, die auf der Dynamik der Dell AI Factory mit NVIDIADie Dell AI Factory bietet umfassende, sichere KI-Lösungen, die auf die sich entwickelnden Bedürfnisse moderner Unternehmen zugeschnitten sind und es Organisationen ermöglichen, ihre KI-Initiativen selbstbewusst voranzutreiben.
Mit CoreWeave das Unternehmenspotenzial freisetzen
CoreWeaves Einsatz von Dell Integrated Racks mit NVIDIA GB300 NVL72 markiert einen bedeutenden Fortschritt in der Skalierbarkeit und Leistung von Cloud-basierten KI-Diensten. Die Lösung nutzt flüssigkeitsgekühlte Dell Integrated Rack Scalable Systems mit PowerEdge XE9712 Server. Jedes Rack ist mit 72 NVIDIA Blackwell Ultra GPUs und 36 Arm-basierten NVIDIA Grace CPUs ausgestattet und bietet so eine robuste Grundlage für KI-Workloads der nächsten Generation.
Die NVIDIA Blackwell Ultra GPUs, die das Herzstück dieses Systems bilden, liefern im Vergleich zu ihren Vorgängern 1.5-mal mehr KI-Rechen-FLOPS und ermöglichen so eine schnellere und effizientere Verarbeitung komplexer Modelle. Das System verfügt außerdem über erweiterten HBM3e-Speicher und bietet bis zu 21 TB GPU-Speicher mit hoher Bandbreite pro Rack – 1.5-mal mehr als die vorherige GB200 NVL72-Generation. Diese deutliche Speichererweiterung ermöglicht größere Batchgrößen und komplexere Modelle, was für die Maximierung des Durchsatzes bei KI-Reasoning- und Inferenzaufgaben unerlässlich ist.
Die NVIDIA NVLink-Technologie der fünften Generation bietet eine beeindruckende Gesamtbandbreite von 130 TB/s und gewährleistet so eine nahtlose Hochgeschwindigkeitskommunikation zwischen allen GPUs im System. Diese hohe Vernetzung ist entscheidend für die Spitzenleistung von KI-Modellen, insbesondere bei großem Maßstab.
Die Vernetzung wird durch InfiniBand der nächsten Generation weiter verbessert, mit NVIDIA Quantum-X800 InfiniBand-Switches und NVIDIA ConnectX-8 SuperNICs Bereitstellung einer dedizierten Konnektivität von 800 Gigabit pro Sekunde (Gb/s) für jede GPU. Diese Architektur gewährleistet erstklassigen Remote Direct Memory Access (RDMA) und maximiert die Effizienz bei umfangreichen KI-Workloads.
Sicherheit und Mandantenfähigkeit werden durch das NVIDIA DOCA-Software-Framework gewährleistet, das auf NVIDIA BlueField-3-DPUs läuft. Diese Kombination beschleunigt KI-Workloads durch schnelle Mandantennetzwerke mit bis zu 200 Gbit/s und leistungsstarken GPU-Datenzugriff und unterstützt sichere, mandantenfähige Cloud-Umgebungen.
Entwickelt für KI im Grenzbereich
Die Dell Integrated Rack-Lösung ist für eine schnelle Bereitstellung und nahtlose Integration in Produktionsumgebungen konzipiert. Laut Dell kann das System die Reaktionszeiten der Benutzer um das bis zu Zehnfache verbessern und den Durchsatz pro Watt im Vergleich zur vorherigen NVIDIA Hopper-Generation verfünffachen.
CoreWeave betont, dass das System speziell für KI im Grenzbereich entwickelt wurde und es Nutzern ermöglicht, Modelle mit mehreren Billionen Parametern zu trainieren, zu optimieren und einzusetzen. Es ist speziell auf die hohen Rechenleistungsanforderungen der Testzeit-Skalierungsinferenz ausgelegt, eine entscheidende Voraussetzung für den Einsatz fortschrittlicher KI-Modelle in der Produktion.
Diese Implementierung erweitert die KI-Cloud-Plattform von CoreWeave erheblich und vereinfacht Training, Schlussfolgerungen und Echtzeit-Inferenz für große Sprachmodelle. Die Systemarchitektur unterstützt schnelle GPU-zu-GPU-Kommunikation über NVIDIA NVLink-Switch-Trays, liefert über ein Exaflop hochdichte KI-Leistung und bietet bis zu 40 TB Hochgeschwindigkeitsspeicher in einem einzigen Rack.
Engagement für Leistung und Skalierbarkeit
CoreWeave plant, im Laufe des Jahres NVIDIA GB300-beschleunigte Dell-Server einzuführen und unterstreicht damit sein Engagement für Effizienz, Skalierbarkeit und branchenführende Leistung. Diese Initiative wird vollständig von Dells AI Professional Services unterstützt, die umfassende Expertise in der Planung und Integration von Rechenzentren bieten und so optimale Leistung und einen reibungslosen Übergang zur KI-Infrastruktur der nächsten Generation gewährleisten.
Amazon