NVIDIA hat die Spezifikationen für seine Vera Rubin NVL144 Rack-Server der MGX-Generation mit offener Architektur bekannt gegeben. Über 50 MGX-Partner bereiten sich auf diese Veröffentlichung vor, zusammen mit der Ökosystemunterstützung für NVIDIA Kyber, das 576 Rubin Ultra-GPUs verbindet und für steigende Inferenzanforderungen ausgelegt ist.
Im September kündigte NVIDIA eine erweiterte Partnerschaft mit Intel an . Gleichzeitig präsentierte Intel seine neuen Xeon-6-Prozessoren, von denen einer als Host-CPU für den NVIDIA DGX B300 dient, die neueste Generation KI-beschleunigter Systeme des Unternehmens. Der NVIDIA DGX B300 integriert den Intel Xeon 6776P, der eine zentrale Rolle bei der Verwaltung, Orchestrierung und Unterstützung des KI-beschleunigten Systems spielt. Dank seiner hohen Speicherkapazität und Bandbreite erfüllt der Xeon 6776P die wachsenden Anforderungen von KI-Modellen und Datensätzen.
Der Xeon 6776P ist als GPU-Host-CPU mit Priority Core Turbo (PCT) und Intel Speed Select-Turbo Frequency (SST-TF) konzipiert. So kann eine kleine Anzahl von Kernen höhere Boosts ausführen und latenzempfindliche Orchestrierungen bewältigen, während andere Kerne mit Basistakt laufen. Dies trägt zur Verbesserung der effektiven GPU-Auslastung in NVLink-Clustern bei, indem Verzögerungen bei der Vorverarbeitung, der KV-Cache-Verarbeitung und der Planung reduziert werden.
Vera Rubin NVL144: Skalierbar für KI-Fabriken
Der Vera Rubin NVL144 MGX Compute Tray zeichnet sich durch ein energieeffizientes, vollständig flüssigkeitsgekühltes, modulares Design aus. Seine zentrale Leiterplatten-Midplane ersetzt herkömmliche Kabelverbindungen und ermöglicht so eine schnellere Montage und einfachere Wartung. Er verfügt außerdem über modulare Erweiterungsschächte für NVIDIA ConnectX-9 800 GB/s-Netzwerke und NVIDIA Rubin CPX und unterstützt so umfangreiche Inferenzaufgaben.
Der NVIDIA Vera Rubin NVL144 stellt einen bedeutenden Fortschritt in der beschleunigten Computerarchitektur und den KI-Funktionen dar. Er wurde entwickelt, um fortschrittliche Schlussfolgerungs-Engines zu unterstützen und die Anforderungen von KI-Agenten zu erfüllen.
Das Kerndesign basiert auf der MGX-Rack-Architektur und wird von über 50 MGX-System- und Komponentenpartnern unterstützt. NVIDIA beabsichtigt, die verbesserten Rack- und Compute-Tray-Innovationen als offenen Standard in das OCP-Konsortium einzubringen.
Die Standards für Rechnereinschübe und -racks ermöglichen Partnern die Zusammenstellung modularer Systeme und eine schnellere Skalierung der Architektur. Das Vera Rubin NVL144-Rack-Design zeichnet sich durch eine energieeffiziente 45-°C-Flüssigkeitskühlung, eine neue flüssigkeitsgekühlte Sammelschiene für verbesserte Leistung und einen 20-mal größeren Energiespeicher zur Aufrechterhaltung einer konstanten Leistung aus.
Die MGX-Erweiterungen der Rechner-Tray- und Rack-Architektur verbessern die Leistung der KI-Fabrik und erleichtern die Montage, sodass eine schnelle Skalierung auf eine KI-Infrastruktur im Gigawatt-Bereich möglich ist.
NVIDIA NVLink Fusion-Ökosystem erweitert
Neben der Hardware gewinnt NVIDIA NVLink Fusion an Bedeutung und ermöglicht Unternehmen die nahtlose Integration ihres semi-kundenspezifischen Siliziums in eine hochoptimierte, weit verbreitete Rechenzentrumsarchitektur, wodurch die Komplexität reduziert und die Markteinführungszeit verkürzt wird.
Intel und Samsung Foundry schließen sich dem NVLink Fusion-Ökosystem an, das kundenspezifische Siliziumdesigner sowie CPU- und IP-Partner umfasst und es KI-Fabriken ermöglicht, intensive Arbeitslasten für Modelltraining und agentenbasierte KI-Inferenz schnell zu skalieren und zu verwalten.
- Im Rahmen der kürzlich angekündigten Zusammenarbeit zwischen NVIDIA und Intel, Intel wird x86-CPUs bauen, die sich mithilfe von NVLink Fusion in NVIDIA-Infrastrukturplattformen integrieren lassen.
- Samsung Foundry ist eine Partnerschaft mit NVIDIA eingegangen, um der wachsenden Nachfrage nach kundenspezifischen CPUs und kundenspezifischen XPUs gerecht zu werden und bietet Erfahrung vom Design bis zur Herstellung von kundenspezifischem Silizium.
NVIDIA Kyber Rack
Über 20 Industriepartner präsentieren neue Siliziumchips, Komponenten, Stromversorgungssysteme und Support für 800-Volt-Gleichstrom-Rechenzentren der nächsten Generation. Diese für das Gigawatt-Zeitalter konzipierten Rechenzentren werden die Kyber-Rack-Architektur von NVIDIA unterstützen.
Foxconn hat Details zu seinem 40-Megawatt-Rechenzentrum Kaohsiung-1 in Taiwan veröffentlicht, das für das 800-V-Gleichstromzeitalter gebaut wird. Auch andere Branchenführer wie CoreWeave, Lambda, Nebius, Oracle Cloud Infrastructure und Together AI planen Rechenzentren mit 800-V-Infrastruktur. Darüber hinaus hat Vertiv seine 800-V-MGX-Referenzarchitektur vorgestellt, eine Lösung zur Optimierung von Platz, Kosten und Energieeffizienz bei gleichzeitiger Bereitstellung einer vollständigen Strom- und Kühlinfrastruktur. HPE unterstützt Produkte für die Scale-Out-Technologie NVIDIA Kyber und NVIDIA Spectrum-XGS Ethernet, beides integrale Bestandteile der Spectrum-X-Ethernet-Plattform.
Die Umstellung von herkömmlichen 415- oder 480-VAC-Dreiphasensystemen auf eine 800-VDC-Infrastruktur bietet höhere Skalierbarkeit, verbesserte Energieeffizienz, geringeren Materialverbrauch und höhere Leistung in Rechenzentren. Die Elektrofahrzeug- und Solarbranche hat bereits 800-VDC-Infrastrukturen implementiert, um diese Vorteile zu nutzen.
NVIDIA Kyber Rack-Server-Generation
Das OCP-Ökosystem bereitet sich außerdem auf NVIDIA Kyber vor, das Innovationen bei der 800-VDC-Stromversorgung, der Flüssigkeitskühlung und dem mechanischen Design bietet.
Diese Innovationen erleichtern den Übergang zur Rack-Server-Generation NVIDIA Kyber, dem Nachfolger von NVIDIA Oberon, der bis 2027 voraussichtlich über eine hochdichte Plattform mit 576 NVIDIA Rubin Ultra-GPUs verfügen wird.
Die beste Lösung für die Herausforderungen der Hochleistungsverteilung ist die Erhöhung der Spannung. Der Wechsel von einem standardmäßigen 415- oder 480-VAC-Dreiphasensystem zu einem 800-VDC-System bietet mehrere Vorteile.
Die laufende Umstellung ermöglicht es Rack-Server-Partnern, ihre Rack-Komponenten von 54 VDC auf 800 VDC aufzurüsten und so die Leistung zu steigern. Auf der Veranstaltung arbeitete ein kollaboratives Ökosystem aus Anbietern von Gleichstrominfrastruktur, Partnern für Stromversorgungssysteme und Kühlung sowie Siliziumherstellern gemeinsam an offenen Standards für die MGX-Rack-Server-Referenzarchitektur.
NVIDIA Kyber zielt darauf ab, die GPU-Dichte in Racks zu erhöhen, die Netzwerkkapazität zu verbessern und die Leistung von KI-Systemen im großen Maßstab zu optimieren. Es zeichnet sich durch die vertikale Montage der Rechenmodule aus und unterstützt bis zu 18 Module pro Gehäuse. Darüber hinaus sind die speziellen NVLink-Switch-Module von NVIDIA über eine kabellose Mittelplatine an der Rückseite positioniert und ermöglichen so eine nahtlose und skalierbare Netzwerkanbindung.
Mit 800 VDC wird über 150 % mehr Leistung über dasselbe Kupfer übertragen, sodass keine 200 kg schweren Kupfersammelschienen mehr erforderlich sind, um ein einzelnes Rack zu versorgen.
Kyber wird zu einer Kernkomponente von Hyperscale-KI-Rechenzentren und steigert die Leistung, Effizienz und Zuverlässigkeit für fortschrittliche generative KI-Aufgaben. NVIDIA Kyber-Racks ermöglichen es Kunden, den Kupferverbrauch deutlich zu reduzieren und so Kosten in Millionenhöhe zu sparen.
Skalierung der nächsten Generation von KI-Fabriken
Mehr als 20 NVIDIA-Partner helfen bei der Bereitstellung von Rack-Servern mit offenen Standards und ermöglichen so die Gigawatt-KI-Fabriken der Zukunft.
- Siliziumlieferanten: Analog Devices, Inc. (ADI), TO, EPC, Infineon, Innoscience, MPS, Navitas, onsemi, Power Integrations, Renesas, Richtek, ROHM, STMicroelectronics und Texas Instruments
- Anbieter von Komponenten für Stromversorgungssysteme: Bizlink, Delta, Biegen, GE Vernova, Lead Wealth, LITEON und Megmeet
- Anbieter von Stromversorgungssystemen für Rechenzentren: ABB, Eaton, GE Vernova, Heron Power, Hitachi Energy, Mitsubishi Electric, Schneider Electric, Siemens und Vertiv
NVIDIA leistet einen maßgeblichen Beitrag zu den OCP-Standards über mehrere Hardwaregenerationen hinweg und hat unter anderem wichtige Teile des elektromechanischen Designs des NVIDIA GB200 NVL72-Systems entwickelt. Das gleiche MGX-Rack-Gehäuse unterstützt GB300 NVL72 und wird auch Vera Rubin NVL144, Vera Rubin NVL144 CPX und Vera Rubin CPX für höhere Leistung und schnellere Implementierungen unterstützen.
Amazon