NVIDIA und Oracle planen die Erweiterung der Oracle Cloud Infrastructure (OCI) Supercluster mit NVIDIA Vera Rubin NVL72 -Systemen auf Multi-Gigawatt-Skala. Sowohl die Vera Rubin NVL72 als auch die NVIDIA Vera CPUs sind ab sofort allgemein auf OCI verfügbar. Die Unternehmen gaben dies auf der Oracle AI World bekannt. Die Erweiterung ist ein Plan; die allgemeine Verfügbarkeit ist der Teil, den Kunden jetzt erwerben können. Die Lösungen sind auf die GPU-intensiven Aufgaben beim Training und der Bereitstellung von Spitzenmodellen sowie auf die CPU-intensiven Aufgaben von Agenten zwischen den Modellaufrufen ausgerichtet. Die CPU- und GPU-Kapazität lässt sich unabhängig skalieren.
Als Beweis führen die Unternehmen OpenAI an, das GPT-6 Astra in Abilene auf einem OCI-Supercluster mit über 100,000 NVIDIA Blackwell GPUs trainiert und bereitgestellt hat. „Mit der Weiterentwicklung unserer fortschrittlichen Modelle benötigen wir eine Infrastruktur, die mithalten kann“, so Sreekanth Pothanis, Leiter der Recheninfrastruktur bei OpenAI. „NVIDIA Vera Rubin auf OCI bietet uns die Rechenleistung und Skalierbarkeit, um das Modelltraining zu beschleunigen und immer anspruchsvollere KI-Workloads zu bewältigen.“
NVL72-Racks und Supercluster-Netzwerk
Jedes Vera Rubin NVL72-Rack verbindet 72 GPUs über NVLink Scale-Up-Netzwerk. OCI-Supercluster kombinieren diese Racks mit Oracle Acceleron -Netzwerk, NVIDIA Spectrum-X Ethernet mit Spectrum-6- Switches und BlueField-4-DPUs sowie einer Stromversorgung und Kühlung der Gigawatt-Klasse. Laut Oracle skaliert das multiplanare Netzwerk auf Hunderttausende von GPUs. Der Ausbau von Vera Rubin erweitert die bereits auf OCI vorhandenen GB200- und GB300-NVL72-Systeme. Die Unternehmen betonen die gemeinsame CUDA-Basis als Grund dafür, dass Modelle und Workloads generationsübergreifend kompatibel sind.
HGX Rubin NVL8 bringt acht GPUs auf x86-Server
OCI plant außerdem die Einführung des NVIDIA HGX Rubin NVL8 , eines x86-Servers mit acht über NVLink verbundenen Rubin-GPUs. Die geplante Konfiguration umfasst zwei 64-Kern-Intel-Xeon-6-Prozessoren, 4 TB DDR5-Speicher und eine RDMA-Netzwerkschnittstelle mit 6.4 Tbit/s. Oracle positioniert den Server für Training, Feinabstimmung und Inferenz, wenn Kunden Rubin-GPUs auf kleinerem Raum benötigen, ohne auf x86-Anwendungskompatibilität verzichten zu müssen. Beide Unternehmen haben noch keinen Veröffentlichungstermin genannt.
Ausführung des Vera CPUs Support Agent Tools
Die Vera-CPU-Lösung zielt auf die Arbeit eines Agenten zwischen Modellaufrufen ab: Tool-Aufrufe, Codeausführung und Datenabruf. Diese Schritte laufen auf der CPU, und wenn sie langsam ablaufen, stehen die GPUs im Leerlauf. NVIDIA und Oracle geben an, dass die Single-Thread-Performance von Vera einzelne Tool-Aufrufe und die Codeausführung beschleunigt, während die Speicherbandbreite die Kerne auslastet, während Agenten parallel Aufgaben ausführen. Dadurch wird die Leerlaufzeit der GPUs reduziert. Beide Unternehmen nennen jedoch keine Leistungsdaten oder Testbedingungen für diese Behauptung.
Die OCI Kubernetes Engine ermöglicht es Kunden, CPU- und GPU-Pools unabhängig voneinander zu skalieren, und Oracle Acceleron bietet hardwarebasierte Isolation für Workloads, die nicht vertrauenswürdigen, KI-generierten Code ausführen. OpenAI gehört zu den Early-Access-Kunden. „NVIDIA Vera CPUs auf OCI liefern die erstklassige Leistung, die für die Ausführung von Code und Tools in unseren schnell wachsenden Agentic-Sandbox-Workloads erforderlich ist“, sagte Uday Ruddarraju, Chief Technology Officer Compute bei OpenAI. „Wir führen Vera auf OCI produktiv ein, um diese Workloads in großem Umfang zu unterstützen.“ Der Umfang dieser Implementierung wurde nicht bekannt gegeben.
„KI-Fabriken müssen produktiv, langlebig und anpassungsfähig sein“, sagte Ian Buck, Vizepräsident für Hyperscale- und Hochleistungsrechnen bei NVIDIA. Er beschrieb das Ziel als eine Infrastruktur, die auch bei Software-Fortschritten nützlich bleibt und je nach Bedarf unterschiedliche Modelle und Workloads bedienen kann. Mahesh Thiagarajan, Präsident von Oracle Cloud Infrastructure, erläuterte die Kombination von Vera Rubin GPUs und Vera CPUs mit dem Acceleron-Netzwerk als Möglichkeit, die Produktivität und Sicherheit der GPUs auch bei wachsenden Kundenanforderungen zu gewährleisten.
Amazon