NVIDIA en Oracle zijn van plan Oracle Cloud Infrastructure (OCI) Superclusters uit te breiden met NVIDIA Vera Rubin NVL72 -systemen naar een schaal van meerdere gigawatt. Zowel de Vera Rubin NVL72 als de NVIDIA Vera CPU's zijn nu algemeen beschikbaar op OCI. De bedrijven kondigden dit aan tijdens Oracle AI World. De uitbreiding is een plan; de algemene beschikbaarheid is het onderdeel dat klanten nu kunnen aanschaffen. Dit is gericht op de GPU-intensieve taken van het trainen en implementeren van geavanceerde modellen en de CPU-intensieve taken die agents uitvoeren tussen modelaanroepen, waarbij de CPU- en GPU-capaciteit onafhankelijk van elkaar kunnen worden geschaald.
Het bewijs dat de bedrijven aanvoeren, is OpenAI, dat GPT-6 Astra heeft getraind en ingezet in Abilene op een OCI Supercluster met meer dan 100,000 NVIDIA Blackwell GPU's. "Naarmate onze grensverleggende modellen zich ontwikkelen, hebben we infrastructuur nodig die gelijke tred kan houden", aldus Sreekanth Pothanis, engineering leader, compute infra bij OpenAI. "NVIDIA Vera Rubin op OCI biedt ons de rekenkracht en schaalbaarheid om de modeltraining te versnellen en steeds veeleisendere AI-workloads te verwerken."
NVL72-racks en supercluster-netwerken
Elk Vera Rubin NVL72-rack verbindt 72 GPU's via NVLink scale-up-netwerken. OCI Superclusters combineren deze racks met Oracle Acceleron- netwerken, NVIDIA Spectrum-X Ethernet met Spectrum-6 -switches en BlueField-4 DPU's, en stroom- en koelsystemen van gigawattklasse. Oracle stelt dat het multiplanaire netwerk schaalbaar is over honderdduizenden GPU's. De Vera Rubin-uitbreiding is een uitbreiding van de GB200- en GB300 NVL72-systemen die al op OCI draaien, en de bedrijven wijzen op de gemeenschappelijke CUDA-basis als de reden waarom modellen en workloads generaties lang compatibel zijn.
HGX Rubin NVL8 brengt acht GPU's naar x86-servers
OCI is ook van plan om de NVIDIA HGX Rubin NVL8 toe te voegen , een x86-server met acht Rubin GPU's die via NVLink zijn verbonden. De geplande configuratie omvat twee 64-core Intel Xeon 6 CPU's, 4 TB DDR5-geheugen en 6.4 Tbps RDMA-netwerkcapaciteit. Oracle positioneert deze server voor training, finetuning en inferentie, waar klanten Rubin GPU's in een compactere behuizing willen zonder in te leveren op compatibiliteit met x86-applicaties. Beide bedrijven hebben geen releasedatum bekendgemaakt.
Vera CPU's ondersteunen de uitvoering van de agenttool.
Het Vera CPU-aanbod richt zich op de taken die een agent uitvoert tussen modelaanroepen: toolaanroepen, code-uitvoering en data-opvraging. Deze stappen worden uitgevoerd door CPU's, en wanneer ze traag verlopen, wachten de GPU's. NVIDIA en Oracle stellen dat de single-thread prestaties van Vera de individuele toolaanroepen en code-uitvoering versnellen, terwijl de geheugenbandbreedte ervoor zorgt dat de cores continu worden aangestuurd wanneer agents gelijktijdige taken uitvoeren. Dit alles samen vermindert de inactiviteit van de GPU. Geen van beide bedrijven geeft prestatiecijfers of testomstandigheden voor deze bewering.
Met OCI Kubernetes Engine kunnen klanten CPU- en GPU-pools onafhankelijk van elkaar schalen, en Oracle Acceleron biedt hardwarematige isolatie voor workloads die onbetrouwbare, door AI gegenereerde code uitvoeren. OpenAI behoort tot de eerste klanten die toegang hebben tot deze technologie. "NVIDIA Vera CPU's op OCI leveren de prestaties van wereldklasse die nodig zijn om code uit te voeren en tools te draaien in onze snelgroeiende agentische sandbox-workloads", aldus Uday Ruddarraju, Chief Technology Officer of Compute bij OpenAI. "We brengen Vera in productie op OCI om deze workloads op grote schaal te ondersteunen." De omvang van die implementatie werd niet bekendgemaakt.
"AI-fabrieken moeten productief, duurzaam en uitwisselbaar zijn", aldus Ian Buck, vicepresident hyperscale en high-performance computing bij NVIDIA. Hij omschreef het doel als een infrastructuur die bruikbaar blijft ondanks software-innovaties en die verschillende modellen en workloads kan ondersteunen naarmate de vraag verandert. Mahesh Thiagarajan, president van Oracle Cloud Infrastructure, presenteerde de combinatie van Vera Rubin GPU's en Vera CPU's met Acceleron-netwerken als een manier om GPU's productief en veilig te houden naarmate de behoeften van klanten toenemen.
Amazon