Společnosti NVIDIA a Oracle plánují rozšířit superklastry Oracle Cloud Infrastructure (OCI) o systémy NVIDIA Vera Rubin NVL72 do škálovatelného rozsahu v několika gigawattech a procesory Vera Rubin NVL72 i NVIDIA Vera jsou nyní na OCI běžně dostupné. Společnosti oznámily jejich dvojici na konferenci Oracle AI World. Rozšíření je plán; běžná dostupnost je část, kterou si zákazníci mohou zakoupit již nyní, a je zaměřena na práci s náročnými GPU, ať už jde o trénování a obsluhu modelů na hranici možností, nebo na práci s náročnými CPU, kterou agenti vykonávají mezi voláními modelů, přičemž kapacita CPU a GPU se škáluje nezávisle.
Důkazem, který tyto společnosti nabízejí, je OpenAI, která v Abilene na superklastru OCI s více než 100 000 grafickými procesory NVIDIA Blackwell vyškolila a obsluhovala síť GPT-6 Astra. „S tím, jak se naše špičkové modely vyvíjejí, potřebujeme infrastrukturu, která s nimi dokáže držet krok,“ řekl Sreekanth Pothanis, vedoucí inženýrství výpočetní infrastruktury ve společnosti OpenAI. „NVIDIA Vera Rubin na OCI nám poskytuje výpočetní výkon a škálovatelnost pro urychlení trénování modelů a obsluhu stále náročnějších úloh umělé inteligence.“
Racky NVL72 a sítě superklastrů
Každý rack Vera Rubin NVL72 propojuje 72 GPU prostřednictvím škálovatelné sítě NVLink. Superklastry OCI kombinují tyto racky se sítí Oracle Acceleron , ethernetovým rozhraním NVIDIA Spectrum-X s přepínači Spectrum-6 a procesory BlueField-4 a napájením a chlazením gigawattové třídy. Společnost Oracle uvádí, že multiplanární síť se škáluje na stovky tisíc GPU. Sestava Vera Rubin rozšiřuje systémy GB200 a GB300 NVL72, které již využívají OCI, a společnosti poukazují na společný základ CUDA jako důvod, proč se modely a pracovní zátěže přenášejí napříč generacemi.
HGX Rubin NVL8 přináší osm grafických procesorů do serverů x86
Společnost OCI také plánuje přidat NVIDIA HGX Rubin NVL8 , server x86 s osmi grafickými kartami Rubin připojenými přes NVLink. Plánovaná konfigurace obsahuje dva 64jádrové procesory Intel Xeon 6, 4 TB paměti DDR5 a síťovou rychlost RDMA 6.4 Tb/s. Oracle ji využívá pro trénování, jemné ladění a inferenci, kdy zákazník chce grafické karty Rubin v menším rozměru, aniž by se musel vzdát kompatibility s aplikacemi x86. Ani jedna ze společností neuvedla datum uvedení na trh.
Podpora spouštění nástrojů agentů procesorů Vera CPU
Nabídka procesorů Vera se zaměřuje na práci, kterou agent vykonává mezi voláními modelů: volání nástrojů, provádění kódu a načítání dat. Tyto kroky běží na procesorech (CPU) a když běží pomalu, grafické procesory (GPU) čekají. Společnosti NVIDIA a Oracle tvrdí, že výkon Very v jednom vlákně zrychluje volání jednotlivých nástrojů a provádění kódu, zatímco šířka pásma paměti udržuje jádra vytížená, protože agenti spouštějí souběžné úlohy, což dohromady zkracuje dobu nečinnosti grafických procesorů (GPU). Ani jedna ze společností neuvádí údaje o výkonu ani testovací podmínky pro toto tvrzení.
OCI Kubernetes Engine umožňuje zákazníkům nezávisle škálovat fondy CPU a GPU a Oracle Acceleron poskytuje hardwarovou izolaci pro úlohy s nedůvěryhodným kódem generovaným umělou inteligencí. OpenAI patří mezi zákazníky s předběžným přístupem. „Procesory NVIDIA Vera na OCI poskytují špičkový výkon potřebný ke spouštění kódu a nástrojů v našich rychle rostoucích agentních sandboxových úlohách,“ uvedl Uday Ruddarraju, technický ředitel pro výpočetní techniku ve společnosti OpenAI. „Uvádíme Veru do produkčního prostředí na OCI, abychom tyto úlohy podporovali ve velkém měřítku.“ Rozsah nasazení nebyl uveden.
„Továrny umělé inteligence musí být produktivní, odolné a zaměnitelné,“ řekl Ian Buck, viceprezident pro hyperscale a vysoce výkonné výpočty ve společnosti NVIDIA, a popsal cíl jako infrastrukturu, která zůstává užitečná i přes softwarový pokrok a slouží různým modelům a pracovním zátěžím podle měnící se poptávky. Mahesh Thiagarajan, prezident Oracle Cloud Infrastructure, popsal spárování grafických procesorů Vera Rubin a procesorů Vera se sítí Acceleron jako způsob, jak udržet produktivitu a bezpečnost grafických procesorů s rostoucími potřebami zákazníků.
Amazon