NVIDIA et Oracle prévoient d'étendre les superclusters d'Oracle Cloud Infrastructure (OCI) avec des systèmes NVIDIA Vera Rubin NVL72 à une échelle de plusieurs gigawatts. Les processeurs Vera Rubin NVL72 et NVIDIA Vera sont désormais disponibles sur OCI. Les entreprises ont annoncé cette nouveauté lors d'Oracle AI World. L'extension est un projet ; la disponibilité générale correspond aux produits que les clients peuvent acquérir dès maintenant. Cette solution est conçue pour les tâches gourmandes en ressources GPU liées à l'entraînement et au déploiement de modèles de pointe, ainsi que pour les tâches gourmandes en ressources CPU effectuées par les agents entre les appels de modèles. La capacité du CPU et du GPU est dimensionnée indépendamment.
L'exemple d'OpenAI, qui a entraîné et déployé GPT-6 Astra à Abilene sur un supercluster OCI doté de plus de 100 000 GPU NVIDIA Blackwell, en est la preuve. « À mesure que nos modèles de pointe progressent, nous avons besoin d'une infrastructure capable de suivre le rythme », explique Sreekanth Pothanis, responsable de l'ingénierie des infrastructures de calcul chez OpenAI. « NVIDIA Vera Rubin sur OCI nous offre la puissance de calcul et l'évolutivité nécessaires pour accélérer l'entraînement des modèles et gérer des charges de travail d'IA de plus en plus exigeantes. »
Baies NVL72 et réseau Supercluster
Chaque rack Vera Rubin NVL72 connecte 72 GPU via le réseau évolutif NVLink. Les superclusters OCI combinent ces racks avec le réseau Oracle Acceleron , l'Ethernet NVIDIA Spectrum-X avec des commutateurs Spectrum-6 et des DPU BlueField-4, ainsi qu'une alimentation et un refroidissement de classe gigawatt. Oracle affirme que le réseau multiplan peut gérer des centaines de milliers de GPU. Le déploiement de Vera Rubin étend les systèmes GB200 et GB300 NVL72 déjà présents sur OCI, et les entreprises soulignent que la plateforme CUDA commune explique la compatibilité des modèles et des charges de travail entre les générations.
HGX Rubin NVL8 apporte huit GPU aux serveurs x86
OCI prévoit également d'ajouter le NVIDIA HGX Rubin NVL8 , un serveur x86 doté de huit GPU Rubin connectés via NVLink. La configuration envisagée comprend deux processeurs Intel Xeon 6 à 64 cœurs, 4 To de mémoire DDR5 et un réseau RDMA de 6.4 Tbit/s. Oracle le positionne pour l'entraînement, l'optimisation et l'inférence, répondant ainsi aux besoins des clients souhaitant des GPU Rubin dans un format compact sans compromettre la compatibilité avec les applications x86. Aucune date de disponibilité n'a été communiquée par les deux entreprises.
Exécution de l'outil d'agent de support des processeurs Vera
L'offre CPU Vera cible les tâches effectuées par un agent entre les appels de modèle : appels d'outils, exécution de code et récupération de données. Ces étapes s'exécutent sur les CPU, et lorsqu'elles sont lentes, les GPU restent inactifs. NVIDIA et Oracle affirment que les performances monocœur de Vera accélèrent les appels d'outils et l'exécution de code, tandis que sa bande passante mémoire assure l'alimentation des cœurs pendant l'exécution simultanée de tâches par les agents, réduisant ainsi le temps d'inactivité des GPU. Aucune des deux entreprises ne fournit de chiffres de performance ni de conditions de test pour étayer cette affirmation.
OCI Kubernetes Engine permet aux clients de dimensionner indépendamment les pools de CPU et de GPU, tandis qu'Oracle Acceleron assure une isolation matérielle pour les charges de travail exécutant du code non fiable généré par l'IA. OpenAI fait partie des premiers clients à bénéficier de cet accès anticipé. « Les processeurs NVIDIA Vera sur OCI offrent les performances de pointe nécessaires à l'exécution de code et d'outils pour nos charges de travail sandbox à agents en pleine expansion », a déclaré Uday Ruddarraju, directeur technique du calcul chez OpenAI. « Nous déployons Vera en production sur OCI afin de prendre en charge ces charges de travail à grande échelle. » L'ampleur de ce déploiement n'a pas été précisée.
« Les centres de données dédiés à l'IA doivent être productifs, durables et adaptables », a déclaré Ian Buck, vice-président du calcul haute performance et à très grande échelle chez NVIDIA. Il a décrit cet objectif comme une infrastructure qui reste performante malgré les évolutions logicielles et qui peut répondre à différents modèles et charges de travail en fonction de la demande. Mahesh Thiagarajan, président d'Oracle Cloud Infrastructure, a quant à lui présenté l'association des GPU Vera Rubin et des CPU Vera avec le réseau Acceleron comme une solution pour garantir la productivité et la sécurité des GPU face à la croissance des besoins clients.
Amazon