NVIDIA y Oracle planean expandir los superclústeres de Oracle Cloud Infrastructure (OCI) con sistemas NVIDIA Vera Rubin NVL72 a escala multigigavatio, y tanto Vera Rubin NVL72 como las CPU NVIDIA Vera ya están disponibles en OCI. Las compañías anunciaron ambas novedades en Oracle AI World. La expansión es un plan; la disponibilidad general es la parte que los clientes pueden adquirir ahora, orientada a las tareas que requieren gran capacidad de GPU para entrenar y servir modelos de vanguardia, así como a las tareas que requieren gran capacidad de CPU que realizan los agentes entre las llamadas a los modelos, con capacidad de CPU y GPU escalable de forma independiente.
La prueba que ofrecen estas empresas es OpenAI, que ha entrenado y puesto en servicio a GPT-6 Astra en Abilene en un superclúster OCI con más de 100 000 GPU NVIDIA Blackwell. «A medida que nuestros modelos de vanguardia avanzan, necesitamos una infraestructura que pueda seguirles el ritmo», afirmó Sreekanth Pothanis, jefe de ingeniería de infraestructura informática en OpenAI. «NVIDIA Vera Rubin en OCI nos proporciona el rendimiento informático y la escalabilidad necesarios para acelerar el entrenamiento de modelos y atender cargas de trabajo de IA cada vez más exigentes».
Racks NVL72 y redes de superclúster
Cada rack Vera Rubin NVL72 conecta 72 GPU mediante la red escalable NVLink. Los superclústeres OCI combinan estos racks con la red Oracle Acceleron , Ethernet NVIDIA Spectrum-X con conmutadores Spectrum-6 y DPU BlueField-4, además de alimentación y refrigeración de clase gigavatio. Oracle afirma que la red multiplanar se escala a través de cientos de miles de GPU. La implementación de Vera Rubin amplía los sistemas GB200 y GB300 NVL72 que ya se encuentran en OCI, y las empresas señalan la base CUDA común como la razón por la que los modelos y las cargas de trabajo se mantienen entre generaciones.
HGX Rubin NVL8 incorpora ocho GPU a los servidores x86.
OCI también planea incorporar NVIDIA HGX Rubin NVL8 , un servidor x86 con ocho GPU Rubin conectadas mediante NVLink. La configuración prevista incluye dos CPU Intel Xeon 6 de 64 núcleos, 4 TB de memoria DDR5 y una red RDMA de 6.4 Tbps. Oracle lo posiciona para entrenamiento, optimización e inferencia, donde el cliente busca GPU Rubin en un formato más compacto sin sacrificar la compatibilidad con aplicaciones x86. Ninguna de las compañías ha anunciado una fecha de lanzamiento.
Las CPU Vera admiten la ejecución de herramientas de agente.
La solución Vera para CPU se centra en el trabajo que realiza un agente entre las llamadas al modelo: llamadas a herramientas, ejecución de código y recuperación de datos. Estos pasos se ejecutan en las CPU, y cuando se ejecutan lentamente, las GPU permanecen inactivas. NVIDIA y Oracle afirman que el rendimiento de un solo hilo de Vera acelera las llamadas a herramientas individuales y la ejecución de código, mientras que su ancho de banda de memoria mantiene los núcleos activos a medida que los agentes ejecutan tareas concurrentes, lo que en conjunto reduce el tiempo de inactividad de la GPU. Ninguna de las compañías proporciona cifras de rendimiento ni condiciones de prueba para respaldar esta afirmación.
OCI Kubernetes Engine permite a los clientes escalar grupos de CPU y GPU de forma independiente, y Oracle Acceleron proporciona aislamiento basado en hardware para cargas de trabajo que ejecutan código generado por IA no confiable. OpenAI se encuentra entre los primeros clientes. «Las CPU NVIDIA Vera en OCI ofrecen el rendimiento de clase mundial necesario para ejecutar código y herramientas en nuestras cargas de trabajo de sandbox con agentes, que crecen rápidamente», dijo Uday Ruddarraju, director de tecnología de computación en OpenAI. «Estamos implementando Vera en producción en OCI para dar soporte a estas cargas de trabajo a gran escala». No se especificó la magnitud de dicha implementación.
«Las fábricas de IA deben ser productivas, duraderas y fungibles», afirmó Ian Buck, vicepresidente de computación de alto rendimiento y de hiperescala en NVIDIA, describiendo el objetivo como una infraestructura que se mantenga útil a través de los avances de software y que sirva a diferentes modelos y cargas de trabajo según cambie la demanda. Mahesh Thiagarajan, presidente de Oracle Cloud Infrastructure, explicó que la combinación de las GPU Vera Rubin y las CPU Vera con la red Acceleron es una forma de mantener la productividad y la seguridad de las GPU a medida que crecen las necesidades de los clientes.
Amazon