A NVIDIA e a Oracle planejam expandir os Superclusters da Oracle Cloud Infrastructure (OCI) com sistemas NVIDIA Vera Rubin NVL72 para escala de vários gigawatts, e tanto o Vera Rubin NVL72 quanto as CPUs NVIDIA Vera agora estão disponíveis para o público em geral na OCI. As empresas anunciaram a novidade durante o Oracle AI World. A expansão é um plano; a disponibilidade geral é a parte que os clientes podem comprar agora, voltada para o trabalho intensivo em GPUs de treinamento e disponibilização de modelos de ponta e para o trabalho intensivo em CPUs que os agentes realizam entre as chamadas de modelo, com a capacidade de CPU e GPU escalonada independentemente.
A prova disso, apresentada pelas empresas, é a OpenAI, que treinou e disponibilizou o GPT-6 Astra em Abilene, em um supercluster OCI com mais de 100,000 GPUs NVIDIA Blackwell. "À medida que nossos modelos de ponta avançam, precisamos de uma infraestrutura que acompanhe o ritmo", disse Sreekanth Pothanis, líder de engenharia de infraestrutura computacional da OpenAI. "A NVIDIA Vera Rubin na OCI nos oferece o desempenho computacional e a escalabilidade necessários para acelerar o treinamento de modelos e atender às demandas cada vez maiores de cargas de trabalho de IA."
Racks NVL72 e Redes Supercluster
Cada rack Vera Rubin NVL72 conecta 72 GPUs por meio da rede scale-up NVLink. Os Superclusters da OCI combinam esses racks com a rede Oracle Acceleron , Ethernet NVIDIA Spectrum-X com switches Spectrum-6 e DPUs BlueField-4, além de energia e refrigeração de classe gigawatt. A Oracle afirma que a rede multiplanar escala para centenas de milhares de GPUs. A expansão do Vera Rubin amplia os sistemas GB200 e GB300 NVL72 já existentes na OCI, e as empresas apontam a base comum do CUDA como o motivo pelo qual os modelos e cargas de trabalho são compatíveis entre gerações.
HGX Rubin NVL8 traz oito GPUs para servidores x86.
A OCI também planeja adicionar o NVIDIA HGX Rubin NVL8 , um servidor x86 com oito GPUs Rubin conectadas via NVLink. A configuração planejada conta com duas CPUs Intel Xeon 6 de 64 núcleos, 4 TB de memória DDR5 e 6.4 Tbps de rede RDMA. A Oracle o posiciona para treinamento, ajuste fino e inferência, onde o cliente deseja GPUs Rubin em um formato mais compacto, sem abrir mão da compatibilidade com aplicativos x86. Nenhuma das empresas divulgou uma data de lançamento.
Execução da ferramenta de agente de suporte para CPUs Vera
A oferta de CPU Vera visa o trabalho que um agente realiza entre as chamadas de modelo: chamadas de ferramentas, execução de código e recuperação de dados. Essas etapas são executadas nas CPUs e, quando são lentas, as GPUs ficam ociosas. A NVIDIA e a Oracle afirmam que o desempenho de thread único do Vera acelera as chamadas de ferramentas individuais e a execução de código, enquanto sua largura de banda de memória mantém os núcleos alimentados enquanto os agentes executam tarefas simultâneas, o que, em conjunto, reduz o tempo ocioso da GPU. Nenhuma das empresas fornece números de desempenho ou condições de teste para essa afirmação.
O OCI Kubernetes Engine permite que os clientes dimensionem pools de CPU e GPU de forma independente, e o Oracle Acceleron fornece isolamento baseado em hardware para cargas de trabalho que executam código não confiável gerado por IA. A OpenAI está entre os clientes com acesso antecipado. "As CPUs NVIDIA Vera na OCI oferecem o desempenho de classe mundial necessário para executar código e ferramentas em nossas cargas de trabalho de sandbox de agentes em rápido crescimento", disse Uday Ruddarraju, diretor de tecnologia de computação da OpenAI. "Estamos implementando o Vera em produção na OCI para dar suporte a essas cargas de trabalho em escala." A escala dessa implementação não foi divulgada.
“As fábricas de IA precisam ser produtivas, duráveis e fungíveis”, disse Ian Buck, vice-presidente de computação de hiperescala e alto desempenho da NVIDIA, descrevendo o objetivo como uma infraestrutura que permanece útil apesar dos avanços de software e que atende a diferentes modelos e cargas de trabalho conforme a demanda muda. Mahesh Thiagarajan, presidente da Oracle Cloud Infrastructure, apresentou a combinação de GPUs Vera Rubin e CPUs Vera com a rede Acceleron como uma forma de manter as GPUs produtivas e seguras à medida que as necessidades dos clientes crescem.
Amazon