O AI Infra Summit destaca os resultados do MLPerf Inference da AMD e da NVIDIA, bem como o roteiro Vera Rubin 2026 da NVIDIA, especificamente o Rubin CPX.
No AI Infra Summit 2025, a NVIDIA demonstrou impulso em duas frentes: novos e impressionantes resultados de inferência MLPerf de seus sistemas Blackwell Ultra e, mais significativamente, um roteiro detalhado para a geração Vera Rubin 2026, incluindo Rubin CPX, uma nova classe de GPU desenvolvida especificamente para inferência de contexto massivo.
Blackwell Ultra define novas bases de desempenho
Os sistemas em escala de rack GB300 NVL72 da NVIDIA já alcançaram desempenho notável no MLPerf Inference v5.1, demonstrando a maturidade arquitetônica da plataforma Blackwell Ultra, mesmo com o software continuando a liberar todo o seu potencial. Esse poder é claramente demonstrado no benchmark Llama 2 70B, onde a plataforma entregou impressionantes 12,934 tokens por segundo por GPU em cenários offline. O desempenho no teste de servidor online foi quase idêntico, com 12,701 tokens por segundo, demonstrando a eficiência excepcional da arquitetura em diferentes cargas de trabalho.
A prontidão da plataforma para aplicações do mundo real foi ainda mais demonstrada na recém-introduzida categoria interativa, que impõe restrições de latência substancialmente mais rigorosas, incluindo requisitos de tempo para o primeiro token abaixo de 500 ms e um limite de 33 tokens por segundo por usuário. Mesmo sob essas demandas agressivas de qualidade de serviço, o Blackwell Ultra manteve alta taxa de transferência, entregando 7,856 tokens por segundo por GPU. No benchmark de raciocínio DeepSeek-R1, a plataforma estabeleceu outra linha de base definitiva em 5,842 tokens por segundo por GPU.
Em última análise, esses resultados indicam que as capacidades do hardware superam as da pilha de software atual. Ainda há uma margem significativa de desempenho a ser explorada, à medida que frameworks como TensorRT-LLM e NVIDIA Dynamo evoluem para explorar totalmente as vantagens arquitetônicas do Blackwell Ultra, como seus caminhos de computação NVFP4 aprimorados e a enorme capacidade de 288 GB HBM3e por GPU.
Acelerando a cadência da inovação: a plataforma Vera Rubin
A NVIDIA adotou um ciclo anual de atualização de arquitetura como resposta estratégica ao crescimento exponencial das demandas computacionais de IA. Seguindo esse cronograma agressivo, a NVIDIA revelou que a geração Vera Rubin já está pronta e programada para implantação corporativa no segundo semestre de 2026.
A arquitetura Vera Rubin apresenta uma atualização abrangente da plataforma, centrada na integração das novas CPUs Vera e GPUs Rubin. A CPU Vera representa uma evolução significativa em relação às últimas três gerações de sistemas NVIDIA. As CPUs Vera possuem 88 núcleos ARM com suporte para 176 threads. Esses processadores também dobram a largura de banda do link chip-to-chip (C2C) para 1,800 GB/s, permitindo um link mais rápido entre a CPU, a GPU e seus recursos de memória compartilhada.
Na camada de interconexão, o NVLink de sexta geração oferece 3,600 GB/s de largura de banda bidirecional, dobrando a largura de banda dos atuais switches NVLink de quinta geração. Essa conectividade aprimorada torna-se particularmente crítica à medida que os modelos continuam a escalar além da capacidade de memória de dispositivos individuais, exigindo estratégias sofisticadas de execução paralela que exigem latência de comunicação mínima e taxa de transferência máxima entre nós.
Complementando o avanço do NVLink, o switch Spectrum-6, incorporando a tecnologia de óptica co-empacotada (CPO), atinge 102 TB/s de capacidade de comutação. A integração de componentes ópticos diretamente no pacote do switch elimina os gargalos tradicionais da conversão elétrica para óptica, reduzindo a latência e melhorando drasticamente a eficiência energética — considerações cruciais à medida que as fábricas de IA se expandem para níveis de consumo de energia de gigawatts.
Os sistemas VR NVL144 ainda utilizarão a comprovada plataforma de rack Oberon que atualmente sustenta as implantações Grace Hopper, Grace Blackwell e Grace Blackwell Ultra.
Evolução da Nomenclatura Arquitetônica: de Pacotes a Matrizes
A NVIDIA está mudando sua convenção de nomenclatura de uma contagem baseada em pacotes para uma contagem baseada em chips. Embora essa mudança possa ser controversa, é uma iniciativa com visão de futuro que proporcionará maior clareza, especialmente com o lançamento previsto das GPUs Rubin Ultra no final de 2026, que deverão apresentar quatro chips do tamanho de retículos.
Com a geração Rubin, a NVIDIA está adotando uma nomenclatura de contagem de chips que reflete diretamente os recursos computacionais disponíveis. A designação NVL144 faz referência explícita a 144 chips de GPU, mantendo a configuração física de 72 pacotes, e fornece uma medida mais precisa da capacidade computacional. Isso é semelhante aos sistemas NVL200 da geração atual GB300 e GB72, que contêm 72 pacotes de GPU, cada um abrigando dois chips de GPU, totalizando 144 chips computacionais.
Enfrentando o desafio do processamento de contexto
O anúncio do Rubin CPX, com disponibilidade prevista para o final de 2026, é a resposta arquitetônica da NVIDIA a um dos desafios mais urgentes na inferência de LLM: a incompatibilidade fundamental entre padrões computacionais durante as diferentes fases da geração de tokens. Para entender essa inovação, precisamos analisar as características distintivas das cargas de trabalho de inferência de LLM e as limitações das arquiteturas de GPU homogêneas atuais para atender a essas variadas demandas computacionais.
A inferência de modelos de linguagem de grande porte opera por meio de duas fases computacionais fundamentalmente distintas, que impõem demandas drasticamente diferentes aos recursos de hardware. A etapa de pré-preenchimento processa o prompt de entrada inicial, computando as matrizes de Chave e Valor para geração subsequente. Essa fase exige muita computação e utiliza com eficiência a enorme taxa de transferência de ponto flutuante das GPUs modernas.
A etapa de decodificação apresenta um desafio computacional totalmente diferente. Durante a decodificação, o modelo gera tokens de saída de forma autorregressiva, produzindo um token de cada vez, considerando o contexto anterior. Cada novo token requer que o mecanismo de atenção processe todo o histórico da sequência, computando sua relação com todos os tokens anteriores. Isso cria um padrão computacional único em que a largura de banda da memória, em vez da taxa de transferência de dados, se torna o principal gargalo. O cache KV, que armazena as representações intermediárias necessárias para manter o contexto, torna-se o principal consumidor de memória.
As características de escalabilidade do cache KV apresentam desafios específicos em ambientes de produção. Para um modelo como o Llama 3.1 405B processando contextos estendidos, o cache KV pode facilmente consumir dezenas de gigabytes por sequência. Em cenários de inferência em lote, essenciais para atingir alto rendimento em produção, o tamanho agregado do cache KV frequentemente excede o dos próprios pesos do modelo. Com os grandes tamanhos de lote possíveis em implantações NVL72 em larga escala, o cache KV pode atingir vários terabytes de tamanho. Embora esses dados devam permanecer acessíveis com latência razoável, nem todos os acessos ao cache KV exigem a largura de banda extrema da memória HBM. Muitas operações de atenção exibem padrões de acesso adequados a arquiteturas de memória hierárquicas.
Rubin CPX: Arquitetura desenvolvida especificamente para processamento de contexto
O Rubin CPX soluciona essas incompatibilidades arquitetônicas por meio de um design específico para inferência LLM de longo contexto. A arquitetura se concentra em 128 GB de memória GDDR7, fornecendo um pool de memória amplo e econômico para operações de cache KV. As características de largura de banda do GDDR7, embora inferiores às do HBM4, são suficientes para a maioria das operações de atenção, especialmente quando combinadas com estratégias de cache inteligente.
A integração com a plataforma Vera Rubin mais ampla no rack VR NVL144 CPX ocorre por meio de links PCIe por meio das placas de rede ConnectX-9 e chips de switch, facilitando modelos de execução híbridos em que operações com uso intensivo de computação ocorrem em GPUs tradicionais. O gerenciamento de contexto com uso intensivo de memória migra para processadores CPX.
Arquiteturas de implantação flexíveis e opções de configuração
A arquitetura modular da plataforma Vera Rubin proporciona flexibilidade de implantação, permitindo que as organizações otimizem configurações para características específicas de carga de trabalho. A configuração padrão de rack VR NVL144 conta com GPUs Vera Rubin com oito placas de rede ConnectX-9, proporcionando uma arquitetura balanceada adequada para diversas cargas de trabalho de IA. Essa configuração oferece 3.6 ExaFLOPS de computação NVFP4, uma melhoria de 3.3x em relação aos atuais sistemas GB300 NVL72, juntamente com 1.4 PB/s de largura de banda HBM4 (2.5x a geração atual) e 75 TB de capacidade de memória HBM4 (2x a geração atual).
Para organizações que otimizam para inferência e RL de longo contexto pós-treinamento, a bandeja de computação VR NVL144 CPX ultradensa está disponível. Cada bandeja incorpora quatro pacotes de GPU VR, cada um contendo oito chips de GPU, mantendo assim a densidade computacional da configuração padrão, além de adicionar oito GPUs Rubin CPX. Os oito chips de NIC/switch ConnectX-9 garantem o fluxo de dados perfeito, essencial para inferência distribuída.
A natureza modular da arquitetura permite estratégias de implantação excepcionalmente flexíveis. As organizações podem implantar inicialmente racks VR NVL144 padrão e, posteriormente, expandi-los com racks Rubin CPX dedicados à medida que suas necessidades de processamento de contexto aumentam. Essa abordagem permite que a infraestrutura evolua em conjunto com as capacidades do modelo, evitando assim o excesso de provisionamento.
A configuração completa do VR NVL144 CPX estabelece uma nova base para o poder computacional. O sistema oferece 8 ExaFLOPS de computação NVFP4, uma melhoria de 7.5x em relação aos sistemas GB300 NVL72 da geração atual. Essa enorme capacidade computacional é combinada com 1.7 PB/s de largura de banda de memória agregada, aproveitando HBM4 e GDDR7 para atingir três vezes a taxa de transferência de memória dos sistemas atuais. A capacidade total de memória chega a 100 TB, fornecendo 2.5x os recursos de memória das plataformas da geração atual.
A NVIDIA tem como meta a disponibilidade até o final de 2026. Isso habilitará novas categorias de aplicações de IA e tornará janelas de contexto de milhões de tokens práticas para produção, permitindo que sistemas de IA processem bases de código inteiras ou documentos extensos em uma única etapa. Essas inovações também permitem que as organizações suportem lotes maiores, reduzindo o custo de inferência e criando um cálculo de OPEX mais favorável.
Projeto de infraestrutura em escala de gigawatt
Além das inovações individuais em sistemas, a NVIDIA também revelou arquiteturas de referência para fábricas de IA em escala de gigawatts. Desenvolvidos em colaboração com parceiros de infraestrutura como Jacobs, Schneider Electric, Siemens Energy e Vertiv, esses projetos abordam toda a infraestrutura, desde a geração de energia até a entrega computacional. Os projetos de referência reconhecem que as implantações de IA de próxima geração exigem uma otimização holística que vai muito além dos próprios componentes computacionais.
Esses projetos arquitetônicos utilizam gêmeos digitais NVIDIA Omniverse para facilitar a simulação abrangente das instalações antes da implantação física. As organizações podem modelar a distribuição de energia, os sistemas de refrigeração e as cargas de trabalho computacionais em simulações unificadas, identificando e solucionando gargalos antes de se comprometerem com a infraestrutura física.
Conclusão
A NVIDIA continua a liderar o segmento de infraestrutura de IA com uma abordagem inovadora e centrada no desenvolvedor, que aborda diretamente os pontos problemáticos enfrentados por organizações e laboratórios de IA. A transição da aceleração de uso geral para arquiteturas específicas para cargas de trabalho, exemplificada pela abordagem direcionada do Rubin CPX ao processamento de contexto, indica que os futuros sistemas de IA incluirão cada vez mais recursos computacionais heterogêneos, otimizados para cada fase dos fluxos de trabalho de IA. Essa evolução arquitetônica exige que as organizações que planejam investimentos plurianuais em infraestrutura de IA considerem não apenas a taxa de transferência computacional bruta, mas também o alinhamento entre os recursos de hardware e as arquiteturas de modelos em evolução.
A cadência acelerada de inovação, desde Blackwell Ultra, passando por Vera Rubin e Rubin CPX, dentro de um cronograma comprimido, é realmente impressionante. Um ritmo tão acelerado exige que as organizações projetem sistemas capazes de integrar novos paradigmas arquitetônicos à medida que surgem, evitando o aprisionamento que caracterizou as gerações anteriores de infraestrutura de data center. Para enfrentar esse desafio, os projetos de referência da Fábrica de IA da NVIDIA e os gêmeos digitais Omniverse fornecem os projetos e ferramentas de simulação essenciais para garantir o futuro desses investimentos críticos. À medida que os modelos de IA continuam sua trajetória em direção a escalas de trilhões de parâmetros e contextos de milhões de tokens, as inovações arquitetônicas reveladas no AI Infrastructure Summit fornecem a base essencial para esse futuro da computação. Elas estabelecem as estruturas e tecnologias que definirão as capacidades de IA empresarial ao longo da década.
Artigos referenciados: Notícias da Nvidia GTC25
Todos os slides e imagens são provenientes da Nvidia
Amazon