O MLPerf Inference v5.1 oferece benchmarks rigorosos para inferência de IA em LLMs, visão e tarefas multimodais. Aqui está a análise técnica dos resultados do Blackwell Ultra da NVIDIA e dos envios do Instinct MI300X/MI325X/MI355X da AMD. Inclui dados de benchmark detalhados, otimizações de software, estratégias de arquitetura e implicações para hiperescaladores e empresas.
Estrutura de Benchmarking MLPerf
Os benchmarks de inferência MLPerf servem como um placar para aceleradores de IA, fornecendo um método padronizado e comparável para medir o desempenho em classificação de imagens, modelos de linguagem e sistemas de recomendação. Para empresas que implantam GPUs em escala, esses números geralmente orientam decisões de compra em larga escala.
A Inferência MLPerf é governada pelo MLCommons e define regras de Divisão Fechada vs. Aberta. Os cenários incluem:
- Desconectado: Centrado em produtividade (agrupar o máximo de consultas possível).
- servidor: Inferência multifluxo compatível com latência.
- Interativo: TTFT (tempo até o primeiro token) e TPS (tokens por segundo no 99º percentil) rigorosos.
O conjunto de cargas de trabalho v5.1 incluía:
- DeepSeek-R1: Um modelo de mistura de especialistas 671B (teste de estresse para inferência de raciocínio).
- Llama-3.1-405B e 8B: LLMs mais recentes em vários modos de inferência.
- Sussurro: ASR substituindo RNN-T.
- Difusão Estável XL (SD-XL): IA generativa de texto para imagem.
- Mixtral, DLRMv2, além de cargas de trabalho legadas como o ResNet-50.
Quando gráficos de taxa de transferência (tokens/seg ou amostras/seg) são exibidos, eles normalmente destacam o domínio contínuo da NVIDIA em números absolutos, especialmente por GPU. No entanto, o progresso da AMD em eficiência relativa e suavidade de escala mostra que eles estão diminuindo a diferença a cada rodada, principalmente em cenários de servidores e implantações de vários nós.
Resultados do NVIDIA Blackwell Ultra
Os sistemas Blackwell Ultra atingiram produtividade recorde em todas as novas cargas de trabalho. Principais facilitadores:
- Precisão NVFP4: float personalizado de 4 bits, acelerando DeepSeek e Llama.
- FP8 KV-cache: economia de memória para camadas de atenção.
- Distribuição desagregada: contexto dividido versus estágios de geração em 72 GPUs via NVLink de 1,800 GB/s.
- Software: CUDA Graphs, TensorRT-LLM, ADP Balance.
O gráfico de barras abaixo, comparando Hopper e Blackwell Ultra por GPU, mostra um aumento de quase 5x na taxa de transferência no DeepSeek-R1, validando que formatos de dados de granularidade fina (NVFP4) e largura de banda em todo o rack escalam linearmente para cargas de trabalho de inferência massivas. Outro gráfico, com base nos resultados recordes do Llama-405B interativo, demonstra como a NVIDIA utiliza a malha NVLink e o serviço desagregado para manter os SLAs de latência, enquanto ultrapassa os limites de taxa de transferência anteriores. A conclusão: a NVIDIA continua sendo a líder do setor em velocidade bruta e cargas de trabalho sensíveis à latência.
Resultados do AMD Instinct MI300X/MI325X/MI355X
A AMD visou eficiência e flexibilidade:
- FP4 no MI355X: fornecendo 2.7× mais rendimento do Llama-2-70B em comparação ao MI325X FP8.
- Poda estruturada: No Llama-405B, a poda de 21–33% reduziu os FLOPs sem afetar a precisão, aumentando a produtividade em ~82–90%.
- Escala: Escala linear suave comprovada em até 8 nós; o primeiro cluster heterogêneo (4 × MI300X + 2 × MI325X) atingiu 94% de eficiência de escala.
- Reprodutibilidade do ecossistema ROCm: Os envios de parceiros estão consistentemente dentro de 1–3% dos resultados da própria AMD.
O gráfico acima mostrando MI325X FP8 vs. MI355X FP4 ilustra os benefícios inovadores do FP4, maiores tokens/s com perda mínima de precisão, provando que o FP4 não é experimental, mas pronto para implantação.
Este curva de escala (1 → O gráfico de 8 nós destaca o escalonamento quase linear, algo que os hiperescaladores valorizam, pois se traduz em custos de expansão previsíveis. Enquanto isso, o esquema de poda estruturada mostra que o foco da AMD não está apenas na força bruta do hardware, mas também na eficiência algorítmica, crucial para clusters de inferência do mundo real, limitados por energia e espaço.
Comparação direta entre AMD e NVIDIA
|
métrico |
NVIDIA Blackwell Ultra |
AMD MI355X |
Notas |
Vencedora |
|
Tokens/seg por GPU |
5842 (DeepSeek-R1) |
~2200 (FP4 escalado) |
Maior desempenho bruto da NVIDIA |
NVIDIA |
|
Memória por GPU |
192GB HBM3e |
288GB HBM3e |
AMD adapta GPU única modelo 520B |
AMD |
|
Suporte de precisão |
FP16, FP8, NVFP4 |
FP16, FP8, FP4 |
Ambos os cabos de 4 bits |
Laço |
|
Tecido de escala |
72 GPU NVLink |
Escala de nó linear para 8 |
Diferentes estratégias de escala |
Laço |
Visualizações lado a lado enfatizam as compensações.
- A NVIDIA domina o rendimento por GPU, o que a torna ideal para fábricas de IA onde a densidade de flops é importante.
- A AMD, com maior memória (288 GB) e redução de FP4, se destaca onde o custo por token e a flexibilidade de implantação são primordiais.
Implicações da indústria
- Hiperescaladores: A NVIDIA continua sendo a ferramenta preferida das fábricas de IA que buscam desempenho máximo. As crescentes inovações em eficiência da AMD, no entanto, desbloqueiam o dimensionamento otimizado em termos de custos, sendo um atrativo para o balanceamento de cargas de trabalho entre camadas.
- provedores de nuvem: Espere ofertas heterogêneas, níveis NVIDIA de alto desempenho versus pods AMD Kubernetes de baixo custo.
- Empresas: A poda estruturada, o FP4 e o suporte a clusters heterogêneos permitem que a AMD ofereça inferência de modelos 405B+ com menor TCO. As inovações da NVIDIA (servidor desagregado e Dynamo) continuam sendo benéficas para aplicativos sensíveis à latência (por exemplo, chatbots LLM em tempo real).
- Perspectiva futura: Espere adoção universal da inferência de 4 bits como base, uso mais amplo de pools de GPU heterogêneos e novos designs de sistema, incluindo o Rubin CPX da NVIDIA para sequências longas e a expansão ROCm da AMD para cobrir mais estruturas.
A NVIDIA continua a ditar o ritmo em throughput bruto, com as GPUs H200 liderando a inferência em ResNet-50 e BERT em benchmarks de divisão fechada. Dito isso, a MI300 da AMD não fica muito atrás, apresentando números competitivos em cenários de servidor e offline, além de apresentar fortes ganhos em eficiência energética. A verdadeira história aqui não é apenas que a NVIDIA permanece no topo, mas que a AMD reduziu significativamente a diferença em comparação com apenas uma rodada do MLPerf atrás. Para os compradores, isso significa que os dias de olhar apenas para GPUs verdes podem ter acabado — o ROCm está amadurecendo e a MI300 é viável em implantações de inferência no mundo real.
Amazon