Broadcom Thor Ultra: placa de rede Ethernet 800G AI compatível com UEC para expansão de mais de 100 mil XPUs

A Broadcom lançou o Thor Ultra, a primeira placa de rede Ethernet de IA 800G do setor, totalmente compatível com as especificações do Ultra Ethernet Consortium (UEC). Ele foi projetado para clusters com mais de 100,000 XPUs. O Thor Ultra aborda os gargalos que limitam o RDMA tradicional, adicionando multicaminhos em nível de pacote, posicionamento de dados fora de ordem, retransmissão baseada em SACK de hardware e um pipeline de controle de congestionamento totalmente programável.

A NIC integra-se perfeitamente ao Broadcom Tomahawk 6 e é compatível com qualquer linha de switches compatíveis com UEC. A Broadcom destaca seus recursos de segurança, incluindo criptografia PSP de taxa de linha, inicialização segura e atestado. A NIC também oferece versatilidade de implantação com SerDes 100G/200G e suporta diversos modelos de uso, incluindo placas chiplet, IP, PCIe e OCP 3.0. O Thor Ultra atua como um componente inovador, de alta largura de banda e habilitado para telemetria, adequado para infraestruturas de IA baseadas em Ethernet.

O RDMA para IA atingiu seus limites

Os data centers de IA estão migrando de processos previsíveis no estilo HPC para tarefas de IA imprevisíveis, explosivas e distribuídas, incluindo treinamento, ajuste fino e inferência em larga escala. Nessas condições, o RDMA tradicional (como usado em muitas implementações de RoCE) sofre uma pressão significativa. Contribuindo para as restrições do RDMA estão:

• A ausência de múltiplos caminhos genuínos no nível do pacote força os fluxos de dados a usar apenas um caminho, aumentando a latência da cauda durante eventos de incast e microbursts.
• Os requisitos de posicionamento em ordem impedem a utilização ideal do PCIe quando os pacotes chegam fora de sequência, causando paralisações e bloqueios de linha no host.
• As retransmissões Go-Back-N aumentam o congestionamento e levam ao desperdício de largura de banda, e a recuperação de perdas é lenta.
• Ajustar o controle de congestionamento em estruturas leaf-spine na escala de 100 mil nós é desafiador e geralmente varia de acordo com o fornecedor.

O Thor Ultra supera essas limitações alinhando a semântica RDMA mais de perto com os requisitos de estruturas de IA de larga escala, oferecendo suporte à distribuição de carga de granulação fina, tolerância de reordenação, recuperação rápida de perdas e controle de congestionamento programável que se adapta à evolução do UEC.

Arquitetura e recursos

O Thor Ultra foi projetado para ancorar estruturas Ethernet de IA compatíveis com UEC, apresentando uma placa de rede que elimina gargalos tanto no host quanto na estrutura. Os recursos do Thor Ultra incluem:

• O pipeline RDMA da Thor Ultra utiliza multicaminhos em nível de pacote para distribuir o tráfego por vários caminhos e suporta pacotes fora de ordem diretamente na memória XPU. Ele garante confiabilidade por meio de SACK e retransmissões, além de apresentar um controle de congestionamento totalmente programável que suporta diversos algoritmos para unificação e flexibilidade de políticas.
• O Thor Ultra priorizou a conformidade total com o UEC, suportando comportamentos de confiabilidade, sinalização de congestionamento e telemetria. É compatível com o Broadcom Tomahawk 6 e outros switches UEC, promovendo uma abordagem Ethernet aberta para evitar bloqueios e habilitar fabrics de fornecedores mistos.
• A segurança de taxa de linha do Thor Ultra inclui criptografia/descriptografia acelerada por hardware, inicialização segura com firmware assinado e atestado de dispositivo, garantindo a integridade da cadeia de suprimentos e do tempo de execução em clusters de IA multilocatários.
• Recursos de telemetria compatíveis com UEC de escalonamento horizontal, como corte de pacotes e sinalização de congestionamento explícita, são suportados, melhorando a observabilidade, o ajuste do controle de congestionamento de loop fechado e o isolamento rápido de falhas em estruturas de escalonamento horizontal.
• A placa de rede suporta configurações SerDes de 100G e 200G para opções flexíveis de portas e atualizações. Utiliza DACs de cobre passivos termicamente eficientes de até cinco metros para conexões de rack de curto alcance, reduzindo o consumo de energia e o custo. Os modelos incluem chiplet/IP para placas personalizadas e formatos padrão PCIe e OCP 3.0, todos compartilhando firmware e ferramentas para facilitar o gerenciamento.

Tecidos Ethernet de IA vs. Alternativas Proprietárias

O lançamento do Thor Ultra está alinhado com os principais aspectos competitivos. As interconexões proprietárias de IA incluem InfiniBand e sobreposições Ethernet específicas do fornecedor. As soluções InfiniBand da NVIDIA, como os switches ConnectX/BlueField e Quantum, oferecem recursos como SHARP, roteamento adaptativo e controle de congestionamento otimizado. No entanto, estes recursos estão sujeitos à dependência do fornecedor e ao aumento do custo total de propriedade (TCO). A conformidade com a UEC e os recursos avançados de RDMA do Thor Ultra foram projetados para igualar ou superar a latência de cauda e o desempenho de throughput usando Ethernet padrão. Isso oferece aos compradores uma alternativa baseada em padrões, garantindo flexibilidade de fornecimento e cadeias de ferramentas familiares.

Ao contrário da estratégia Ethernet da NVIDIA com o Spectrum-X, que visa estruturas de IA com agendamento/CC proprietários, a Broadcom prioriza a abertura "UEC-first", além da escala de switches Tomahawk/Jericho e da amplitude do ecossistema de óptica comercial. No entanto, para muitos CSPs, como AWS e Google, que implantam hardware personalizado, o UEC pode não ser um forte argumento de venda. Embora a implantação de hardware personalizado possa causar alguma dor de cabeça, eles acreditam que estar no controle é mais crítico do que a conformidade com o UEC.

Intel, AMD (Pensando), Marvell e NVIDIA fornecem soluções concorrentes de NIC Ethernet, SmartNIC e DPU para clusters de IA, com melhorias no RoCEv2 e descarregamento de host. O Thor Ultra se destaca por oferecer taxa de linha de 800G, multicaminho em nível de pacote com posicionamento fora de ordem, retransmissões de SACK de hardware e um mecanismo de controle de congestionamento programável compatível com UEC.

O Tomahawk 6 e o ​​Jericho da Broadcom são líderes em Ethernet comercial em hiperescala. O Thor Ultra oferece uma infraestrutura de IA Ethernet abrangente. Para operadoras que hesitam em adotar ecossistemas de fornecedor único, a conformidade com a UEC e a interoperabilidade com outros fornecedores importantes proporcionam flexibilidade, permitindo que as placas de rede da Broadcom funcionem com vários switches UEC ou vice-versa.

O Thor Ultra aumenta a viabilidade da Ethernet para IA em mais de 100,000 nós ao abordar os principais desafios do RoCE e promover uma abordagem baseada em padrões, em vez de depender da estrutura de um único fornecedor.

Projeto de Data Center de IA

Os recursos do Thor Ultra levam os arquitetos a realizar algumas mudanças de design, que incluem:

• Padronização de tecidos na UEC: Antecipe projetos de referência que definem NICs e switches compatíveis com UEC, unificando padrões de sinalização de congestionamento, telemetria e confiabilidade entre fornecedores. Isso minimiza os desafios de integração e simplifica a aquisição de múltiplas fontes.
• Os pods de IA com Ethernet first apresentam latência de cauda previsível por meio de multicaminho em nível de pacote e suporte para posicionamento fora de ordem. Esses projetos de pod utilizam placas de rede de 800G conectadas por meio de pistas SerDes de 100G/200G a switches ToR/leaf, sobrepostos a estruturas ECMP profundas. Essa configuração permite que os projetistas sejam mais agressivos com a diversidade de caminhos e a sobrescrição, mantendo baixas latências de p99 e p99.9.
• Controle de congestionamento programável como um botão operacional: Com o CC rodando em silício NIC, mas programável, os operadores podem se adaptar às fases da carga de trabalho (treinamento paralelo de dados vs. inferência paralela de pipeline) e às condições de estrutura sem trocas de hardware. Conte com testes A/B de esquemas baseados em receptor vs. transmissor e controle de malha fechada usando telemetria UEC.
• Caminhos de dados de host mais simples e eficiência PCIe: O posicionamento fora de ordem na memória XPU e no SACK de hardware reduz o envolvimento da CPU/XPU na reordenação e recuperação, liberando ciclos do host e suavizando a utilização da largura de banda PCIe. Isso é importante para servidores com GPU/acelerador que já operam no limite dos envelopes de largura de banda PCIe e de memória.
• Segurança incorporada ao NIC: Criptografia de taxa de linha, inicialização segura e atestado de hardware facilitam a conformidade em clusters multilocatários, especialmente ao compartilhar malha entre locatários de treinamento e inferência ou ao particionar entre equipes internas.
• Cabeamento e energia TCO: DACs de cobre passivos de até 5 m para execuções de NIC para ToR podem reduzir os orçamentos de energia óptica e simplificar os térmicos em nível de rack.
• Telemetria operacional e SLOs: Primitivas de telemetria do UEC, como corte de pacotes e sinais de congestionamento explícitos, permitem um gerenciamento de SLO mais rigoroso e RCA mais rápido em escala. Integrações em pipelines NetOps/AI Ops existentes serão um critério de seleção.

desenvolvimento

O Thor Ultra suporta configurações SerDes de 100G/200G, é fornecido como um chiplet/IP para integrações personalizadas e como placas PCIe e OCP 3.0 padrão. Todas as variantes compartilham um conjunto unificado de ferramentas de firmware, driver e software para otimizar as operações da frota. A Broadcom posiciona o Thor Ultra para ser integrado ao Tomahawk 6, com compatibilidade declarada para switches compatíveis com UEC de outros fornecedores.

A Broadcom apresenta o Thor Ultra como um avanço significativo em Ethernet para IA. Esta placa de rede 800G oferece suporte total a UEC e recursos RDMA avançados, com foco em desempenho, escalabilidade e abertura. Ela aprimora a estratégia Ethernet para IA ao fornecer uma placa de rede 800G que aborda as principais limitações do RoCE tradicional em hiperescala, incluindo a ausência de multicaminho em nível de pacote, entrega em ordem não confiável, retransmissões lentas e controle de congestionamento frágil.

Disponibilidade

A Broadcom está testando o Thor Ultra com clientes selecionados.