Broadcom Thor Ultra : carte réseau Ethernet 800 G AI compatible UEC pour une extension de plus de 100 000 XPU

Broadcom a présenté Thor Ultra, la première carte réseau Ethernet IA 800G du secteur entièrement conforme aux spécifications de l'Ultra Ethernet Consortium (UEC). Conçue pour les clusters de plus de 100 000 XPU, elle cible les goulots d'étranglement qui limitent le RDMA traditionnel, en intégrant le multipathing au niveau des paquets, le placement des données dans le désordre, la retransmission matérielle basée sur SACK et un pipeline de contrôle de congestion entièrement programmable.

La carte réseau s'intègre parfaitement à Broadcom Tomahawk 6 et est compatible avec toute la gamme de commutateurs conformes à la norme UEC. Broadcom met en avant ses fonctionnalités de sécurité, notamment le chiffrement PSP à débit de ligne, le démarrage sécurisé et l'attestation. La carte réseau offre également une polyvalence de déploiement avec SerDes 100G/200G et prend en charge divers modèles d'utilisation, notamment les cartes chiplet, IP, PCIe et OCP 3.0. Thor Ultra est un composant innovant, haut débit et compatible avec la télémétrie, adapté aux infrastructures d'IA Ethernet.

Le RDMA pour l'IA a atteint ses limites

Les centres de données d'IA passent de processus prévisibles de type HPC à des tâches d'IA imprévisibles, sporadiques et distribuées, incluant l'entraînement, le réglage fin et l'inférence à grande échelle. Dans ces conditions, le RDMA traditionnel (utilisé dans de nombreuses implémentations RoCE) subit d'importantes contraintes. Parmi les contraintes du RDMA, on peut citer :

• L'absence de véritable multi-chemin au niveau des paquets oblige les flux de données à n'utiliser qu'un seul chemin, ce qui augmente la latence de la queue lors des événements incast et des micro-rafales.
• Les exigences de placement dans l'ordre entravent l'utilisation optimale du PCIe lorsque les paquets arrivent hors séquence, provoquant des blocages et un blocage en tête de file au niveau de l'hôte.
• Les retransmissions Go-Back-N augmentent la congestion et entraînent un gaspillage de bande passante, et la récupération après les pertes est lente.
• Le réglage du contrôle de la congestion sur les structures feuille-épine à l'échelle de 100 000 nœuds est un défi et varie souvent selon le fournisseur.

Thor Ultra surmonte ces limitations en alignant plus étroitement la sémantique RDMA sur les exigences des structures d'IA à grande échelle, en prenant en charge une distribution de charge à granularité fine, une tolérance de réorganisation, une récupération rapide des pertes et un contrôle de congestion programmable qui s'adapte à l'évolution de l'UEC.

Architecture et fonctionnalités

Thor Ultra est conçu pour ancrer les structures Ethernet IA conformes à la norme UEC, grâce à une carte réseau qui élimine les goulots d'étranglement côté hôte et côté structure. Thor Ultra propose les fonctionnalités suivantes :

• Le pipeline RDMA de Thor Ultra utilise le multipathing au niveau des paquets pour répartir le trafic sur plusieurs chemins et prend en charge les paquets désordonnés directement dans la mémoire XPU. Il garantit la fiabilité grâce au SACK et aux retransmissions, et dispose d'un contrôle de congestion entièrement programmable prenant en charge divers algorithmes pour l'unification et la flexibilité des politiques.
• Thor Ultra a privilégié la conformité UEC complète, prenant en charge les comportements de fiabilité, de signalisation de congestion et de télémétrie. Compatible avec Broadcom Tomahawk 6 et d'autres commutateurs UEC, il favorise une approche Ethernet ouverte pour éviter le verrouillage et permettre des structures multi-fournisseurs.
• La sécurité au débit de ligne de Thor Ultra comprend un cryptage/décryptage accéléré par le matériel, un démarrage sécurisé avec un micrologiciel signé et une attestation de périphérique, garantissant l'intégrité de la chaîne d'approvisionnement et de l'exécution dans les clusters d'IA multi-locataires.
• Les fonctionnalités de télémétrie compatibles UEC évolutives, telles que la réduction des paquets et la signalisation de congestion explicite, sont prises en charge, améliorant l'observabilité, le réglage du contrôle de congestion en boucle fermée et l'isolation rapide des pannes dans les structures évolutives.
• La carte réseau prend en charge les configurations SerDes 100G et 200G pour une flexibilité de port et des options de mise à niveau. Elle utilise des convertisseurs N/A passifs en cuivre à haut rendement thermique jusqu'à cinq mètres pour les connexions en rack à courte portée, réduisant ainsi la consommation d'énergie et les coûts. Les modèles incluent des chipsets/IP pour cartes personnalisées et des formats PCIe et OCP 3.0 standard, partageant tous le firmware et les outils pour une gestion simplifiée.

Ethernet AI Fabrics vs. alternatives propriétaires

Le lancement de Thor Ultra s'inscrit dans la lignée des principaux enjeux concurrentiels. Les interconnexions IA propriétaires incluent InfiniBand et des superpositions Ethernet spécifiques aux fournisseurs. Les solutions InfiniBand de NVIDIA, telles que ConnectX/BlueField et les commutateurs Quantum, offrent des fonctionnalités telles que SHARP, le routage adaptatif et le contrôle optimisé de la congestion. Cependant, elles impliquent une dépendance vis-à-vis du fournisseur et un coût total de possession (TCO) plus élevé. La conformité UEC et les capacités RDMA avancées de Thor Ultra sont conçues pour égaler, voire surpasser, les performances de latence et de débit de queue de transmission avec l'Ethernet standard. Les acheteurs bénéficient ainsi d'une alternative standardisée, garantissant une flexibilité d'approvisionnement et des chaînes d'outils familières.

Contrairement à la stratégie Ethernet de NVIDIA avec Spectrum-X, qui cible les structures IA avec une planification/un contrôle de cohérence propriétaires, Broadcom privilégie l'ouverture « UEC », la mise à l'échelle des commutateurs Tomahawk/Jericho et l'étendue de l'écosystème optique marchand. Cependant, pour de nombreux CSP, comme AWS et Google, qui déploient du matériel personnalisé, l'UEC peut ne pas constituer un argument de vente convaincant. Bien que le déploiement de matériel personnalisé puisse être source de frustration, ils estiment que la maîtrise du contrôle est plus essentielle que la conformité UEC.

Intel, AMD (Pensando), Marvell et NVIDIA proposent des solutions concurrentes de cartes réseau Ethernet, de cartes réseau intelligentes et de processeurs de données (DPU) pour les clusters d'IA, avec des améliorations RoCEv2 et des délestages d'hôte. Thor Ultra se distingue par son débit de ligne de 800 G, le multipathing au niveau des paquets avec placement désordonné, les retransmissions matérielles SACK et un moteur de contrôle de congestion programmable compatible avec l'UEC.

Les solutions Tomahawk 6 et Jericho de Broadcom sont leaders dans le domaine de l'Ethernet marchand hyperscale. Thor Ultra offre une infrastructure Ethernet IA complète. Pour les opérateurs réticents aux écosystèmes mono-fournisseurs, la conformité UEC et l'interopérabilité avec d'autres fournisseurs majeurs offrent une grande flexibilité, permettant aux cartes réseau Broadcom de fonctionner avec différents commutateurs UEC et inversement.

Thor Ultra améliore la viabilité d'Ethernet pour l'IA sur plus de 100 000 nœuds en relevant les principaux défis RoCE et en promouvant une approche basée sur les normes, plutôt que de s'appuyer sur la structure d'un seul fournisseur.

Conception de centre de données IA

Les capacités de Thor Ultra incitent les architectes à procéder à quelques changements de conception, notamment :

• Normalisation des tissus sur UEC : Anticipez les conceptions de référence définissant les cartes réseau et les commutateurs conformes à l'UEC, unifiant ainsi les normes de signalisation de congestion, de télémétrie et de fiabilité entre les fournisseurs. Cela minimise les difficultés d'intégration et simplifie les achats multi-sources.
• Les pods IA Ethernet-first présentent une latence de queue prévisible grâce à Multipathing au niveau des paquets et prise en charge du placement désordonné. Ces conceptions de pods utilisent des cartes réseau 800G connectées via des voies SerDes 100G/200G à des commutateurs ToR/leaf, superposés sur des structures ECMP profondes. Cette configuration permet aux concepteurs d'être plus agressifs en matière de diversité de chemin et de surabonnement, tout en maintenant de faibles latences p99 et p99.9.
• Contrôle de congestion programmable comme bouton opérationnel : Grâce à la technologie CC fonctionnant sur le silicium de la carte réseau, mais programmable, les opérateurs peuvent s'adapter aux phases de charge de travail (apprentissage parallèle des données vs. inférence parallèle du pipeline) et aux conditions de la structure sans changement de matériel. Attendez-vous à des tests A/B des schémas basés sur le récepteur et l'émetteur, ainsi qu'à un contrôle en boucle fermée utilisant la télémétrie UEC.
• Chemins de données hôtes plus simples et efficacité PCIeLe placement désordonné dans la mémoire XPU et le SACK matériel réduisent l'implication du CPU/XPU dans la réorganisation et la récupération, libérant ainsi les cycles hôtes et lissant l'utilisation de la bande passante PCIe. Ceci est important pour les serveurs GPU/accélérateurs fonctionnant déjà à la limite des enveloppes de bande passante PCIe et mémoire.
• Sécurité intégrée à la carte réseau : Le chiffrement à débit linéaire, le démarrage sécurisé et l'attestation matérielle facilitent la conformité dans les clusters multi-locataires, en particulier lors du partage de la structure entre les locataires de formation et d'inférence ou lors du partitionnement entre les équipes internes.
• Câblage et coût total de possession de l'alimentation:Les DAC passifs en cuivre jusqu'à 5 m pour les exécutions NIC-ToR peuvent réduire les budgets de puissance optique et simplifier les thermiques au niveau du rack.
• Télémétrie opérationnelle et SLOLes primitives de télémétrie UEC, telles que la réduction des paquets et les signaux de congestion explicites, permettent une gestion plus précise des SLO et une RCA plus rapide à grande échelle. L'intégration aux pipelines NetOps/AI Ops existants sera un critère de sélection.

Déploiement

Thor Ultra prend en charge les configurations SerDes 100G/200G, est livré sous forme de chiplet/IP pour des intégrations personnalisées et de cartes PCIe et OCP 3.0 standard. Toutes les variantes partagent une chaîne d'outils logicielle, de micrologiciel et de pilote unifiée pour optimiser les opérations de la flotte. Broadcom positionne Thor Ultra comme un intégrateur complémentaire à Tomahawk 6, avec une compatibilité garantie avec les commutateurs UEC d'autres fournisseurs.

Broadcom présente Thor Ultra, une avancée majeure dans l'Ethernet IA. Cette carte réseau 800G prend entièrement en charge l'UEC et offre des fonctionnalités RDMA avancées, privilégiant les performances, l'évolutivité et l'ouverture. Elle optimise l'offre Ethernet pour l'IA en proposant une carte réseau 800G qui remédie aux principales limitations du RoCE traditionnel à très grande échelle, notamment l'absence de multipathing au niveau des paquets, une distribution ordonnée peu fiable, des retransmissions lentes et un contrôle de congestion fragile.

Disponibilité

Broadcom propose des échantillons du Thor Ultra à certains clients.