Broadcom Thor Ultra: UEC-compatibele 800G AI Ethernet NIC voor scale-out van meer dan 100 XPU's

Broadcom introduceerde Thor Ultra, de eerste 800G AI Ethernet NIC in de branche die volledig voldoet aan de specificaties van het Ultra Ethernet Consortium (UEC). Deze NIC is ontworpen voor clusters met meer dan 100,000 XPU's. Thor Ultra pakt de knelpunten aan die traditionele RDMA belemmeren, met multipathing op pakketniveau, out-of-order data placement, hardwarematige SACK-gebaseerde retransmissie en een volledig programmeerbare congestiecontrole-pipeline.

De netwerkkaart integreert naadloos met de Broadcom Tomahawk 6 en is compatibel met elke UEC-compatibele switch. Broadcom benadrukt de beveiligingsfuncties, waaronder line-rate PSP-encryptie, veilig opstarten en attestation. De netwerkkaart biedt ook veelzijdige implementatiemogelijkheden met 100G/200G SerDes en ondersteunt diverse gebruiksmodellen, waaronder chiplet-, IP-, PCIe- en OCP 3.0-kaarten. Thor Ultra fungeert als een vooruitstrevende, telemetrie-geschikte component met hoge bandbreedte, geschikt voor Ethernet-gebaseerde AI-infrastructuren.

RDMA voor AI heeft zijn grenzen bereikt

AI-datacenters maken de overgang van voorspelbare HPC-processen naar onvoorspelbare, onregelmatige en gedistribueerde AI-taken, waaronder training, finetuning en grootschalige inferentie. Onder deze omstandigheden ondervindt traditionele RDMA (zoals gebruikt in veel RoCE-implementaties) aanzienlijke druk. Onder andere de volgende factoren dragen bij aan de RDMA-beperkingen:

• Het ontbreken van echte multipathing op pakketniveau zorgt ervoor dat gegevensstromen slechts één pad gebruiken, waardoor de taillatentie tijdens incast-gebeurtenissen en microbursts toeneemt.
• Vereisten voor plaatsing in de juiste volgorde belemmeren een optimaal PCIe-gebruik wanneer pakketten niet in de juiste volgorde aankomen. Dit leidt tot blokkades en head-of-line-blokkering bij de host.
• Go-Back-N-hertransmissies leiden tot meer congestie en verspilling van bandbreedte. Bovendien duurt het herstel van verliezen lang.
• Het afstemmen van congestiecontrole over leaf-spine-stoffen op de schaal van 100 knooppunten is een uitdaging en verschilt vaak per leverancier.

Thor Ultra overwint deze beperkingen door de RDMA-semantiek beter af te stemmen op de vereisten van grootschalige AI-fabrics. Dit zorgt voor ondersteuning van fijnmazige lastverdeling, tolerantie voor herordening, snel herstel van verliezen en programmeerbare congestiecontrole die zich aanpast naarmate UEC evolueert.

Architectuur en functies

Thor Ultra is ontworpen om UEC-compatibele AI Ethernet-fabrics te verankeren en is voorzien van een netwerkkaart die knelpunten aan zowel de host- als de fabriczijde elimineert. De functies van Thor Ultra omvatten:

• De RDMA-pijplijn van Thor Ultra maakt gebruik van multipathing op pakketniveau om verkeer over meerdere paden te verdelen en ondersteunt out-of-order pakketten rechtstreeks in het XPU-geheugen. Het garandeert betrouwbaarheid via SACK en hertransmissies en beschikt over een volledig programmeerbare congestiecontrole die verschillende algoritmen ondersteunt voor beleidsunificatie en flexibiliteit.
• Thor Ultra gaf prioriteit aan volledige UEC-compliance en ondersteunde gedragingen voor betrouwbaarheid, congestiesignalering en telemetrie. Het is compatibel met Broadcom Tomahawk 6 en andere UEC-switches en bevordert een open Ethernet-benadering om lock-in te voorkomen en fabrics van verschillende leveranciers mogelijk te maken.
• De beveiliging van Thor Ultra omvat hardwareversnelde encryptie/decryptie, veilig opstarten met ondertekende firmware en apparaatattestatie, waarmee de integriteit van de toeleveringsketen en runtime in AI-clusters met meerdere tenants wordt gewaarborgd.
• Scale-out UEC-compatibele telemetriefuncties, zoals pakkettrimming en expliciete congestiesignalering, worden ondersteund. Dit verbetert de observatie, de afstemming van gesloten-luscongestiecontrole en de snelle isolatie van fouten in scale-out-fabrics.
• De NIC ondersteunt 100G en 200G SerDes-configuraties voor flexibele poort- en upgrademogelijkheden. Hij maakt gebruik van thermisch efficiënte passieve koperen DAC's tot vijf meter voor rackverbindingen met een kort bereik, wat het energieverbruik en de kosten verlaagt. De modellen zijn voorzien van chiplet/IP voor aangepaste moederborden en standaard PCIe- en OCP 3.0-form factors, die allemaal firmware en tools delen voor eenvoudiger beheer.

Ethernet AI Fabrics versus gepatenteerde alternatieven

De lancering van Thor Ultra sluit aan bij belangrijke concurrentieaspecten. Gepatenteerde AI-interconnects omvatten InfiniBand en leverancierspecifieke Ethernet-overlays. NVIDIA's InfiniBand-oplossingen, zoals ConnectX/BlueField en Quantum-switches, bieden functies zoals SHARP, adaptieve routing en geoptimaliseerde congestiecontrole. Deze gaan echter gepaard met leveranciersbinding en hogere totale eigendomskosten (TCO). De UEC-compliance en geavanceerde RDMA-mogelijkheden van Thor Ultra zijn ontworpen om tail-latentie en throughputprestaties met standaard Ethernet te evenaren of te overtreffen. Dit biedt kopers een op standaarden gebaseerd alternatief, wat zorgt voor flexibiliteit in de levering en vertrouwde toolchains.

In tegenstelling tot NVIDIA's Ethernet-strategie met Spectrum-X, die zich richt op AI-fabrics met gepatenteerde scheduling/CC, biedt Broadcom "UEC-first" openheid, plus de schaal van Tomahawk/Jericho-switches en een breed ecosysteem voor merchant optics. Voor veel CSP's, zoals AWS en Google, die maatwerkhardware implementeren, is UEC echter mogelijk geen sterk verkoopargument. Hoewel de implementatie van maatwerkhardware wellicht wat frustratie kan opleveren, zijn ze van mening dat controle belangrijker is dan UEC-compliance.

Intel, AMD (Pensando), Marvell en NVIDIA bieden concurrerende Ethernet NIC-, SmartNIC- en DPU-oplossingen voor AI-clusters, met RoCEv2-verbeteringen en host-offloads. Thor Ultra onderscheidt zich door een lijnsnelheid van 800G, multipathing op pakketniveau met out-of-order placement, hardwarematige SACK-hertransmissies en een programmeerbare congestiecontrole-engine die compatibel is met UEC.

Broadcoms Tomahawk 6 en Jericho zijn toonaangevend in hyperscale merchant Ethernet. Thor Ultra biedt een uitgebreide Ethernet AI-infrastructuur. Voor operators die aarzelen over ecosystemen met één leverancier, bieden UEC-compliance en interoperabiliteit met andere topleveranciers flexibiliteit, waardoor Broadcom NIC's met verschillende UEC-switches kunnen werken of andersom.

Thor Ultra vergroot de haalbaarheid van Ethernet voor AI bij meer dan 100,000 knooppunten door belangrijke RoCE-uitdagingen aan te pakken en een op standaarden gebaseerde aanpak te bevorderen, in plaats van te vertrouwen op de infrastructuur van één enkele leverancier.

AI-datacenterontwerp

De mogelijkheden van Thor Ultra stimuleren architecten tot een aantal ontwerpwijzigingen, waaronder:

• Stoffenstandaardisatie op UEC: Anticipeer op referentieontwerpen die UEC-conforme netwerkkaarten en switches definiëren en congestiesignalering, telemetrie en betrouwbaarheidsnormen van leveranciers verenigen. Dit minimaliseert integratie-uitdagingen en vereenvoudigt de inkoop bij meerdere leveranciers.
• Ethernet-first AI-pods bieden een voorspelbare staartlatentie via Multipathing op pakketniveau en ondersteuning voor out-of-order plaatsing. Deze pod-ontwerpen maken gebruik van 800G NIC's die via 100G/200G SerDes-lanes verbonden zijn met ToR/leaf-switches, gelaagd over diepe ECMP-netwerken. Deze configuratie stelt ontwerpers in staat om agressiever te werk te gaan met paddiversiteit en oversubscription, terwijl de p99- en p99.9-latenties laag blijven.
• Programmeerbare congestiecontrole als bedieningsknop: Met CC draaiend in NIC-silicium maar programmeerbaar, kunnen operators zich aanpassen aan werklastfasen (dataparallelle training versus pipeline-parallelle inferentie) en fabric-omstandigheden zonder hardware te hoeven verwisselen. Verwacht A/B-testen van ontvanger- versus zendergebaseerde schema's en closed-loop-besturing met UEC-telemetrie.
• Eenvoudigere host-gegevenspaden en PCIe-efficiëntie: Out-of-order plaatsing in XPU-geheugen en hardware SACK vermindert de betrokkenheid van CPU/XPU bij herordening en herstel, waardoor hostcycli worden vrijgemaakt en het PCIe-bandbreedtegebruik wordt gestroomlijnd. Dit is van belang voor GPU/acceleratorservers die al aan de rand van PCIe- en geheugenbandbreedte-enveloppen draaien.
• Beveiliging ingebouwd in de netwerkkaart: Versleuteling op lijnsnelheid, veilig opstarten en hardware-attestatie vereenvoudigen de naleving in clusters met meerdere tenants, vooral bij het delen van infrastructuur tussen training- en inferentietenants of bij partitionering over interne teams.
• Bekabeling en stroom-TCO: Passieve koperen DAC's tot 5 m voor NIC-naar-ToR-runs kunnen het budget voor optica-energie verlagen en de thermiek op rackniveau vereenvoudigen.
• Operationele telemetrie en SLO's: UEC-telemetrie-primitieven, zoals pakkettrimming en expliciete congestiesignalen, maken een strakker SLO-beheer en snellere RCA op schaal mogelijk. Integraties in bestaande NetOps/AI Ops-pipelines zullen een selectiecriterium zijn.

Deployment

Thor Ultra ondersteunt 100G/200G SerDes-configuraties, wordt geleverd als chiplet/IP voor aangepaste integraties en als standaard PCIe- en OCP 3.0-kaarten. Alle varianten delen een uniforme firmware-, driver- en softwaretoolchain om de werking van fleets te stroomlijnen. Broadcom positioneert Thor Ultra als een 'drop-in' naast Tomahawk 6, met compatibiliteit met UEC-compatibele switches van andere leveranciers.

Broadcom introduceert Thor Ultra als een belangrijke doorbraak in AI Ethernet. Deze 800G NIC ondersteunt UEC volledig en biedt geavanceerde RDMA-mogelijkheden, gericht op prestaties, schaalbaarheid en openheid. Het verbetert de Ethernet-voor-AI-strategie met een 800G NIC die de belangrijkste beperkingen van traditionele RoCE op hyperscale aanpakt, waaronder een gebrek aan multipathing op pakketniveau, onbetrouwbare in-order delivery, trage hertransmissies en kwetsbare congestiecontrole.

Beschikbaarheid

Broadcom test de Thor Ultra bij een aantal geselecteerde klanten.