Broadcom Thor Ultra: UEC-konforme 800G AI Ethernet-NIC für 100K+ XPU Scale-Out

Broadcom stellte Thor Ultra vor, die branchenweit erste 800G AI Ethernet-NIC, die vollständig den Spezifikationen des Ultra Ethernet Consortium (UEC) entspricht. Sie wurde für Cluster mit mehr als 100,000 XPUs entwickelt. Thor Ultra behebt die Engpässe, die herkömmliches RDMA einschränken, und bietet Multipathing auf Paketebene, Out-of-Order-Datenplatzierung, hardwarebasierte SACK-basierte Neuübertragung und eine vollständig programmierbare Pipeline zur Überlastungskontrolle.

Die Netzwerkkarte lässt sich nahtlos in Broadcom Tomahawk 6 integrieren und ist mit allen UEC-kompatiblen Switches kompatibel. Broadcom hebt seine Sicherheitsfunktionen hervor, darunter Line-Rate-PSP-Verschlüsselung, Secure Boot und Attestierung. Die Netzwerkkarte bietet außerdem vielseitige Einsatzmöglichkeiten mit 100G/200G SerDes und unterstützt verschiedene Nutzungsmodelle, darunter Chiplet-, IP-, PCIe- und OCP 3.0-Karten. Thor Ultra dient als zukunftsweisende, bandbreitenstarke und telemetriefähige Komponente, die für Ethernet-basierte KI-Infrastrukturen geeignet ist.

RDMA für KI ist an seine Grenzen gestoßen

KI-Rechenzentren wechseln von vorhersehbaren HPC-Prozessen zu unvorhersehbaren, stoßweisen und verteilten KI-Aufgaben, darunter Training, Feinabstimmung und groß angelegte Inferenz. Unter diesen Bedingungen wird herkömmliches RDMA (wie es in vielen RoCE-Implementierungen verwendet wird) stark belastet. Zu den RDMA-Einschränkungen tragen unter anderem folgende Faktoren bei:

• Das Fehlen echter Mehrwegeverbindungen auf Paketebene zwingt Datenflüsse dazu, nur einen Pfad zu verwenden, was die Latenzzeit bei Incast-Ereignissen und Mikrobursts erhöht.
• Die Anforderungen an die geordnete Platzierung verhindern eine optimale PCIe-Auslastung, wenn Pakete nicht in der richtigen Reihenfolge eintreffen, was zu Verzögerungen und Head-of-Line-Blockierungen beim Host führt.
• Go-Back-N-Wiederholungen erhöhen die Überlastung und führen zu Bandbreitenverschwendung. Die Wiederherstellung nach Verlusten erfolgt langsam.
• Die Feinabstimmung der Überlastungskontrolle über Leaf-Spine-Fabrics im 100-Knoten-Maßstab ist eine Herausforderung und variiert häufig je nach Anbieter.

Thor Ultra überwindet diese Einschränkungen, indem es die RDMA-Semantik stärker an die Anforderungen groß angelegter KI-Strukturen anpasst und eine feinkörnige Lastverteilung, Neuordnungstoleranz, schnelle Verlustwiederherstellung und programmierbare Überlastungskontrolle unterstützt, die sich an die Weiterentwicklung von UEC anpasst.

Architektur und Funktionen

Thor Ultra wurde für die Verankerung UEC-konformer KI-Ethernet-Fabrics entwickelt und verfügt über eine Netzwerkkarte, die Engpässe sowohl auf Host- als auch auf Fabric-Seite beseitigt. Zu den Funktionen von Thor Ultra gehören:

• Die RDMA-Pipeline von Thor Ultra nutzt Multipathing auf Paketebene, um den Datenverkehr auf mehrere Pfade zu verteilen, und unterstützt Out-of-Order-Pakete direkt im XPU-Speicher. Sie gewährleistet Zuverlässigkeit durch SACK und erneute Übertragungen und verfügt über eine vollständig programmierbare Überlastungskontrolle, die verschiedene Algorithmen zur Richtlinienvereinheitlichung und Flexibilität unterstützt.
• Thor Ultra legt Wert auf vollständige UEC-Konformität und unterstützt Verhaltensweisen für Zuverlässigkeit, Überlastungssignalisierung und Telemetrie. Es ist mit Broadcom Tomahawk 6 und anderen UEC-Switches kompatibel und fördert einen offenen Ethernet-Ansatz, um Lock-in zu vermeiden und Fabrics verschiedener Anbieter zu ermöglichen.
• Die Line-Rate-Sicherheit von Thor Ultra umfasst hardwarebeschleunigte Verschlüsselung/Entschlüsselung, sicheres Booten mit signierter Firmware und Gerätebescheinigung, wodurch die Integrität der Lieferkette und Laufzeit in KI-Clustern mit mehreren Mandanten gewährleistet wird.
• Es werden UEC-kompatible Scale-Out-Telemetriefunktionen wie Pakettrimmung und explizite Überlastungssignalisierung unterstützt, wodurch die Beobachtbarkeit, die Feinabstimmung der Überlastungskontrolle im geschlossenen Regelkreis und die schnelle Fehlerisolierung in Scale-Out-Fabrics verbessert werden.
• Die Netzwerkkarte unterstützt 100G- und 200G-SerDes-Konfigurationen für flexible Port- und Upgrade-Optionen. Sie nutzt thermisch effiziente passive Kupfer-DACs mit einer Reichweite von bis zu fünf Metern für Rack-Verbindungen mit kurzer Reichweite und reduziert so Stromverbrauch und Kosten. Die Modelle umfassen Chiplet/IP für kundenspezifische Boards sowie Standard-PCIe- und OCP 3.0-Formfaktoren. Alle Modelle nutzen die gleiche Firmware und Tools für eine einfachere Verwaltung.

Ethernet-KI-Fabrics vs. proprietäre Alternativen

Die Markteinführung von Thor Ultra trägt wichtigen Wettbewerbsaspekten Rechnung. Zu den proprietären KI-Verbindungen gehören InfiniBand und herstellerspezifische Ethernet-Overlays. NVIDIAs InfiniBand-Lösungen, wie ConnectX/BlueField und Quantum-Switches, bieten Funktionen wie SHARP, adaptives Routing und optimierte Staukontrolle. Allerdings sind diese mit einer Herstellerbindung und höheren Gesamtbetriebskosten (TCO) verbunden. Die UEC-Konformität und die erweiterten RDMA-Funktionen von Thor Ultra sind darauf ausgelegt, die Tail-Latenz und Durchsatzleistung von Standard-Ethernet zu erreichen oder zu übertreffen. Dies bietet Käufern eine standardbasierte Alternative, die Lieferflexibilität und vertraute Toolchains gewährleistet.

Im Gegensatz zu NVIDIAs Ethernet-Strategie mit Spectrum-X, die auf KI-Fabrics mit proprietärer Planung/CC abzielt, setzt Broadcom auf „UEC-first“-Offenheit, Tomahawk-/Jericho-Switch-Skalierung und ein breites Ökosystem für Merchant Optics. Für viele CSPs wie AWS und Google, die kundenspezifische Hardware einsetzen, ist UEC jedoch möglicherweise kein starkes Verkaufsargument. Obwohl der Einsatz kundenspezifischer Hardware zu Problemen führen kann, glauben sie, dass Kontrolle wichtiger ist als UEC-Konformität.

Intel, AMD (Pensando), Marvell und NVIDIA bieten konkurrierende Ethernet-NIC-, SmartNIC- und DPU-Lösungen für KI-Cluster mit RoCEv2-Verbesserungen und Host-Offloads an. Thor Ultra zeichnet sich durch eine Leitungsgeschwindigkeit von 800G, Multipathing auf Paketebene mit Out-of-Order-Platzierung, Hardware-SACK-Wiederholungen und eine programmierbare, mit UEC kompatible Überlastungssteuerungs-Engine aus.

Broadcoms Tomahawk 6 und Jericho sind führend im Bereich Hyperscale Merchant Ethernet. Thor Ultra bietet eine umfassende Ethernet-KI-Infrastruktur. Betreibern, die Ökosysteme mit nur einem Anbieter skeptisch gegenüberstehen, bieten UEC-Konformität und Interoperabilität mit anderen Top-Anbietern Flexibilität, sodass Broadcom-NICs mit verschiedenen UEC-Switches zusammenarbeiten können und umgekehrt.

Thor Ultra steigert die Eignung von Ethernet für KI an über 100,000 Knoten, indem es die wichtigsten RoCE-Herausforderungen angeht und einen standardbasierten Ansatz fördert, anstatt sich auf die Struktur eines einzelnen Anbieters zu verlassen.

KI-Rechenzentrumsdesign

Die Fähigkeiten von Thor Ultra veranlassen Architekten zu einigen Designänderungen, darunter:

• Stoffstandardisierung auf UEC: Erwarten Sie Referenzdesigns, die UEC-konforme NICs und Switches definieren und die Standards für Überlastungssignalisierung, Telemetrie und Zuverlässigkeit zwischen den Anbietern vereinheitlichen. Dies minimiert Integrationsprobleme und vereinfacht die Beschaffung aus mehreren Quellen.
• Ethernet-first AI-Pods bieten vorhersehbare Tail-Latenz durch Multipathing auf Paketebene und Unterstützung für Out-of-Order-Platzierung. Diese Pod-Designs nutzen 800G-NICs, die über 100G/200G-SerDes-Lanes mit ToR/Leaf-Switches verbunden sind und über tiefe ECMP-Fabrics geschichtet sind. Dieses Setup ermöglicht Designern eine aggressivere Pfaddiversität und Überbelegung bei gleichzeitiger Beibehaltung niedriger p99- und p99.9-Latenzen.
• Programmierbare Staukontrolle als Bedienknopf: Da CC auf NIC-Chips läuft, aber programmierbar ist, können sich Bediener an Workload-Phasen (datenparalleles Training vs. pipelineparallele Inferenz) und Fabric-Bedingungen anpassen, ohne die Hardware austauschen zu müssen. Erwarten Sie A/B-Tests von empfänger- und senderbasierten Schemata und Closed-Loop-Steuerung mithilfe der UEC-Telemetrie.
• Einfachere Host-Datenpfade und PCIe-Effizienz: Out-of-Order-Platzierung im XPU-Speicher und Hardware-SACK reduzieren die CPU-/XPU-Beteiligung an Neuordnung und Wiederherstellung, geben Host-Zyklen frei und optimieren die PCIe-Bandbreitenauslastung. Dies ist wichtig für GPU-/Beschleuniger-Server, die bereits am Rande der PCIe- und Speicherbandbreite laufen.
• In die Netzwerkkarte integrierte Sicherheit: Line-Rate-Verschlüsselung, sicherer Start und Hardware-Attestierung erleichtern die Compliance in Multi-Tenant-Clustern, insbesondere bei der gemeinsamen Nutzung von Fabric zwischen Trainings- und Inferenz-Tenants oder bei der Partitionierung zwischen internen Teams.
• Gesamtbetriebskosten für Verkabelung und Stromversorgung: Passive Kupfer-DACs mit bis zu 5 m für NIC-zu-ToR-Verbindungen können die Leistungsbudgets der Optik senken und die Wärmeentwicklung auf Rack-Ebene vereinfachen.
• Operative Telemetrie und SLOs: UEC-Telemetrie-Primitive wie Paket-Trimming und explizite Überlastungssignale ermöglichen ein strafferes SLO-Management und schnellere RCA im großen Maßstab. Die Integration in bestehende NetOps/AI Ops-Pipelines wird ein Auswahlkriterium sein.

Einsatz

Thor Ultra unterstützt 100G/200G SerDes-Konfigurationen und wird als Chiplet/IP für individuelle Integrationen sowie als Standard-PCIe- und OCP 3.0-Karte ausgeliefert. Alle Varianten nutzen eine einheitliche Firmware, Treiber und Software-Toolchain zur Optimierung des Flottenbetriebs. Broadcom positioniert Thor Ultra als Ergänzung zum Tomahawk 6 und bietet die Kompatibilität mit UEC-kompatiblen Switches anderer Anbieter.

Broadcom präsentiert Thor Ultra als bedeutenden Durchbruch im Bereich AI Ethernet. Diese 800G-Netzwerkkarte unterstützt UEC vollständig und bietet erweiterte RDMA-Funktionen mit Fokus auf Leistung, Skalierbarkeit und Offenheit. Sie erweitert die Ethernet-für-KI-Strategie durch die Bereitstellung einer 800G-Netzwerkkarte, die wichtige Einschränkungen herkömmlicher RoCE im Hyperscale-Bereich behebt, darunter fehlendes Multipathing auf Paketebene, unzuverlässige In-Order-Zustellung, langsame erneute Übertragungen und eine instabile Überlastungskontrolle.

Verfügbarkeit

Broadcom testet den Thor Ultra bei ausgewählten Kunden.