Broadcom Thor Ultra: zgodna ze standardem UEC karta sieciowa 800G AI Ethernet dla skalowalności 100 tys. XPU

Firma Broadcom wprowadziła na rynek Thor Ultra, pierwszą w branży kartę sieciową AI Ethernet 800G, w pełni zgodną ze specyfikacjami Ultra Ethernet Consortium (UEC). Została ona zaprojektowana dla klastrów liczących ponad 100 000 jednostek XPU. Thor Ultra eliminuje wąskie gardła ograniczające tradycyjny protokół RDMA, dodając obsługę wielu ścieżek na poziomie pakietów, rozmieszczanie danych w nieuporządkowanej kolejności, sprzętową retransmisję opartą na SACK oraz w pełni programowalny potok kontroli przeciążenia.

Karta sieciowa bezproblemowo integruje się z przełącznikiem Broadcom Tomahawk 6 i jest kompatybilna z dowolną linią przełączników zgodnych ze standardem UEC. Broadcom podkreśla swoje funkcje bezpieczeństwa, takie jak szyfrowanie PSP z prędkością łącza, bezpieczny rozruch i atestacja. Karta sieciowa oferuje również wszechstronność wdrożenia dzięki interfejsowi SerDes 100G/200G i obsługuje różne modele użytkowania, w tym karty chiplet, IP, PCIe i OCP 3.0. Thor Ultra to przyszłościowy komponent o wysokiej przepustowości i obsłudze telemetrii, odpowiedni dla infrastruktur sztucznej inteligencji opartych na sieci Ethernet.

RDMA dla AI osiągnął swoje granice

Centra danych AI przechodzą od przewidywalnych procesów w stylu HPC do nieprzewidywalnych, dynamicznych i rozproszonych zadań AI, w tym trenowania, dostrajania i wnioskowania na dużą skalę. W tych warunkach tradycyjna technologia RDMA (stosowana w wielu implementacjach RoCE) jest poddawana znacznemu obciążeniu. Do ograniczeń RDMA przyczyniają się następujące czynniki:

• Brak rzeczywistego wielodrożności na poziomie pakietów sprawia, że ​​przepływy danych korzystają tylko z jednej ścieżki, co zwiększa opóźnienie ogonowe podczas zdarzeń incast i mikrotransmisji.
• Wymagania dotyczące kolejności rozmieszczania utrudniają optymalne wykorzystanie PCIe, gdy pakiety docierają w niewłaściwej kolejności. Powoduje to przestoje i blokowanie sygnału na początku linii u hosta.
• Retransmisje typu Go-Back-N zwiększają przeciążenie i prowadzą do marnowania przepustowości, a odzyskiwanie strat jest powolne.
• Dostrajanie kontroli przeciążenia w strukturach typu leaf-spine na skalę 100 tys. węzłów jest trudne i często różni się w zależności od dostawcy.

Rozwiązanie Thor Ultra eliminuje te ograniczenia dzięki lepszemu dostosowaniu semantyki RDMA do wymagań rozbudowanych struktur sztucznej inteligencji, obsłudze szczegółowego rozkładu obciążenia, tolerancji na zmiany kolejności, szybkiemu odzyskiwaniu strat i programowalnej kontroli przeciążenia, która dostosowuje się do ewolucji UEC.

Architektura i funkcje

Thor Ultra został zaprojektowany do zakotwiczenia struktur AI Ethernet zgodnych ze standardem UEC, wyposażony w kartę sieciową, która eliminuje wąskie gardła zarówno po stronie hosta, jak i struktury. Funkcje Thor Ultra obejmują:

• Potok RDMA w Thor Ultra wykorzystuje wielościeżkowość na poziomie pakietów do dystrybucji ruchu na wiele ścieżek i obsługuje pakiety w nieprawidłowej kolejności bezpośrednio w pamięci XPU. Zapewnia niezawodność poprzez SACK i retransmisje oraz oferuje w pełni programowalną kontrolę przeciążenia, która obsługuje różne algorytmy w celu ujednolicenia polityki i zapewnienia elastyczności.
• Thor Ultra priorytetowo traktuje pełną zgodność z UEC, wspierając rozwiązania zapewniające niezawodność, sygnalizację przeciążenia i telemetrię. Jest kompatybilny z Broadcom Tomahawk 6 i innymi przełącznikami UEC, promując otwarte podejście Ethernet, aby uniknąć uzależnienia od jednego dostawcy i umożliwić tworzenie struktur opartych na mieszanych dostawcach.
• Bezpieczeństwo transmisji danych Thor Ultra obejmuje przyspieszane sprzętowo szyfrowanie/deszyfrowanie, bezpieczny rozruch z podpisanym oprogramowaniem sprzętowym i atestację urządzeń, gwarantując integralność łańcucha dostaw i środowiska uruchomieniowego w klastrach AI obsługujących wielu użytkowników.
• Obsługiwane są funkcje telemetryczne zgodne ze skalowalnym standardem UEC, takie jak przycinanie pakietów i jawne sygnalizowanie przeciążenia, co zwiększa możliwość obserwacji, dostrajanie kontroli przeciążenia w pętli zamkniętej i szybką izolację błędów w strukturach skalowalnych poziomo.
• Karta sieciowa obsługuje konfiguracje SerDes 100G i 200G, co zapewnia elastyczność portów i możliwości rozbudowy. Wykorzystuje ona energooszczędne, pasywne, miedziane przetworniki cyfrowo-analogowe (DAC) o zasięgu do pięciu metrów, co pozwala na połączenia w szafach rack o krótkim zasięgu, redukując zużycie energii i koszty. Modele zawierają chiplet/IP dla niestandardowych płyt głównych oraz standardowe formaty PCIe i OCP 3.0, z których wszystkie korzystają ze wspólnego oprogramowania sprzętowego i narzędzi, co ułatwia zarządzanie.

Sieci Ethernet AI Fabrics kontra zastrzeżone alternatywy

Wprowadzenie na rynek Thor Ultra jest zgodne z kluczowymi aspektami konkurencyjności. Własne interfejsy AI obejmują InfiniBand i nakładki Ethernet specyficzne dla danego dostawcy. Rozwiązania InfiniBand firmy NVIDIA, takie jak przełączniki ConnectX/BlueField i Quantum, oferują funkcje takie jak SHARP, adaptacyjne routowanie i zoptymalizowaną kontrolę przeciążenia. Wiąże się to jednak z uzależnieniem od dostawcy i wyższym całkowitym kosztem posiadania (TCO). Zgodność Thor Ultra z UEC i zaawansowane funkcje RDMA zostały zaprojektowane tak, aby dorównywać lub przewyższać opóźnienia końcowe i wydajność przepustowości standardowego Ethernetu. Oferuje to nabywcom alternatywę opartą na standardach, zapewniającą elastyczność dostaw i znane łańcuchy narzędzi.

W przeciwieństwie do strategii Ethernet firmy NVIDIA w modelu Spectrum-X, która koncentruje się na strukturach AI z zastrzeżonym harmonogramowaniem/CC, Broadcom stawia na otwartość „UEC first”, skalowalność przełączników Tomahawk/Jericho i szeroki ekosystem rozwiązań optycznych dla sprzedawców. Jednak dla wielu operatorów komunikacyjnych (CSP), takich jak AWS i Google, którzy wdrażają sprzęt niestandardowy, UEC może nie być mocnym argumentem sprzedażowym. Chociaż wdrażanie sprzętu niestandardowego może budzić pewne obawy, uważają oni, że kontrola jest ważniejsza niż zgodność z UEC.

Intel, AMD (Pensando), Marvell i NVIDIA oferują konkurencyjne rozwiązania Ethernet NIC, SmartNIC i DPU dla klastrów AI, z udoskonaleniami RoCEv2 i odciążaniem hosta. Thor Ultra wyróżnia się przepustowością łącza 800G, obsługą wielu ścieżek na poziomie pakietów z rozmieszczeniem poza kolejnością, sprzętowym retransmisją SACK oraz programowalnym mechanizmem kontroli przeciążenia kompatybilnym z UEC.

Tomahawk 6 i Jericho firmy Broadcom są liderami w dziedzinie hiperskalowalnych rozwiązań Ethernet dla sprzedawców. Thor Ultra oferuje kompleksową infrastrukturę Ethernet AI. Operatorzy, którzy wahają się przed ekosystemami jednego dostawcy, mogą skorzystać z zgodności z UEC i interoperacyjności z innymi czołowymi dostawcami, co zapewnia elastyczność, umożliwiając kartom sieciowym Broadcom współpracę z różnymi przełącznikami UEC i odwrotnie.

Thor Ultra zwiększa przydatność sieci Ethernet dla sztucznej inteligencji na poziomie ponad 100 000 węzłów, rozwiązując główne problemy związane z RoCE i promując podejście oparte na standardach, zamiast polegać na infrastrukturze jednego dostawcy.

Projektowanie centrów danych AI

Możliwości Thor Ultra zachęcają architektów do wprowadzenia kilku zmian projektowych, w tym:

• Standaryzacja tkanin w UEC: Przewiduj projekty referencyjne, które definiują karty sieciowe i przełączniki zgodne ze standardem UEC, ujednolicając standardy sygnalizacji przeciążenia, telemetrii i niezawodności u różnych dostawców. Minimalizuje to problemy z integracją i upraszcza pozyskiwanie z wielu źródeł.
• Moduły AI oparte na sieci Ethernet charakteryzują się przewidywalnym opóźnieniem ogonowym Wielościeżkowość na poziomie pakietów i obsługa rozmieszczania poza kolejnością. Te projekty modułów wykorzystują karty sieciowe 800G podłączone liniami SerDes 100G/200G do przełączników ToR/leaf, ułożonych warstwowo w głębokiej strukturze ECMP. Taka konfiguracja pozwala projektantom na bardziej agresywne podejście do dywersyfikacji ścieżek i nadsubskrypcji, przy jednoczesnym zachowaniu niskich opóźnień p99 i p99.9.
• Programowalna kontrola przeciążenia jako pokrętło operacyjne: Dzięki programowalnej, ale działającej w krzemie NIC technologii CC, operatorzy mogą dostosowywać się do faz obciążenia (uczenie równoległe danych vs. wnioskowanie równoległe potoku) i warunków sieci bez konieczności wymiany sprzętu. Można spodziewać się testów A/B schematów opartych na odbiorniku i nadawcy oraz sterowania w pętli zamkniętej z wykorzystaniem telemetrii UEC.
• Prostsze ścieżki danych hosta i wydajność PCIe:Umieszczanie poza kolejnością w pamięci XPU i sprzętowym SACK zmniejszają zaangażowanie procesora/XPU w reorganizację i odzyskiwanie, zwalniając cykle hosta i wygładzając wykorzystanie przepustowości PCIe. Ma to znaczenie w przypadku serwerów GPU/akceleratorów działających na granicy przepustowości PCIe i pamięci.
• Bezpieczeństwo wbudowane w kartę sieciową: Szyfrowanie z szybkością łącza, bezpieczny rozruch i atestacja sprzętowa ułatwiają zachowanie zgodności w klastrach wielodostępnych, zwłaszcza w przypadku współdzielenia infrastruktury między dzierżawcami szkoleniowymi i wnioskowymi lub podczas partycjonowania między wewnętrznymi zespołami.
• Całkowity koszt posiadania okablowania i zasilaniaPasywne miedziane przetworniki cyfrowo-analogowe o długości do 5 m przeznaczone do połączeń NIC-ToR mogą obniżyć zużycie energii przez układy optyczne i uprościć kwestie termiczne na poziomie szafy.
• Telemetria operacyjna i SLO: Prymitywy telemetryczne UEC, takie jak przycinanie pakietów i jawne sygnały przeciążenia, umożliwiają ściślejsze zarządzanie SLO i szybszą analizę przyczynową (RCA) na dużą skalę. Kryterium wyboru będzie integracja z istniejącymi potokami NetOps/AI Ops.

Rozlokowanie

Thor Ultra obsługuje konfiguracje SerDes 100G/200G, jest dostarczany jako chiplet/IP do niestandardowych integracji oraz standardowo jako karty PCIe i OCP 3.0. Wszystkie warianty korzystają z ujednoliconego oprogramowania sprzętowego, sterowników i zestawu narzędzi programowych, co usprawnia działanie floty. Broadcom pozycjonuje Thor Ultra jako „dodatkową” opcję dla Tomahawk 6, z deklarowaną kompatybilnością z przełącznikami zgodnymi ze standardem UEC innych dostawców.

Broadcom wprowadza Thor Ultra, przełomowy produkt w dziedzinie Ethernetu AI. Ta karta sieciowa 800G w pełni obsługuje UEC i oferuje zaawansowane funkcje RDMA, koncentrując się na wydajności, skalowalności i otwartości. Rozwija ona koncepcję Ethernetu dla AI, dostarczając kartę sieciową 800G, która eliminuje kluczowe ograniczenia tradycyjnego RoCE w hiperskali, w tym brak wielościeżkowości na poziomie pakietów, zawodne dostarczanie pakietów w kolejności, powolne retransmisje i niestabilną kontrolę przeciążenia.

Dostępność:

Broadcom testuje Thor Ultra u wybranych klientów.