Broadcom Thor Ultra: 100K+ XPU 스케일아웃을 위한 UEC 호환 800G AI 이더넷 NIC

브로드컴은 UEC(Ultra Ethernet Consortium) 사양을 완벽하게 준수하는 업계 최초의 800G AI 이더넷 NIC인 Thor Ultra를 출시했습니다. 100,000만 개 이상의 XPU를 사용하는 클러스터를 위해 설계되었습니다. Thor Ultra는 패킷 수준 다중 경로 지정, 비순차적 데이터 배치, 하드웨어 SACK 기반 재전송, 그리고 완전 프로그래밍 가능한 혼잡 제어 파이프라인을 추가하여 기존 RDMA의 제약을 해소하는 병목 현상을 해결합니다.

이 NIC는 Broadcom Tomahawk 6와 완벽하게 통합되며 모든 UEC 호환 스위치 제품군과 호환됩니다. Broadcom은 회선 속도 PSP 암호화, 보안 부팅, 인증 등의 보안 기능을 강조합니다. 또한 100G/200G SerDes를 통해 다양한 구축 환경을 제공하며 칩렛, IP, PCIe, OCP 3.0 카드 등 다양한 사용 모델을 지원합니다. Thor Ultra는 이더넷 기반 AI 인프라에 적합한 미래 지향적인 고대역폭 원격 측정 지원 구성 요소입니다.

AI를 위한 RDMA가 한계에 도달했습니다.

AI 데이터 센터는 예측 가능한 HPC 방식 프로세스에서 학습, 미세 조정, 대규모 추론을 포함한 예측 불가능하고 버스트(bursty)하며 분산된 AI 작업으로 전환하고 있습니다. 이러한 상황에서 기존 RDMA(많은 RoCE 구현에 사용되는 방식)는 상당한 부담을 겪습니다. RDMA 제약에 영향을 미치는 요인은 다음과 같습니다.

• 패킷 수준에서 진정한 다중 경로가 없으면 데이터 흐름이 하나의 경로만 사용해야 하므로 인캐스트 이벤트와 마이크로버스트 중에 테일 지연 시간이 늘어납니다.
• 패킷이 순서 없이 도착하면 순서대로 배치해야 하기 때문에 PCIe를 최적으로 활용할 수 없고, 호스트에서 지연과 헤드 오브 라인 차단이 발생합니다.
• Go-Back-N 재전송은 혼잡을 증가시키고 대역폭 낭비로 이어지며 손실 복구가 느립니다.
• 100만 노드 규모에서 리프 스파인 패브릭 전반의 혼잡 제어를 조정하는 것은 어려운 일이며 공급업체마다 다릅니다.

Thor Ultra는 RDMA 의미론을 대규모 AI 패브릭의 요구 사항에 더욱 밀접하게 맞추고, 세분화된 부하 분산, 재정렬 허용 범위, 빠른 손실 복구, UEC의 발전에 따라 적응하는 프로그래밍 가능한 혼잡 제어를 지원함으로써 이러한 한계를 극복합니다.

아키텍처 및 기능

Thor Ultra는 UEC 호환 AI 이더넷 패브릭을 지원하도록 설계되었으며, 호스트와 패브릭 모두에서 병목 현상을 제거하는 NIC를 탑재하고 있습니다. Thor Ultra의 기능은 다음과 같습니다.

• Thor Ultra의 RDMA 파이프라인은 패킷 수준 다중 경로를 사용하여 트래픽을 여러 경로로 분산하고, XPU 메모리에서 직접 비순차적 패킷을 지원합니다. SACK 및 재전송을 통해 안정성을 보장하며, 정책 통합 및 유연성을 위한 다양한 알고리즘을 지원하는 완전 프로그래밍 가능 혼잡 제어 기능을 제공합니다.
• Thor Ultra는 완전한 UEC 규정 준수를 최우선으로 하며, 안정성, 혼잡 신호 및 원격 측정을 위한 동작을 지원합니다. Broadcom Tomahawk 6 및 기타 UEC 스위치와 호환되어, 특정 업체에 종속되지 않고 다양한 벤더의 패브릭을 지원하는 개방형 이더넷 방식을 지원합니다.
• Thor Ultra의 라인 속도 보안에는 하드웨어 가속 암호화/복호화, 서명된 펌웨어를 통한 보안 부팅, 장치 증명이 포함되어 다중 테넌트 AI 클러스터에서 공급망 및 런타임 무결성을 보장합니다.
• 패킷 트리밍 및 명시적 혼잡 신호와 같은 확장형 UEC 호환 원격 측정 기능이 지원되어, 확장형 패브릭에서 관찰성, 폐쇄 루프 혼잡 제어 튜닝 및 빠른 오류 격리가 향상됩니다.
• NIC는 유연한 포트 및 업그레이드 옵션을 위해 100G 및 200G SerDes 구성을 지원합니다. 단거리 랙 연결을 위해 최대 5m 길이의 열 효율이 뛰어난 수동 구리 DAC를 사용하여 전력과 비용을 절감합니다. 이 모델에는 맞춤형 보드를 위한 칩렛/IP와 표준 PCIe 및 OCP 3.0 폼 팩터가 포함되어 있으며, 모두 펌웨어와 도구를 공유하여 관리가 용이합니다.

이더넷 AI 패브릭 vs. 독점적 대안

Thor Ultra 출시는 주요 경쟁 측면과 부합합니다. 독점 AI 상호 연결에는 InfiniBand 및 벤더별 이더넷 오버레이가 포함됩니다. ConnectX/BlueField 및 Quantum 스위치와 같은 NVIDIA의 InfiniBand 솔루션은 SHARP, 적응형 라우팅, 최적화된 혼잡 제어 등의 기능을 제공합니다. 그러나 이러한 기능은 벤더 종속성과 총소유비용(TCO) 증가라는 단점이 있습니다. Thor Ultra의 UEC 규정 준수 및 고급 RDMA 기능은 표준 이더넷을 사용하여 테일 레이턴시 및 처리량 성능을 동등하거나 능가하도록 설계되었습니다. 이는 구매자에게 표준 기반 대안을 제공하여 공급 유연성과 익숙한 툴체인을 보장합니다.

독자적인 스케줄링/CC를 통해 AI 패브릭을 목표로 하는 NVIDIA의 Spectrum-X 이더넷 전략과 달리, Broadcom은 "UEC 우선" 개방성, Tomahawk/Jericho 스위치 확장성, 그리고 광범위한 상용 광통신 생태계를 제공합니다. 그러나 AWS나 Google처럼 맞춤형 하드웨어를 구축하는 많은 CSP에게 UEC는 매력적인 판매 포인트가 아닐 수 있습니다. 맞춤형 하드웨어 구축이 다소 번거로울 수 있지만, Broadcom은 UEC 규정 준수보다 제어권을 확보하는 것이 더 중요하다고 생각합니다.

Intel, AMD(Pensando), Marvell, NVIDIA는 RoCEv2 개선 및 호스트 오프로드를 통해 AI 클러스터를 위한 경쟁적인 이더넷 NIC, SmartNIC, DPU 솔루션을 제공합니다. Thor Ultra는 800G 회선 속도, 비순차적 배치를 통한 패킷 수준 다중 경로 지정, 하드웨어 SACK 재전송, 그리고 UEC와 호환되는 프로그래밍 가능한 혼잡 제어 엔진을 제공하여 차별화됩니다.

브로드컴의 토마호크 6와 제리코는 하이퍼스케일 상용 이더넷 시장을 선도하고 있습니다. 토르 울트라는 포괄적인 이더넷 AI 인프라를 제공합니다. 단일 벤더 생태계에 주저하는 사업자를 위해, UEC 준수 및 다른 주요 벤더와의 상호 운용성을 통해 브로드컴 NIC를 다양한 UEC 스위치와 호환하거나 그 반대로 사용할 수 있는 유연성을 제공합니다.

Thor Ultra는 단일 공급업체의 패브릭에 의존하기보다는 주요 RoCE 과제를 해결하고 표준 기반 접근 방식을 장려함으로써 100,000만 개가 넘는 노드에서 이더넷의 AI 실행 가능성을 높입니다.

AI 데이터 센터 설계

Thor Ultra의 기능은 건축가가 다음과 같은 몇 가지 디자인 전환을 추진하도록 돕습니다.

• UEC의 원단 표준화: UEC 호환 NIC 및 스위치를 정의하고, 공급업체 간 혼잡 신호, 원격 측정 및 안정성 표준을 통합하는 참조 설계를 예상합니다. 이를 통해 통합 관련 문제를 최소화하고 다중 공급업체 조달을 간소화할 수 있습니다.
• 이더넷 우선 AI 포드는 예측 가능한 테일 지연 시간을 제공합니다. 패킷 수준 다중 경로 지정 및 비순차적 배치 지원. 이러한 포드 설계는 100G/200G SerDes 레인을 통해 ToR/리프 스위치에 연결된 800G NIC를 활용하며, 이는 심층 ECMP 패브릭 위에 계층화됩니다. 이러한 구성을 통해 설계자는 낮은 p99 및 p99.9 지연 시간을 유지하면서 경로 다양성 및 초과 가입(oversubscription)을 더욱 적극적으로 구현할 수 있습니다.
• 작동 노브로 프로그래밍 가능한 혼잡 제어: CC가 NIC 실리콘에서 실행되지만 프로그래밍 가능하므로 운영자는 하드웨어 교체 없이 워크로드 단계(데이터 병렬 학습 vs. 파이프라인 병렬 추론) 및 패브릭 조건에 적응할 수 있습니다. UEC 원격 측정을 사용한 수신자 기반 방식과 송신자 기반 방식의 A/B 테스트 및 폐쇄 루프 제어가 가능합니다.
• 더 간단한 호스트 데이터 경로 및 PCIe 효율성: XPU 메모리 및 하드웨어 SACK에 비순차적으로 배치하면 재정렬 및 ​​복구 과정에서 CPU/XPU의 개입이 줄어들어 호스트 사이클이 자유로워지고 PCIe 대역폭 사용량이 원활해집니다. 이는 이미 PCIe 및 메모리 대역폭 한계에서 실행 중인 GPU/가속기 서버에 중요합니다.
• NIC에 내장된 보안 기능: 라인 속도 암호화, 보안 부팅 및 하드웨어 증명을 통해 멀티 테넌트 클러스터에서 규정 준수가 용이해지며, 특히 교육 및 추론 테넌트 간에 패브릭을 공유하거나 내부 팀 간에 분할할 때 더욱 그렇습니다.
• 케이블링 및 전원 TCO: NIC-to-ToR 실행을 위한 최대 5m 수동 구리 DAC는 광학 전력 예산을 낮추고 랙 수준 열 관리를 간소화할 수 있습니다.
• 운영 원격 측정 및 SLO: 패킷 트리밍 및 명시적 혼잡 신호와 같은 UEC 원격 측정 기본 기능은 더욱 엄격한 SLO 관리와 더 빠른 RCA(Real-Time Collaboration)를 대규모로 지원합니다. 기존 NetOps/AI Ops 파이프라인과의 통합은 선택 기준이 될 것입니다.

전개

Thor Ultra는 100G/200G SerDes 구성을 지원하며, 맞춤형 통합을 위한 칩렛/IP와 표준 PCIe 및 OCP 3.0 카드로 제공됩니다. 모든 모델은 통합 펌웨어, 드라이버 및 소프트웨어 툴체인을 공유하여 장비 운영을 간소화합니다. Broadcom은 Thor Ultra를 Tomahawk 6와 함께 "드롭인" 방식으로 출시하며, 다른 공급업체의 UEC 호환 스위치와의 호환성을 명시하고 있습니다.

브로드컴은 Thor Ultra를 AI 이더넷 분야의 획기적인 혁신으로 소개합니다. 이 800G NIC는 UEC를 완벽하게 지원하고 성능, 확장성, 개방성에 중점을 둔 고급 RDMA 기능을 제공합니다. 패킷 수준 다중 경로 지정 부족, 불안정한 순차적 전송, 느린 재전송, 취약한 혼잡 제어 등 하이퍼스케일 환경에서 기존 RoCE의 주요 한계를 해결하는 800G NIC를 제공함으로써 AI 이더넷 전략을 더욱 강화합니다.

이용 가능 여부 (Availability)

Broadcom은 일부 고객을 대상으로 Thor Ultra를 샘플링하고 있습니다.