Broadcom presentó Thor Ultra, la primera tarjeta de red Ethernet con IA de 800G de la industria, totalmente compatible con las especificaciones del Consorcio Ultra Ethernet (UEC). Fue diseñada para clústeres con más de 100 000 XPU. Thor Ultra aborda los cuellos de botella que limitan el RDMA tradicional, incorporando multitrayecto a nivel de paquete, ubicación de datos desordenada, retransmisión basada en hardware SACK y un canal de control de congestión totalmente programable.
Tarjeta Thor Ultra OCP
La NIC se integra a la perfección con Broadcom Tomahawk 6 y es compatible con cualquier línea de conmutadores compatibles con UEC. Broadcom destaca sus funciones de seguridad, como el cifrado PSP de velocidad de línea, el arranque seguro y la certificación. La NIC también ofrece versatilidad de implementación con SerDes de 100G/200G y admite diversos modelos de uso, como tarjetas chiplet, IP, PCIe y OCP 3.0. Thor Ultra es un componente vanguardista, de alto ancho de banda y con telemetría, ideal para infraestructuras de IA basadas en Ethernet.
El RDMA para IA ha alcanzado sus límites
Los centros de datos de IA están en transición de procesos predecibles de tipo HPC a tareas de IA impredecibles, ráfagas y distribuidas, que incluyen entrenamiento, ajuste e inferencia a gran escala. En estas condiciones, el RDMA tradicional (tal como se utiliza en muchas implementaciones de RoCE) experimenta una presión significativa. Entre las limitaciones de RDMA se incluyen:
- La ausencia de multitrayecto genuino a nivel de paquete obliga a los flujos de datos a utilizar solo un camino, lo que aumenta la latencia de cola durante eventos de incast y microrráfagas.
- Los requisitos de colocación en orden dificultan la utilización óptima de PCIe cuando los paquetes llegan fuera de secuencia, lo que provoca demoras y bloqueos en la cabecera de la línea en el host.
- Las retransmisiones Go-Back-N aumentan la congestión y generan desperdicio de ancho de banda, y la recuperación de las pérdidas es lenta.
- Ajustar el control de la congestión en las estructuras leaf-spine a escala de 100 000 nodos es un desafío y a menudo varía según el proveedor.
Thor Ultra supera estas limitaciones al alinear la semántica RDMA más de cerca con los requisitos de las estructuras de IA a gran escala, lo que admite una distribución de carga de grano fino, tolerancia de reordenamiento, recuperación rápida de pérdidas y control de congestión programable que se adapta a medida que evoluciona la UEC.
Arquitectura y características
Thor Ultra está diseñado para integrar estructuras Ethernet de IA compatibles con UEC, con una NIC que elimina cuellos de botella tanto en el host como en la estructura. Las características de Thor Ultra incluyen:
- La canalización RDMA de Thor Ultra utiliza multirruta a nivel de paquete para distribuir el tráfico entre múltiples rutas y admite paquetes fuera de orden directamente en la memoria XPU. Garantiza la confiabilidad mediante SACK y retransmisiones, e incluye un control de congestión totalmente programable compatible con diversos algoritmos para la unificación de políticas y mayor flexibilidad.
- Thor Ultra priorizó la plena conformidad con UEC, respaldando comportamientos de confiabilidad, señalización de congestión y telemetría. Es compatible con Broadcom Tomahawk 6 y otros switches UEC, lo que promueve un enfoque Ethernet abierto para evitar la dependencia y habilitar estructuras de proveedores mixtos.
- La seguridad de velocidad de línea de Thor Ultra incluye cifrado/descifrado acelerado por hardware, arranque seguro con firmware firmado y certificación de dispositivos, lo que garantiza la integridad de la cadena de suministro y del tiempo de ejecución en clústeres de IA de múltiples inquilinos.
- Se admiten funciones de telemetría compatibles con UEC de escalamiento horizontal, como recorte de paquetes y señalización de congestión explícita, lo que mejora la observabilidad, el ajuste del control de congestión de circuito cerrado y el aislamiento rápido de fallas en estructuras de escalamiento horizontal.
- La NIC admite configuraciones SerDes de 100G y 200G para ofrecer opciones flexibles de puertos y actualizaciones. Utiliza DAC pasivos de cobre con eficiencia térmica de hasta cinco metros para conexiones en rack de corto alcance, lo que reduce el consumo y los costes. Los modelos incluyen chiplet/IP para placas personalizadas y formatos PCIe y OCP 3.0 estándar, todos ellos con firmware y herramientas compartidas para una gestión más sencilla.
Tejidos de IA Ethernet frente a alternativas propietarias
El lanzamiento de Thor Ultra se alinea con aspectos competitivos clave. Las interconexiones de IA patentadas incluyen InfiniBand y superposiciones Ethernet específicas del proveedor. Las soluciones InfiniBand de NVIDIA, como los conmutadores ConnectX/BlueField y Quantum, ofrecen funciones como SHARP, enrutamiento adaptativo y control de congestión optimizado. Sin embargo, estas conllevan dependencia del proveedor y un mayor coste total de propiedad (TCO). La compatibilidad con UEC de Thor Ultra y las avanzadas capacidades RDMA están diseñadas para igualar o superar la latencia de cola y el rendimiento utilizando Ethernet estándar. Esto ofrece a los compradores una alternativa basada en estándares, garantizando flexibilidad de suministro y cadenas de herramientas familiares.
A diferencia de la estrategia Ethernet de NVIDIA con Spectrum-X, que se centra en las estructuras de IA con programación/CC propietaria, Broadcom prioriza la apertura de UEC, además de la escalabilidad de los conmutadores Tomahawk/Jericho y la amplitud de su ecosistema de óptica comercial. Sin embargo, para muchos CSP, como AWS y Google, que implementan hardware personalizado, UEC puede no ser un argumento de venta atractivo. Si bien implementar hardware personalizado puede ser problemático, creen que tener el control es más crucial que el cumplimiento de UEC.
Intel, AMD (Pensando), Marvell y NVIDIA ofrecen soluciones competitivas de NIC Ethernet, SmartNIC y DPU para clústeres de IA, con mejoras de RoCEv2 y descargas de host. Thor Ultra se distingue por ofrecer una velocidad de línea de 800 Gb, multirruta a nivel de paquete con ubicación fuera de orden, retransmisiones SACK por hardware y un motor de control de congestión programable compatible con UEC.
Tomahawk 6 y Jericho de Broadcom son líderes en Ethernet comercial a hiperescala. Thor Ultra ofrece una infraestructura integral de IA para Ethernet. Para los operadores que dudan en ecosistemas de un solo proveedor, la compatibilidad con UEC y la interoperabilidad con otros proveedores líderes ofrecen flexibilidad, permitiendo que las tarjetas de red (NIC) de Broadcom funcionen con varios conmutadores UEC o viceversa.
Thor Ultra aumenta la viabilidad de Ethernet para la IA en más de 100,000 nodos al abordar desafíos clave de RoCE y promover un enfoque basado en estándares, en lugar de depender de la estructura de un solo proveedor.
Diseño de centros de datos con IA
Las capacidades de Thor Ultra impulsan a los arquitectos hacia algunos cambios de diseño, que incluyen:
- Estandarización de tejidos en UEC: Anticipe diseños de referencia que definan NIC y switches compatibles con UEC, unificando los estándares de señalización de congestión, telemetría y confiabilidad entre proveedores. Esto minimiza los desafíos de integración y simplifica la adquisición de múltiples proveedores.
- Los pods de IA que priorizan Ethernet cuentan con una latencia de cola predecible a través de Multirutas a nivel de paquete y compatibilidad con la colocación fuera de orden. Estos diseños de pod utilizan tarjetas de red de 800 G conectadas mediante líneas SerDes de 100 G/200 G a conmutadores ToR/leaf, superpuestos a estructuras ECMP profundas. Esta configuración permite a los diseñadores ser más agresivos con la diversidad de rutas y la sobresuscripción, manteniendo al mismo tiempo bajas latencias p99 y p99.9.
- Control de congestión programable como mando operativo: Con CC ejecutándose en silicio NIC, pero programable, los operadores pueden adaptarse a las fases de la carga de trabajo (entrenamiento en paralelo de datos vs. inferencia en paralelo de pipeline) y a las condiciones de la estructura sin necesidad de intercambiar hardware. Se prevén pruebas A/B de esquemas basados en receptor y emisor, y control de bucle cerrado mediante telemetría UEC.
- Rutas de datos de host más sencillas y eficiencia PCIeLa colocación desordenada en la memoria XPU y el hardware SACK reduce la participación de la CPU/XPU en la reordenación y recuperación, liberando ciclos de host y optimizando el uso del ancho de banda PCIe. Esto es importante para los servidores con GPU/acelerador que ya operan al límite de los límites de ancho de banda de memoria y PCIe.
- Seguridad incorporada en la NIC: El cifrado de velocidad de línea, el arranque seguro y la certificación de hardware facilitan el cumplimiento en clústeres de múltiples inquilinos, especialmente cuando se comparte estructura entre inquilinos de entrenamiento e inferencia o cuando se realizan particiones entre equipos internos.
- TCO de cableado y energíaLos DAC de cobre pasivos de hasta 5 m para conexiones NIC a ToR pueden reducir los presupuestos de energía de los componentes ópticos y simplificar las térmicas a nivel de rack.
- Telemetría operativa y SLOLas primitivas de telemetría de UEC, como el recorte de paquetes y las señales de congestión explícitas, permiten una gestión más rigurosa de los objetivos de nivel de servicio (SLO) y un análisis de causa raíz (RCA) más rápido y a gran escala. La integración con los canales de NetOps/AI Ops existentes será un criterio de selección.
Despliegue
Thor Ultra admite configuraciones SerDes de 100G/200G, se entrega como chiplet/IP para integraciones personalizadas y como tarjetas PCIe y OCP 3.0 estándar. Todas las variantes comparten un firmware, un controlador y una cadena de herramientas de software unificados para optimizar las operaciones de la flota. Broadcom posiciona a Thor Ultra para integrarse con Tomahawk 6, con compatibilidad declarada con conmutadores compatibles con UEC de otros proveedores.
Tarjeta PCIe Thor Ultra
Broadcom presenta Thor Ultra como un avance significativo en Ethernet para IA. Esta tarjeta NIC de 800G es totalmente compatible con UEC y ofrece capacidades RDMA avanzadas, centrándose en el rendimiento, la escalabilidad y la apertura. Mejora la experiencia de Ethernet para IA al proporcionar una tarjeta NIC de 800G que aborda las principales limitaciones del RoCE tradicional a hiperescala, como la falta de multitrayecto a nivel de paquete, la entrega en orden poco fiable, las retransmisiones lentas y el control de congestión frágil.
Disponibilidad
Broadcom está probando el Thor Ultra con clientes seleccionados.
Amazon