AMD举办了迄今为止规模最大的Advancing AI活动，并将规模作为核心主题。该公司发布了Instinct MI455X GPU、72 GPU的Helios机架以及第六代EPYC Venice CPU。MI455X配备432GB HBM4显存，比NVIDIA的B300或Rubin提升了50%，拥有23.3TB/s的显存带宽和高达40.26 PFLOPS的MXFP4计算能力。完整的Helios机架可以将这些性能提升72倍，实现2.9 exaFLOPS的FP4计算能力、31TB的HBM4显存、1.7PB/s的显存带宽、260TB/s的纵向扩展带宽以及43TB/s的横向扩展带宽，从而为数据中心提供更强大的支持。AMD的目标是在所有指标上都引领行业。本文将深入探讨MI455X和Helios机架。威尼斯发布会将在另一篇分析文章中进行讨论。

另一个主题是开放性，它贯穿每一层，从互连开始。在机架内部，所有 72 个 GPU 通过 UALink 共享内存。UALink 是一种开放联盟架构，AMD 在以太网上运行它，称为 UALink over Ethernet (UALoE)。一旦流量离开机架，它就通过 Ultra Ethernet 传输，Ultra Ethernet 是 Ultra Ethernet Consortium 推出的开放横向扩展标准。同样的 Instinct 架构运行在堆栈的上层。低精度运算使用 OCP 的开放 MXFP4、MXFP6 和 MXFP8 数据格式，而容纳所有这些设备的机架则按照开放计算项目 (OCP) 的开放式机架宽 (Open Rack Wide) 设计构建。甚至软件也是开源开发的，ROCm 的编译器、运行时和库都以源代码形式提供。

由于该技术栈中的所有规范如今都已公开并可供下载，超大规模数据中心可以将 Helios 视为蓝图，并构建一个根据自身设施和工作负载量身定制的版本，例如替换网络、电源供应或管理组件。这意味着本文中介绍的所有内容均基于 AMD 发布的参考设计；客户部署的实际设备可能存在显著差异。目前已有不少厂商准备采用 Helios：AMD 表示，OpenAI、Meta、Anthropic、微软、Oracle 等公司都在使用 Helios。

AMD Instinct MI455X：CDNA 5 旗舰级处理器

MI455X 是首款采用 CDNA 5 架构的加速器，包含 3200 亿个晶体管。MI455X 采用台积电 N2 制程工艺制造的 8 个加速器复合芯片 (XCD)，以及采用 N3 制程工艺制造的 2 个 I/O 芯片和 2 个交换矩阵/缓存芯片，并配备 12 个 HBM4 内存堆栈。它是迄今为止采用台积电 CoWoS-L 封装工艺制造的最大芯片。

内存是本次更新的亮点之一。这十二个 HBM4 内存堆栈总容量为 432GB，速度为 23.3TB/s，HBM4 将每个堆栈的接口容量翻了一番，达到 2,048 位；此外，两个 Fabric 和 Cache 芯片还增加了一个 192MB 的 L2 缓存，运行速度为 54TB/s。

MI455X 在 I/O 方面也毫不逊色。它拥有 72 条 UALoE 通道，可为机架其他设备提供 3.6TB/s 的双向向上扩展带宽；为主机 CPU 提供 256GB/s 的双向 Infinity Fabric 带宽；并可选择两条 PCIe Gen6 x16 链路或三条 AMD AI-NIC 链路进行横向扩展。

与它所取代的芯片以及NVIDIA的产品相比，MI455X在所有指标上都领先。

规格	AMD MI455X	英伟达鲁宾	AMD MI355X	英伟达B300
卓越	cDNA 5	鲁宾	cDNA 4	布莱克韦尔超级
晶体管	320B	336B	185B	208B
HBM容量	432GB HBM4	288GB HBM4	288GB HBM3E	288GB HBM3E
HBM带宽	23.3TB/秒	22TB/秒	8TB/秒	8TB/秒
每个GPU的扩展	3.6TB/秒	3.6TB/秒	1.08TB/秒	1.8TB/秒
每个GPU的横向扩展	2,400 Gb / s的	1,600 Gb / s的	400 Gb / s的	800 Gb / s的
CPU-GPU链路	256GB/s Infinity Fabric	1.8TB/s C2C (1:2)	PCIe 5	900GB/s C2C (1:2)

 

我们先来看看AMD的优势所在。MI455X的HBM显存容量高达432GB，比MI355X、B300和Rubin（最高288GB）高出50%。其23.3TB/s的显存带宽也是同组产品中最高的。横向扩展能力方面，AMD也占据绝对优势：MI455X的单GPU带宽为2,400 Gbit/s，而Rubin为1,600 Gbit/s，B300为800 Gbit/s。每台MI455X的机架网络带宽都比最接近的竞争对手高出50%。

AMD 终于在规模化方面迎头赶上。多年来，NVLink 一直是领先的 GPU 互连架构，并且在两代产品中，它是实现支持 WideEP 的 MoE 型号顶级性能的唯一途径。UALoE 仅用一代产品就弥补了这一差距：MI455X 的吞吐量达到 3.6TB/s，与 Rubin 的 NVLink 6 相当。NVIDIA 在主机链路方面仍然保持着明显的领先优势。一颗 Vera CPU 通过 1.8TB/s 的 C2C 链路为两颗 Rubin GPU 提供数据，而每颗 MI455X 则通过 256GB/s 的 Infinity Fabric 链路与其 Venice 主机通信。这种差异决定了本文后续部分对两种机架式架构的不同之处。

在原始计算方面，MI455X 全面领先，但有一点需要注意：AMD 的 OCP MX 格式和 NVIDIA 的 NVFP4 扩展方式不同，因此请将这些视为宣传的峰值；实际性能是另一个问题。

格式	AMD MI455X	英伟达鲁宾	AMD MI355X	英伟达B300
MXFP4 / NVFP4	40.26 公积金	35 公积金	10.1 公积金	15 公积金
MXFP6 / FP6	20.13 公积金	17.5 公积金	10.1 公积金	5 公积金
MXFP8 / FP8	20.13 公积金	17.5 公积金	5 公积金	5 公积金
FP16 / BF16	5.03 公积金	4 公积金	2.5 公积金	2.5 公积金
FP32	315TF	130TF	157.3TF	75TF

 

与 MI355X 相比，MI455X 的 MXFP4 和 MXFP8 吞吐量是其四倍，FP16/BF16 和 FP32 速率是其两倍。与 NVIDIA 显卡的比较分为两部分。与 B300 相比，MI455X 的 FP4 吞吐量是其 2.7 倍，FP6 和 FP8 速率是其四倍。Rubin 是最具代表性的基准测试，MI455X 在该测试中始终保持优势：FP4 领先 15%，FP6 和 FP8 领先 15%，FP16/BF16 领先 26%。差距最大的是 FP32，MI455X 的 315 TF 大约是 Rubin 的 130 TF 的 2.4 倍，更是 B300 的 75 TF 的四倍多。该数字源自 Instinct 的 HPC 血统，对于 AI 工作仍然很重要，因为主权重、高精度累积和科学工作负载仍然在低比特格式之上运行。

CDNA 5 内部

让我们深入架构一探究竟，看看是什么造就了这种领先业界的性能。

从 XCD 到 SIMD

从封装层级向下分析，可以发现由于 CDNA 4 对计算芯片的组织方式截然不同，因此进行了大量的重构。在 MI355X 中，每个 XCD 芯片承载 32 个活跃的计算单元和一个私有的 4MB L2 缓存，用于在数据到达 Infinity Fabric 之前对芯片的流量进行集中管理。CDNA 5 保留了八个 XCD 芯片，但对其内部结构进行了重构，借鉴了 AMD RDNA 图形芯片的结构和术语。MI455X 的每个 XCD 芯片现在分为两个着色器引擎。每个着色器引擎物理上包含 17 个工作组处理器，其中 16 个已启用，1 个备用以保证良率。每个 XCD 芯片的 L2 缓存完全移除，从计算芯片上移至下方的基础芯片，内存部分则返回到这些基础芯片。

真正重要的运算过程并没有改变。XCD 仍然贡献 32 个活动单元，GPU 的总数仍然是 256 个，与 MI355X 的计算单元数量相同。低精度吞吐量提升 4 倍并非来自执行单元的增加；而是来自每个 WGP 在每个周期内完成更多的工作，而 WGP 正是此次重新设计的重点所在。

WGP 由四个 32 通道 SIMD 单元和四个标量单元组成，共享一个常量缓存。最大的变化在于线程在其中的流动方式：从 Wave64 过渡到 Wave32。Wave 指的是 SIMD 同步运行的线程束。CDNA 4 使用 Wave64，将每个 64 线程的 Wave 通过一个 16 通道 SIMD 单元在四个时钟周期内执行。CDNA 5 完全放弃了对 Wave64 的支持，成为首个这样做的 Instinct 架构，并原生运行 Wave32。一个 32 线程的 Wave 与 WGP 的四个 32 通道 SIMD 单元一一对应，在一个时钟周期内完成，并且允许每个 SIMD 单元在每个时钟周期开始执行一条新的指令。

更窄、更快的波形改变了工作负载在机器中的流转方式。指令延迟降低，因为波形完成得更快。分支发散的成本也降低了，因为现在最多只会阻塞 32 个线程，而不是之前的 64 个。寄存器压力减轻，因此更多的波形可以驻留在内存中，每个 WGP 最多可以驻留 64 个波形，而之前只有一半。这使得调度器能够处理更多的小型独立工作单元，从而更好地隐藏内存延迟。Wave32 还使得将不同大小的张量运算映射到硬件上变得更加容易，从而简化了内核开发。

Single-cycle issue is only the start of the throughput story. The SIMDs co-execute, starting new instructions while earlier multi-cycle operations drain underneath, and packed vector instructions carry 64 threads' worth of work in a single issue, details AMD's architects confirmed in the post-briefing Q&A. The vector pipeline also gains native BF16 support and a set of new data-conversion instructions for moving tensors between formats. The transcendental units double their throughput over the MI355X and add a native tanh instruction, so the softmax and activation math inside attention keeps pace with the tensor hardware around it. That path is becoming a habit: CDNA 4 doubled the transcendental rates to accelerate attention, and CDNA 5 doubles them again.

记忆层次结构

在执行单元的背后，是一个从上到下重建的层级结构，而最清晰地了解它的方法是与 MI355X 逐层进行比较。

水平	MI455X（CDNA 5）	MI355X（CDNA 4）
向量寄存器	每个 SIMD 通道 128KB；每个线程 1,024KB；带宽翻倍	每个 SIMD 指令 128KB；每个线程 256KB
WGP / CU 本地商店	384KB（320KB LDS + 64KB 向量缓存）；带宽翻倍	192KB（160KB LDS + 32KB L1）
指令/常量缓存	每个 WGP 64KB + 16KB	每两个CU共享64KB + 16KB
L2	FCD上2×96MB；54TB/s	8 × 4MB，每张 XCD 一张
内存端缓存	淘汰	256MB 无限缓存
HBM	432GB HBM4；12 × 2,048 位堆栈；23.3TB/s	288GB HBM3E；8 × 1,024 位堆栈；8TB/s

 

缓存行是架构发生变化的地方。CDNA 4 采用三级设计：每个 XCD 的私有 4MB L2 缓存负责在流量到达 Infinity Fabric 之前将其合并；I/O 芯片中共享的 256MB Infinity 缓存位于内存侧，HBM 控制器之前。CDNA 5 删除了这两层，取而代之的是两个独立的 96MB L2 缓存，每个 Fabric 芯片和缓存芯片各一个，每个缓存由 96 个 1MB 的块组成。布局为垂直式：四个 XCD（或八个着色器引擎）以混合键合的方式连接在每个 FCD 之上，每个 FCD 还容纳了十二个 HBM4 位点中的六个；两个 FCD 在封装中间的中央 Infinity Fabric 处汇合，I/O 芯片位于两端。任何一个 L2 缓存都可以存储 GPU 内存中的任何地址，Infinity Fabric 负责保持两个 L2 缓存的一致性。 AMD 给出的理由是带宽：单个缓存即可提供 MI355X 整个 Infinity Cache 总带宽的 1.5 倍，两个缓存即可提供三倍，而且所有这些流量都不必跨越限制旧布局的芯片间二分法。

缓存也承担了新的职责。之前在交换矩阵外部执行的设备级原子操作，现在以更高的速率在 L2 缓存中运行，而系统级原子操作则仍然像以前一样在 Infinity Fabric 中执行。新增的广播仲裁器完善了这一机制，它将张量瓦片多播给在同一矩阵上协作的每个 WGP。因此，只需获取一次权重即可服务于所有权重，从而将有效读取带宽提升至多 4 倍。

上述各级架构均相应扩展。每个 WGP 的本地存储空间翻倍至 384KB，分为 320KB 的 LDS 和 64KB 的向量数据缓存，读取带宽也翻倍。这使得 FlashAttention 能够在芯片上保存查询、键、值和部分归约结果，而无需写入完整的注意力矩阵。它还支持融合的 MoE 内核，以保持路由状态和累加器驻留。向量寄存器文件保持其每个 SIMD 128KB 的容量，但针对 Wave32 进行了重新组织。这使得波的数量翻倍，允许单个线程寻址 1,024 个寄存器而不是 256 个，并且寄存器带宽翻倍，以支持更宽的 SIMD 及其协同执行单元。

标量部分也进行了重建以与之匹配，每个波段有 128 个标量寄存器，每个 WGP 有 32KB。在基础层面上，HBM4 从 8 个 1,024 位堆栈升级到 12 个 2,048 位堆栈，容量提升 50% 至 432GB，带宽提升 2.9 倍至 23.3TB/s（通过 192 通道接口）。

所有这些操作都由一个全新的张量数据移动器（每个WGP一个）驱动，该移动器能够理解高达五维的张量分块方案，并在DRAM和本地存储之间异步传输分块数据，无需中间寄存器暂存。传输过程由从标量寄存器加载的描述符描述，并在硬件中进行边界检查以确保安全性。该移动器支持多播加载，因此SIMD单元不会因等待复制或因暂存复制而阻塞寄存器。这是CDNA 5针对NVIDIA最新产品上的张量内存加速器提出的解决方案。一系列利用率特性完善了机器的前端：工作组集群使内核能够显式控制数据共享工作负载的放置和并发性；拆分和命名屏障允许生产者发出完成信号并继续执行，而无需等待消费者响应；层次结构每一层的预取器将数据暂存到其消费点；重新设计的命令前端降低了内核启动和调度延迟，尤其适用于主导推理的短内核。

DMA 系统基于相同的理念进行了重建。软件根据 DMA 前端调度传输任务，而位于 UALoE 链路旁的物理感知后端则将每个工作项拆分，并在每个可用链路上进行负载均衡，然后直接从内存中提取缓冲区数据，而无需将数据传输到芯片另一端的引擎。后端还能响应来自扩展网络的拥塞压力，并绕过拥塞路径，从而使通信库能够在无需了解底层拓扑结构的情况下获得均衡的网络流量。

GPU切片：NPS和SR-IOV

双L2物理布局在GPU分区方式上带来了第二个优势。在NPS1架构中，整个芯片是一个NUMA域：地址在所有十二个HBM堆栈和两个半芯片上交错，以实现均匀的带宽，便于移植并实现均匀分布的访问模式。NPS2架构将GPU划分为两个NUMA域，每个域拥有六个HBM堆栈、一个Fabric和Cache Die以及堆叠在其上的XCD。这样，每个内存访问都位于其各自的半芯片内，每个域实际上都拥有一个独立的96MB L2缓存。这不仅仅缩短了物理路径。由于两个半芯片之间没有共享的缓存行，两个L2缓存之间的Infinity Fabric一致性流量基本消失，AMD表示，这为NUMA感知型应用程序带来了更低的延迟和更高的效率。 CDNA 4 提供了同样广泛的交换，NPS2 将流量限制在一个 I/O 芯片内，但 CDNA 5 对此进行了改进，因为现在局部化的是整个 L2 缓存，而不是内存端缓冲区的一部分。

计算分区堆栈位于其上。八个 XCD 允许 GPU 以一个、两个、四个或八个空间分区启动，将 432GB 的 HBM 内存均匀地划分为 432GB、216GB、108GB 或 54GB 的切片，每个切片由八个 XCD 提供支持。将分区与 NUMA 域配对，使得运行时能够按空间调度作业并分配内存，从而确保作业分配到距离其内存最近的 XCD 上。然后，SR-IOV 将这些分区虚拟化为多达八个硬件隔离的虚拟机，隔离在内存系统本身中强制执行，与运行的 NUMA 模式无关。MI355X 也提供了相同的一到八个分区选项，因此这种粒度划分并非全新；CDNA 5 在此基础上增加了私有 L2 行为，并在其之上增加了 Helios 部分介绍的机架级虚拟 Pod。

AMD Helios

单台 MI455X 速度很快。但随着此次发布，AMD 也加入了机架级和大规模扩展领域的行列。

在物理结构上，Helios 摒弃了传统的 19 英寸和 21 英寸机架，转而采用 Open Rack Wide 机架，这是 AMD 与 Meta 在 OCP 大会上共同开发的格式：机柜宽 1.2 米，深 1.3 米，垂直空间达 44 OU。内部，72 个 GPU 安装在两组各 9 个计算托架中，6 个交换机托架则堆叠在它们之间。所有 GPU 到交换机的连接均采用铜缆，并通过后部的四个盲插式线缆盒进行布线，因此托架可以轻松滑出进行维护，无需手动拔插任何线缆。

整个机架根据工作负载的不同，功耗在 225 至 245kW 之间，通过 50V 液冷母线供电，后部歧管每分钟从设备回路输送约 385 升冷却液。托盘本身也是相当重的硬件：每个托盘重约 170 磅，安装一个交换机托盘上的 1,728 个差分对连接需要约 690 磅的插入力，因此其凸轮手柄几乎贯穿托盘的整个宽度。

基本组成单元

计算机托盘

在参考设计中，每个计算托架都是一个独立的节点，围绕 4 个 MI455X 模块和一颗高频 96 核 Venice SP7 CPU 构建，该 CPU 最高睿频可达 5GHz。其 16 个 DIMM 插槽可容纳 1TB 的 DRAM，采用 16 × 64GB DDR5 ECC RDIMM 内存条，CPU 后方还配备 5 个 E1.S NVMe 插槽。该平台的额定容量远不止于此：Venice 的 16 个内存通道支持高达 1.6TB/s 的带宽，而 256GB RDIMM 内存条是目前 DDR5 内存的最高规格，因此每个通道 1 个 DIMM 内存条的 16 通道插槽最大容量可达 4TB。

与NVIDIA的做法类似，Venice的CPU通过Infinity Fabric连接到一致性内存域，而不是像NVIDIA那样作为普通的PCIe主机位于GPU之后。AMD表示，1:4的CPU与GPU比例是经过深思熟虑的：核心性能远超竞争对手，AMD的对比测试表明，5GHz的Zen 6核心在单核性能上比NVIDIA的Vera高出约20%。此外，由于Venice采用标准的SP7插槽，因此需要更高主机计算能力的客户可以选择任何Venice SKU，直至256核心的旗舰版本。单个Venice插槽的DDR5内存容量也远高于LPDDR主机设计，其内存带宽可以通过Infinity Fabric链路为所有4个GPU提供充足的带宽。

这条 Infinity Fabric 链路值得仔细研究。在与Chips and Cheese的 George Cozma 讨论 Venice 到 MI455X 的连接时，他指出这条相干链路利用了 CPU 的 PCIe 通道，就像 EPYC 多年来通过 PCIe PHY 传输其 xGMI 插槽链路一样。数据也支持这一理论。PCIe Gen 6 的信号传输速率为每条通道 64 Gb/s，而 x16 链路按此速率计算，单向传输速率为 128GB/s，这与 AMD 宣称的每颗 GPU 双向 256GB/s 的速率完全一致。CDNA 5 白皮书的框图也标明主机 Infinity Fabric 接口的速率为每条通道 64 Gb/s，与 Gen 6 的信号传输速率完全相同。这一理论也解释了为什么任何 Venice SKU 都能直接使用：4 颗 GPU 占用了 CPU 128 条 Gen 6 通道中的 64 条，剩余的通道则可用于 DPU、存储和其他系统需求。

每个计算托架都通过三个独立的网络，每个网络都服务于不同的任务。最传统的是前端网络：一个 Pensando Salina 400G DPU 将节点连接到常规数据中心网络，我们稍后会详细介绍。

第二种是横向扩展，即连接机架组成集群的网络，最简洁的理解方式是计算 SerDes 的数量。MI455X 的横向扩展可以使用 PCIe Gen 6（每通道 64 Gb/s）或 UALink128（每通道 128 Gb/s），而 Vulcano 800 网卡需要大约 128 Gb/s 的单向连接速率才能保证其 800 GbE 端口的正常运行。在 PCIe Gen 6 速率下，每个网卡需要一条完整的 x16 链路，因此 GPU 需要承载 2 个网卡；在 UALink128 的双倍信号速率下，一条 x8 链路即可承载一半的 SerDes，因此 GPU 需要承载 3 个，这也是 Helios 出厂配置。无论采用哪种方式，UALink128 链路都只是 GPU 和网卡之间的一条专用线路；网络本身是从 Vulcano 开始的。每个网卡驱动一个 800GbE 端口，运行符合 UEC 标准的传输协议，包括 MRC（OpenAI 与 AMD 及其他合作伙伴共同开发的多路径协议）。在物理层面上，每个托架上的两块定制电路板分别搭载 4 或 6 个 Vulcano ASIC 芯片，对应每个 GPU 配备 2 个网卡和 3 个网卡的配置。完整配置下，每个托架包含 12 个网卡，每个 GPU 的横向扩展带宽为 2,400 Gb/s。由于网卡直接连接到 GPU，CPU 不参与传输路径，因此机架间流量无需经过主机链路。

第三点是扩展性，正是这种架构使 Helios 成为真正的机架级系统。每个 GPU 都配备 36 条 UALoE 链路，这些链路通过 ESUN 以太网运行 UALink 的内存语义，每条链路的带宽为 400 Gb/s，每个 GPU 的双向带宽总计可达 3.6TB/s。这些链路从托架后部连接到交换机托架，承载将 72 个 GPU 融合到一个共享内存集群中的加载/存储流量。

切换托盘

接下来是交换机托架，它们最引人注目的地方在于其芯片的普通程度。6 个托架中的每一个都装有 2 个博通 Tomahawk 6 ASIC 芯片，这与超大规模数据中心在其叶脊式网络中部署的商用以太网交换芯片相同，每个芯片支持 512 条 200G 通道。

每个GPU通过3条UALoE链路（每条UALoE链路包含2条200G通道）连接到12台交换机中的每一个，每个计算托架通过后部线缆盒引出144条链路。因此，每台Tomahawk交换机以400Gb/s的速率终止216条链路，实现21.6TB/s的双向带宽传输，而每个GPU则保持其全部36条链路（72条200G通道）和3.6TB/s的带宽。交换机无需任何特殊技术即可实现这一点：UALoE封装采用的是普通的二层协议，转发依赖于以太网芯片二十年来一直提供的静态MAC地址编程，而流量控制则是标准的优先级流量控制。

采用单层架构，可以避免许多类型的数据中心拥塞问题：不存在多层内嵌，并且每个 GPU 与其他 GPU 之间都保持固定的延迟，仅相隔一个固定的跃点。与直接网状架构相比，交换式架构还允许单个数据流在工作负载需要时占用整条路径的带宽，并保持每个 GPU 之间的距离相等。因此，调度无需考虑局部性，并且为每条链路提供相同的故障保护。

容错

Helios 将硬件故障视为设计输入。在这种规模下，故障总是会发生：电缆不稳定、数据包丢失、交换机因固件更新而被撤下、计算托架彻底损坏等等。Helios 的网络架构设计确保这些事件不会导致作业中断。丢失的数据包会通过重传恢复，当链路、电缆或交换机发生故障时，流量会在短暂暂停后自动绕过故障点，工作负载会继续利用剩余带宽运行，而不是从故障点重新开始。

12层拓扑结构使得性能衰减过程平滑，而三向条带化则决定了衰减的步长。如果GPU连接到交换机的3条链路中只有1条失效，该层仍能保持三分之二的带宽。如果整个Tomahawk交换机失效，每个GPU的扩展带宽将损失十二分之一，而所有GPU之间的连接仍可通过其他11层继续工作。即使损失整个交换机托架（12个交换机中的2个），每个GPU也只会损失六分之一的带宽，而不会中断连接，因为没有GPU依赖于任何单个交换机来连接其他GPU。相比之下，Vera Rubin NVL72将每个GPU分布在9个托架的36个NVSwitch 6 ASIC上，因此一个交换机托架的故障会导致接近九分之一的带宽损失。NVIDIA使用三倍数量的交换机ASIC来获得更小的衰减步长；AMD则反驳说，12个高阶交换机意味着更少的组件、线缆和连接器，从而避免了故障的发生。对于以周为单位的训练运行来说，损失六分之一的交换带宽与失去工作之间的区别，就相当于整个机架的经济价值。

虚拟舱

用于在故障期间隔离网络架构的同一机制也可以用于人为隔离。AMD 将这种结构称为虚拟 Pod（vPod），其基本单元是计算节点：机架上的 18 个 4GPU 节点的任意组合都可以被隔离到一个独立的 Pod 中，从小型租户的 1 个节点到大型训练作业的整个机架。这种隔离是在网络架构硬件层面强制执行的，低于调度器的任何决策。一个 vPod 与其租户绑定；其他 Pod 无法访问其内存或流量，并且每个 UALoE 链路上的线速 AES-256-GCM 加密（支持客户拥有的集群密钥）确保一个租户的张量对另一个租户不透明。跨越多个 GPU 的客户虚拟机 (VM) 的安全域可以透明地扩展到这些 GPU 上，无需信任宿主操作系统。 NVIDIA 在其 NVL72 机架上通过将 NVLink 域划分为分区来解决同样的问题，其 IMEX 服务负责协调哪些节点可以相互导出和导入内存；vPod 是 UALoE 世界的等效物，因此来自 GB200 或 GB300 集群的运营商会发现这个概念很熟悉。

如果计算托盘发生故障，影响范围仅限于其对应的虚拟Pod：该工作负载将从检查点重启，而其他所有Pod则不受影响地继续运行，租户边界同时也是故障边界。分区机制也层层嵌套，因为单个MI455X最多可以拆分成8个SR-IOV虚拟机，因此同一个机架既可以服务于一个客户，使其所有72个GPU作为一个Pod运行，也可以服务于最多576个GPU切片租户，并且在每个层级都实现了硬件隔离。

管理平面

所有这些功能都由一个专用的软件栈运行，该软件栈遵循与硬件相同的开放性理念。AMD Fabric Manager (AFM) 作为控制平面：它能够发现并配置包含 72 个 GPU 的架构，实现零接触启动，因此只需打开机架电源即可启动所有 72 个 GPU。然后，它会验证线缆和卡槽的接线是否存在组装错误，将机架划分为 vPod，并协调上述的重新路由和恢复过程。没有专用的管理托架。AFM 运行在交换机托架自身的管理处理器上，以 3 个冗余实例的形式分布在 6 个托架上，并通过分布式数据库连接，因此即使某个交换机托架发生故障，也不会影响控制平面。此外，它还提供了一个北向 REST API，将架构暴露给管理多个机架的集群控制器。

AFM 的底层架构借鉴了云原生技术，基于标准的 Kubernetes 式控制器，每个托盘上都部署了代理。它负责处理用户无需查看的底层细节，甚至包括分配 UALink 用于寻址每个 GPU 的加速器 ID。它同时也是机架的可观测层。一个统一的仪表盘即可追踪 GPU 和底层网络的利用率、链路健康状况以及故障事件；一旦出现故障，仪表盘会显示正在进行的修复工作，并发出警报，供运维人员集成到他们自己的工具中。上面的截图展示了 AFM 正在监控 AMD 实验室中的 Helios 集群。管理操作支持带内和带外两种方式，因此诊断和配置不会干扰正在运行的工作负载。AFM 底层的交换机运行着基于开源网络操作系统 SONiC 的网络操作系统，AMD 表示其 UALoE 功能将向上游提交，并通过标准的 gNMI API 对外开放。机架上方，机架基础设施管理器负责节点和交换机的生命周期、电源和泄漏检测，集群控制器将 Helios 连接到 Kubernetes 和 Slurm 进行调度。

Helios 对阵 NVIDIA Vera Rubin NVL72

那么让我们来看看 Helios 实际将在市场上遇到的 NVIDIA 产品 V​​era Rubin NVL72 与它相比如何。

机架公制	AMD Helios	薇拉·鲁宾 NVL72
图形处理器	72 MI455X	72 鲁宾
CPU的	18威尼斯	36 维拉
HBM容量	31TB	20.7TB
HBM带宽	1.7PB/s	1.58PB/s
每个GPU的扩展	3.6TB/秒	3.6TB/秒
机架规模化	260TB/秒	260TB/秒
每个GPU的横向扩展	2,400 Gb / s的	1,600 Gb / s的
放大开关	12 战斧 6	36 NVSwitch 6
机架形式	双宽 ORW	单宽 MGX

从纸面数据来看，AMD 的优势明显：HBM 显存容量提升 50%，每颗 GPU 的扩展性能同样达到 3.6TB/s（仅需三分之一数量的交换 ASIC），每颗 GPU 的横向扩展带宽也提升 50%。AMD 的内部测试将这些规格转化为实际性能表现，在 Kimi K2 Thinking 架构上，每颗 GPU 的每秒令牌数提升了 10% 到 15%，每美元的令牌数提升高达 30%。这些数据是 AMD 自行对比 NVIDIA 公布的数据，并非独立测量结果，但它们代表了 AMD 希望被评判的标准。而更有趣的差异则隐藏在两款设计如何将 GPU 与外部世界连接起来。

首先来看横向扩展。MI455X 的网卡直接连接到 GPU。而根据 SemiAnalysis 的分析， Rubin 的网卡并非如此：SemiAnalysis 指出，该封装缺少 PCIe 接口来同时连接两个 ConnectX-9 网卡，因此它们连接到 Vera CPU，GPU 的流量需要绕道：Rubin 连接 NVLink-C2C，再连接 Vera，然后通过 PCIe 连接到 ConnectX-9。这种绕行增加了一次延迟，并且使 C2C 链路承担了双重任务。由于计算、主机流量和网络流量同时占用带宽，Vera 的部分 C2C 带宽用于传输网卡有效载荷，导致 GPU 实际可用的主机带宽低于标称的 1.8TB/s。

带宽计算进一步放大了这一优势。每块 MI455X 的横向扩展能力为 2,400 Gbit/s，而 Rubin 的横向扩展能力为 1,600 Gbit/s，因此 Helios 的每浮点运算性能 (FLOP) 可承载更多的网络带宽。AMD 对 8,000 个 GPU 的训练运行进行模拟，结果表明第三块网卡使作业完成速度提高了约 13%。

鲁宾在存储方面进行了反驳，原因仍然在于网卡的位置。ConnectX-9 内置了一个 PCIe 交换机，因此 NVMe 可以直接连接到网卡，GPU 可以通过 GPUDirect Storage 获取数据而无需经过 CPU。MI455X 没有类似的功能：它的存储连接到 Venice 主机，因此任何需要 GPUDirect 的数据都必须经过 CPU，然后通过 Infinity Fabric 链路返回。AMD 优化了网络路径，但代价是存储路径的性能下降；NVIDIA 则做了相反的权衡。哪种方式更重要，取决于工作负载是需要在 GPU 之间传输数据，还是需要从磁盘流式传输数据。

客户可以改变什么

简而言之，以上内容描述的是AMD的参考设计，其中一些参数是用户可以自行配置的最低配置。最明显的例子是主机CPU。Rubin的Vera主机只有一个固定配置；Helios托架上的Venice主机则采用标准的SP7插槽式CPU，AMD也确认所有Venice SKU都可以直接安装到Helios平台上，无需任何Helios平台的定制。参考托架采用的是96核5GHz的CPU，因为单线程速度足以满足GPU的需求。当然，用户完全可以根据自己的需求，选择256核的旗舰级CPU，或者配备1,152MB堆叠式L3缓存的Venice-X处理器，以应对对缓存要求较高的预处理任务。

内存和网络遵循相同的插槽逻辑。1TB DRAM 的参考配置是 16 条 64GB 的 RDIMM 内存条；更高容量的 DIMM 内存条可将容量提升至 4TB，而 MRDIMM-12800 则可使 Venice 的吞吐量达到 1.6TB/s。在网络方面，通过普通的 PCIe Gen 6，每个 GPU 的网卡数量可以从 3 个减少到 2 个；每个 Vulcano 端口可以配置为 1 个 800G、2 个 400G、4 个 200G 或 8 个 100G，并支持 Tomahawk 5 或 Tomahawk 6 交换矩阵；P4 流水线将传输协议（RoCEv2、MRC 或其他专有协议）的选择权留给了运营商。即使是管理平面也是可互换的，因为交换机 NOS 采用的是开源的 SONiC，而 AFM 通过其北向 API 公开了整个交换矩阵。

功耗预算也与插槽相关。NVIDIA 的超级芯片共享一个封装：Vera 是一款 450W 的芯片，其部分功耗被限制在一定范围内；而最近几代产品在高负载下会将部分功率分配给 GPU。AMD 尚未说明其参考设计是否会限制或转移主机功耗，但根据 AMD 的设计，这个问题由客户决定，他们可以定制系统，在不影响功耗分配的情况下使用更高的功耗。

主机链路的 PCIe 底层架构，拆解后位于计算托架部分，开启了最后一扇门，但这扇门目前还只是推测。Venice 支持双路配置，部分 AI 主机平台可以通过牺牲插槽间的 xGMI 带宽来换取 I/O 通道，从而实现双路配置并拥有多达 160 条可用的 PCIe 通道。理论上，客户可以构建一个双路托架来匹配 NVIDIA 1:2 的 CPU 与 GPU 比例，或者重新调整 xGMI 链路以提高 CPU 与 GPU 之间的有效带宽。目前没有任何迹象表明有人正在这样做，而且这些方案也无法弥补与 NVLink-C2C 1.8TB/s 带宽之间的差距。关键在于谁掌握着主动权：在 Helios 平台上，主机、内存、电源以及可能的拓扑结构都由客户决定，而 NVIDIA 的超级芯片则完全剥夺了客户的选择权。

萨利纳DPU

现在回到我们之前提到的前端网络。AMD 第三代 Pensando DPU Salina 是一款 400G 网卡，拥有完全可编程的 P4 数据路径，这意味着新的封装、遥测接口或传输层只需固件更新即可实时应用，不会造成流量中断。其出货服务已涵盖前端配置清单：支持 VXLAN 或 NVGRE 的 SDN、可扩展至数百万条规则的有状态防火墙、线速 IPsec、PSP、DTLS 或自定义加密、NAT 以及负载均衡。它也是机架上久经考验的芯片。Pensando DPU 自 2019 年以来就已应用于超大规模数据中心；如今，微软、Oracle 和 IBM 都已部署了 Salina 作为前端设备；Oracle 认为该系列产品使 SDN 性能提升了 5 倍，一家超大规模数据中心通过将 I/O 任务卸载到 Salina，每个服务器节省了 22 个 CPU 核心。

存储是第二幕。Salina 将 NVMe-over-Fabrics 设备暴露给主机，通过 TCP 或 RDMA 虚拟化远程 SSD 池，并在显卡上完成加密、摘要和压缩。在 Helios 架构中，它增加了一个代理时代的技巧：上下文内存引擎呈现一个模拟的键值存储 (KV) 设备，因此溢出的 KV 缓存会溢出到 CPU DRAM、本地 SSD 或远程存储，并以线速流回 HBM，而不是重新计算。正如 Rubin 的对比中所指出的，MI455X 缺少 GPUDirect Storage；这种 KV 卸载是 AMD 针对服务最关心的流量问题提供的部分解决方案。

这也是我们有所保留的地方。带宽差距显而易见：Salina 是一张 400G 的网卡，而 Vera Rubin 机架中配备的 BlueField-4 则凭借 64 核 Grace CPU 和集成的 ConnectX-9，带宽翻倍至 800G。软件差距虽然更具争议性，但也确实存在。NVIDIA 的 DOCA 为开发者提供容器化的预构建服务，这些服务可以用普通的 C 和 C++ 编程；而 P4 是一种大多数团队从未接触过的专用数据平面语言。这种比较并非“DOCA 的产品目录与裸 P4 的对比”，因为 Salina 提供完整的主要服务，而部署它的超大规模数据中心选择它的部分原因在于 P4 允许像 MRC 这样的新协议在芯片周期之前就集成到固件中。真正的区别在于可编程性服务的对象。Salina 的灵活性是 AMD 和精通 P4 的超大规模团队的利器；而 DOCA 则是普通企业开发者也能轻松上手的工具包。对于更广泛的市场而言，NVIDIA 的软件入门更容易，AMD 也深知这一点。

ROCm.AI

说到软件，AMD 将一项重磅发布留给了整个技术栈。ROCm.AI 将于 8 月发布，这是 AMD 从底层构建 GPU 平台智能化的尝试。AI Skills 将 ROCm 集成到开发者已在使用的代码代理（如 Claude、Codex、Cursor 和 Gemini）中，因此在 Instinct 上安装、部署和调试都只需使用简单的英语即可完成。Hyperloom 则是更引人注目的部分：它是一款无需人工干预的优化器，能够分析工作负载、调整其服务配置、重写 GPU 内核，并在操作员休息时验证结果。AMD 表示，他们目前正在持续优化约 14,000 个模型，并且在一次现场演示中，MiniMax M3 的吞吐量提升了 38%。在代理底层，FlyDSL 为 Python 带来了接近汇编级别的控制能力；ROCm 改为固定的 6 周发布周期；AMD 声称，在相同的硬件配置下，ROCm.AI 的推理速度平均提升了 3.3 倍，训练速度平均提升了 2.4 倍（与 ROCm 7 相比）。ROCm 7 已经取得了显著的进步；现在，AMD 正寄希望于 AI 技术来加速这一进程。

软件环节最重要的幻灯片无疑是关于硬件的。AMD强调幻灯片上的每一个数据都是实测的，其潜台词是MI455X芯片目前已在ROCm测试环境下稳定运行，速度飞快。具体数据包括：FP8 MLA解码速度20TB/s，FP4计算速度20 PFLOPS，纵向扩展带宽3.2TB/s，横向扩展带宽190GB/s。在问答环节，AMD承认FP4的测试结果是最大可达矩阵乘浮点运算速度（MAMF）的测量结果，采用的矩阵形状能够最大程度地发挥器件的性能，这是此类基准测试的标准做法。AMD的这一表述也颇为大胆：他们公开承认MI455X能够维持其峰值40.26 PFLOPS MXFP4性能的50%左右，而大多数厂商都会对这一数据讳莫如深。

AMD 声称这是目前市面上所有加速器中最高的计算能力，但这一点值得商榷。AMD 的 FP4 是 OCP MXFP4；NVIDIA 的则是 NVFP4。它们的实现方式不同：NVFP4 对每个 16 元素块应用分数 FP8 缩放，并在此基础上再进行张量级缩放；而基准 MXFP4 则使用每 32 个元素 2 的幂次方缩放，因此 NVFP4 的 FLOP 运算量比 MXFP4 的 FLOP 运算量更大。CDNA 5 也可以对 MXFP4 应用分数缩放，但 AMD 没有说明此次测量使用的是哪种实现方式。Rubin MAMF 测试和 MI455X MAMF 测试的计算方式不同，因此跨厂商的 FP4 性能比较只能在应用层面进行：即在相同精度下每秒的令牌数。实测数据优于预期，但这些数据与 AMD 上一代产品相比才最能体现其真实性能，上一代产品 3 倍到 4 倍的性能提升是毋庸置疑的。

AMD也有优势。这些是ROCm.AI在全新芯片上的早期测试结果，因此它们可能低估了经过精心调校的生产部署所能达到的性能。真正的评判标准将在这些机架部署到超大规模数据中心后揭晓。

关闭的思考

Helios 是 AMD 迄今为止出货的最完整的系统，也是首款在机架级而非芯片级层面与 NVIDIA 正面交锋的产品。在决定当今 AI 性能的关键领域，AMD 的表现遥遥领先：每个 GPU 的 HBM 容量提升 50%，纵向扩展能力与 Rubin 架构持平，横向扩展带宽提升 50%，并且根据 AMD 自身的模型，每美元可获得的代币数量最多可提升 30%。同样重要的是其实现方式：采用商用 Tomahawk 交换机，从数字格式到机柜均采用开放标准，以及将最终配置权交到客户手中的插槽式主机。NVIDIA 在 C2C 主机链路、DPU 和软件接入方面仍然拥有真正的优势，但从纸面数据来看，AMD 的硬件整体性能首次占据上风。

买家们也认同这一点。AMD表示，OpenAI、Meta、Anthropic、微软和Oracle等公司都在采用Helios架构，并且AMD强调，机架式服务器目前已投入生产。AMD效仿NVIDIA的做法，将产品路线图设定为年度周期：基于CDNA 6架构的MI500系列将于2027年推出，配备新一代HBM显存以及铜缆和光纤互连技术；MI600系列也已在研发中，预计将于2028年发布。

这就引出了软件方面的问题，而多年来，我们首次不再以软件问题作为AMD GPU故事的结尾。ROCm 7弥补了诸多不足，ROCm.AI将于8月发布，并在此基础上带来显著的性能提升，而且AMD的发布节奏也已固定为每六周一次。此外，买家是谁也至关重要。签署这些协议的实验室和超大规模数据中心与AMD共同设计产品，并拥有足够的工程师来解决遇到的任何问题。而需要交钥匙解决方案的企业则另当别论，目前这部分市场仍由NVIDIA占据。但Helios正是为超大规模数据中心和AI实验室打造的，对他们而言，硬件已经准备就绪，软件也与时俱进，机架也已开始发货。AMD从未像现在这样处于如此有利的地位。