AMD舉辦了迄今為止規模最大的Advancing AI活動，並將規模作為核心主題。該公司發表了Instinct MI455X GPU、72 GPU的Helios機架以及第六代EPYC Venice CPU。 MI455X配備432GB HBM4顯存，比NVIDIA的B300或Rubin提升了50%，擁有23.3TB/s的顯存頻寬和高達40.26 PFLOPS的MXFP4運算能力。完整的Helios機架可將這些效能提升72倍，實現2.9 exaFLOPS的FP4運算能力、31TB的HBM4顯存、1.7PB/s的顯存頻寬、260TB/s的縱向擴展頻寬以及43TB/s的橫向擴展頻寬，從而為資料中心提供更強大的支援。 AMD的目標是在所有指標上都引領業界。本文將深入探討MI455X和Helios機架。威尼斯發表會將在另一篇分析文章中進行討論。

另一個主題是開放性，它貫穿每一層，從互連開始。在機架內部，所有 72 個 GPU 透過 UALink 共享記憶體。 UALink 是一種開放式聯盟架構，AMD 在乙太網路上運行它，稱為 UALink over Ethernet (UALoE)。一旦流量離開機架，它就會透過 Ultra Ethernet 傳輸，Ultra Ethernet 是 Ultra Ethernet Consortium 推出的開放橫向擴充標準。同樣的 Instinct 架構運行在堆疊的上層。低精度運算使用 OCP 的開放 MXFP4、MXFP6 和 MXFP8 資料格式，而容納所有這些設備的機架則按照開放計算項目 (OCP) 的開放式機架寬 (Open Rack Wide) 設計構建。甚至軟體也是開源開發的，ROCm 的編譯器、執行時間和函式庫都以原始碼​​形式提供。

由於該技術堆疊中的所有規範如今都已公開並可供下載，超大規模資料中心可以將 Helios 視為藍圖，並建立一個根據自身設施和工作負載量身定制的版本，例如替換網路、電源供應或管理元件。這意味著本文中介紹的所有內容均基於 AMD 發布的參考設計；客戶部署的實際設備可能存在顯著差異。目前已有不少廠商準備採用 Helios：AMD 表示，OpenAI、Meta、Anthropic、微軟、Oracle 等公司都在使用 Helios。

AMD Instinct MI455X：CDNA 5 旗艦級處理器

MI455X 是首款採用 CDNA 5 架構的加速器，包含 3,200 億個電晶體。 MI455X 採用台積電 N2 製程製程製造的 8 個加速器複合晶片 (XCD)，以及採用 N3 製程製程製造的 2 個 I/O 晶片和 2 個交換矩陣/快取晶片，並配備 12 個 HBM4 記憶體堆疊。它是迄今為止採用台積電 CoWoS-L 封裝製程製造的最大晶片。

記憶體是本次更新的亮點之一。這十二個 HBM4 記憶體堆疊總容量為 432GB，速度為 23.3TB/s，HBM4 將每個堆疊的介面容量翻了一番，達到 2,048 位元；此外，兩個 Fabric 和 Cache 晶片還增加了一個 192MB 的 L2 緩存，運行速度為 54TB/s。

MI455X 在 I/O 方面也毫不遜色。它擁有 72 條 UALoE 通道，可為機架其他設備提供 3.6TB/s 的雙向向上擴展頻寬；為主機 CPU 提供 256GB/s 的雙向 Infinity Fabric 頻寬；並可選擇兩條 PCIe Gen6 x16 鏈路或三條 AMD AI-NIC 鏈路進行橫向擴展。

與它所取代的晶片以及NVIDIA的產品相比，MI455X在所有指標上都領先。

規格	AMD MI455X	NVIDIA Rubin	AMD MI355X	NVIDIA B300
卓越的建築	互補DNA 5	魯賓	互補DNA 4	布萊克韋爾超級
晶體管	320B	336B	185B	208B
HBM容量	432GB HBM4	288GB HBM4	288GB HBM3E	288GB HBM3E
HBM頻寬	23.3TB/秒	22TB/秒	8TB/秒	8TB/秒
每個GPU的擴展	3.6TB/秒	3.6TB/秒	1.08TB/秒	1.8TB/秒
每個GPU的橫向擴展	2,400 Gb / s	1,600 Gb / s	400 Gb / s	800 Gb / s
CPU-GPU連結	256GB/s Infinity Fabric	1.8TB/s C2C (1:2)	PCIe 5	900GB/s C2C (1:2)

 

我們先來看看AMD的優勢所在。 MI455X的HBM顯存容量高達432GB，比MI355X、B300和Rubin（最高288GB）高出50%。其23.3TB/s的顯存頻寬也是同組產品中最高的。橫向擴充能力方面，AMD也佔絕對優勢：MI455X的單GPU頻寬為2,400 Gbit/s，而Rubin為1,600 Gbit/s，B300為800 Gbit/s。每台MI455X的機架網路頻寬都比最接近的競爭對手高出50%。

AMD 終於在規模化方面迎頭趕上。多年來，NVLink 一直是領先的 GPU 互連架構，並且在兩代產品中，它是實現支援 WideEP 的 MoE 型號頂級效能的唯一途徑。 UALoE 僅用一代產品就彌補了這一差距：MI455X 的吞吐量達到 3.6TB/s，與 Rubin 的 NVLink 6 相當。 NVIDIA 在主機連結方面仍然保持著明顯的領先優勢。一顆 Vera CPU 透過 1.8TB/s 的 C2C 連結為兩顆 Rubin GPU 提供數據，而每顆 MI455X 則透過 256GB/s 的 Infinity Fabric 連結與其 Venice 主機通訊。這種差異決定了本文後續部分對兩種機架式架構的差異。

在原始運算方面，MI455X 全面領先，但有一點需要注意：AMD 的 OCP MX 格式和 NVIDIA 的 NVFP4 擴展方式不同，因此請將這些視為宣傳的峰值；實際效能是另一個問題。

格式	AMD MI455X	NVIDIA Rubin	AMD MI355X	NVIDIA B300
MXFP4 / NVFP4	40.26 公積金	35 公積金	10.1 公積金	15 公積金
MXFP6 / FP6	20.13 公積金	17.5 公積金	10.1 公積金	5 公積金
MXFP8 / FP8	20.13 公積金	17.5 公積金	5 公積金	5 公積金
FP16 / BF16	5.03 公積金	4 公積金	2.5 公積金	2.5 公積金
FP32	315 TF	130 TF	157.3 TF	75 TF

 

與 MI355X 相比，MI455X 的 MXFP4 和 MXFP8 吞吐量是其四倍，FP16/BF16 和 FP32 速率是其兩倍。與 NVIDIA 顯示卡的比較分為兩部分。與 B300 相比，MI455X 的 FP4 吞吐量是其 2.7 倍，FP6 和 FP8 速率是其四倍。 Rubin 是最具代表性的基準測試，MI455X 在該測試中始終保持優勢：FP4 領先 15%，FP6 和 FP8 領先 15%，FP16/BF16 領先 26%。差距最大的是 FP32，MI455X 的 315 TF 大約是 Rubin 的 130 TF 的 2.4 倍，更是 B300 的 75 TF 的四倍多。這個數字源自 Instinct 的 HPC 血統，對於 AI 工作仍然很重要，因為主權重、高精度累積和科學工作負載仍然在低位元格式之上運行。

CDNA 5 內部

讓我們深入架構一探究竟，看看是什麼造就了這種領先業界的效能。

從 XCD 到 SIMD

從封裝層級向下分析，可以發現由於 CDNA 4 對計算晶片的組織方式截然不同，因此進行了大量的重構。在 MI355X 中，每個 XCD 晶片承載 32 個活躍的運算單元和一個私有的 4MB L2 緩存，用於在資料到達 Infinity Fabric 之前對晶片的流量進行集中管理。 CDNA 5 保留了八個 XCD 晶片，但對其內部結構進行了重構，借鑒了 AMD RDNA 圖形晶片的結構和術語。 MI455X 的每個 XCD 晶片現在分成兩個著色器引擎。每個著色器引擎物理上包含 17 個工作組處理器，其中 16 個已啟用，1 個備用以保證良率。每個 XCD 晶片的 L2 快取完全移除，從計算晶片上移至下方的基礎晶片，記憶體部分則回到這些基礎晶片。

真正重要的運算過程並沒有改變。 XCD 仍然貢獻 32 個活動單元，GPU 的總數仍然是 256 個，與 MI355X 的計算單元數量相同。低精度吞吐量提升 4 倍並非來自執行單元的增加；而是來自每個 WGP 在每個週期內完成更多的工作，而 WGP 正是此次重新設計的重點所在。

WGP 由四個 32 通道 SIMD 單元和四個標量單元組成，共享一個常數快取。最大的變化在於線程在其中的流動方式：從 Wave64 過渡到 Wave32。 Wave 指的是 SIMD 同步運行的執行緒束。 CDNA 4 使用 Wave64，將每個 64 執行緒的 Wave 透過一個 16 通道 SIMD 單元在四個時脈週期內執行。 CDNA 5 完全放棄了對 Wave64 的支持，成為第一個這樣做的 Instinct 架構，並且原生運行 Wave32。一個 32 執行緒的 Wave 與 WGP 的四個 32 通道 SIMD 單元一一對應，在一個時脈週期內完成，並且允許每個 SIMD 單元在每個時脈週期開始執行一條新的指令。

更窄、更快的波形改變了工作負載在機器中的流轉方式。指令延遲降低，因為波形完成得更快。分支發散的成本也降低了，因為現在最多只會阻塞 32 個線程，而不是之前的 64 個。暫存器壓力減輕，因此更多的波形可以駐留在記憶體中，每個 WGP 最多可以駐留 64 個波形，而之前只有一半。這使得調度器能夠處理更多的小型獨立工作單元，從而更好地隱藏記憶體延遲。 Wave32 也使得將不同大小的張量運算映射到硬體上變得更加容易，從而簡化了核心開發。

Single-cycle issue is only the start of the throughput story. The SIMDs co-execute, starting new instructions while earlier multi-cycle operations drain underneath, and packed vector instructions carry 64 threads' worth of work in a single issue, details AMD's architects confirmed in the post-briefing Q&A. The vector pipeline also gains native BF16 support and a set of new data-conversion instructions for moving tensors between formats. The transcendental units double their throughput over the MI355X and add a native tanh instruction, so the softmax and activation math inside attention keeps pace with the tensor hardware around it. That path is becoming a habit: CDNA 4 doubled the transcendental rates to accelerate attention, and CDNA 5 doubles them again.

記憶層次結構

在執行單元的背後，是一個從上到下重建的層級結構，而最清晰地了解它的方法是與 MI355X 逐層進行比較。

水平	MI455X（CDNA 5）	MI355X（CDNA 4）
向量暫存器	每個 SIMD 通道 128KB；每個執行緒 1,024KB；頻寬翻倍	每個 SIMD 指令 128KB；每個執行緒 256KB
WGP / CU 本地商店	384KB（320KB LDS + 64KB 向量快取）；頻寬翻倍	192KB（160KB LDS + 32KB L1）
指令/常數緩存	每個 WGP 64KB + 16KB	每兩個CU共享64KB + 16KB
L2	FCD上2×96MB；54TB/s	8 × 4MB，每張 XCD 一張
記憶體端快取	被淘汰	256MB 無限緩存
HBM	432GB HBM4；12 × 2,048 位元堆疊；23.3TB/s	288GB HBM3E；8 × 1,024 位元堆疊；8TB/s

 

快取行是架構改變的地方。 CDNA 4 採用三級設計：每個 XCD 的私有 4MB L2 快取負責在流量到達 Infinity Fabric 之前將其合併；I/O 晶片中共享的 256MB Infinity 快取位於記憶體側，HBM 控制器之前。 CDNA 5 刪除了這兩層，取而代之的是兩個獨立的 96MB L2 緩存，每個 Fabric 晶片和緩存晶片各一個，每個緩存由 96 個 1MB 的區塊組成。佈局為垂直：四個 XCD（或八個著色器引擎）以混合鍵合的方式連接在每個 FCD 之上，每個 FCD 還容納了十二個 HBM4 位點中的六個；兩個 FCD 在封裝中間的中央 Infinity Fabric 處匯合，I/O 晶片位於兩端。任何一個 L2 快取都可以儲存 GPU 記憶體中的任何位址，Infinity Fabric 負責保持兩個 L2 快取的一致性。 AMD 給出的理由是頻寬：單一快取即可提供 MI355X 整個 Infinity Cache 總頻寬的 1.5 倍，兩個快取即可提供三倍，而且所有這些流量都不必跨越限制舊佈局的晶片間二分法。

快取也承擔了新的職責。先前在交換矩陣外部執行的設備級原子操作，現在以更高的速率在 L2 快取中運行，而係統級原子操作則仍然像以前一樣在 Infinity Fabric 中執行。新增的廣播仲裁器完善了這個機制，它將張量瓦片多播給在同一矩陣上協作的每個 WGP。因此，只需取得一次權重即可服務於所有權重，從而將有效讀取頻寬提升至多 4 倍。

上述各級架構均相應擴展。每個 WGP 的本地儲存空​​間翻倍至 384KB，分成 320KB 的 LDS 和 64KB 的向量資料緩存，讀取頻寬也翻倍。這使得 FlashAttention 能夠在晶片上保存查詢、鍵、值和部分歸約結果，而無需寫入完整的注意力矩陣。它還支援融合的 MoE 內核，以保持路由狀態和累加器駐留。向量暫存器檔案保持其每個 SIMD 128KB 的容量，但針對 Wave32 進行了重新組織。這使得波的數量翻倍，允許單個執行緒尋址 1,024 個暫存器而不是 256 個，並且暫存器頻寬翻倍，以支援更寬的 SIMD 及其協同執行單元。

標量部分也進行了重建以與之匹配，每個波段有 128 個標量寄存器，每個 WGP 有 32KB。在基礎層面上，HBM4 從 8 個 1,024 位元堆疊升級到 12 個 2,048 位元堆疊，容量提升 50% 至 432GB，頻寬提升 2.9 倍至 23.3TB/s（透過 192 通道介面）。

所有這些操作都由一個全新的張量數據移動器（每個WGP一個）驅動，該移動器能夠理解高達五維的張量分塊方案，並在DRAM和本地存儲之間異步傳輸分塊數據，無需中間寄存器暫存。傳輸過程由從標量暫存器載入的描述符描述，並在硬體中進行邊界檢查以確保安全性。此移動器支援多播加載，因此SIMD單元不會因等待複製或因暫存複製而阻塞暫存器。這是CDNA 5針對NVIDIA最新產品上的張量記憶體加速器提出的解決方案。一系列利用率特性完善了機器的前端：工作組集群使核心能夠明確控制資料共享工作負載的放置和並發性；拆分和命名屏障允許生產者發出完成信號並繼續執行，而無需等待消費者響應；層次結構每一層的預取器將資料暫存到其消費點；重新設計的命令前端降低了內核啟動和調度延遲，尤其適用於主導推理的短定義。

DMA 系統基於相同的理念進行了重建。軟體根據 DMA 前端調度傳輸任務，而位於 UALoE 鏈路旁的物理感知後端將每個工作項目拆分，並在每個可用鏈路上進行負載均衡，然後直接從內存中提取緩衝區數據，而無需將數據傳輸到晶片另一端的引擎。後端還能回應來自擴展網路的擁塞壓力，並繞過擁塞路徑，從而使通訊庫能夠在無需了解底層拓撲結構的情況下獲得均衡的網路流量。

GPU切片：NPS和SR-IOV

雙L2實體佈局在GPU分區方式上帶來了第二個優勢。在NPS1架構中，整個晶片是一個NUMA域：位址在所有十二個HBM堆疊和兩個半晶片上交錯，以實現均勻的頻寬，便於移植並實現均勻分佈的存取模式。 NPS2架構將GPU劃分為兩個NUMA域，每個域擁有六個HBM堆疊、一個Fabric和Cache Die以及堆疊在其上的XCD。這樣，每個記憶體存取都位於其各自的半晶片內，每個域實際上都擁有一個獨立的96MB L2快取。這不僅縮短了物理路徑。由於兩個半晶片之間沒有共享的快取行，兩個L2快取之間的Infinity Fabric一致性流量基本上消失，AMD表示，這為NUMA感知型應用程式帶來了更低的延遲和更高的效率。 CDNA 4 提供了同樣廣泛的交換，NPS2 將流量限制在一個 I/O 晶片內，但 CDNA 5 對此進行了改進，因為現在局部化的是整個 L2 緩存，而不是內存端緩衝區的一部分。

計算分區堆疊位於其上。八個 XCD 允許 GPU 以一個、兩個、四個或八個空間分區啟動，將 432GB 的 HBM 記憶體均勻地劃分為 432GB、216GB、108GB 或 54GB 的切片，每個切片由八個 XCD 提供支援。將分區與 NUMA 域配對，使得運行時能夠按空間調度作業並分配內存，從而確保作業分配到距離其內存最近的 XCD 上。然後，SR-IOV 將這些分區虛擬化為多達八個硬體隔離的虛擬機，隔離在記憶體系統本身中強制執行，與運行的 NUMA 模式無關。 MI355X 也提供了相同的一到八個分區選項，因此這種粒度劃分並非全新；CDNA 5 在此基礎上增加了私有 L2 行為，並在其之上增加了 Helios 部分介紹的機架級虛擬 Pod。

AMD Helios

單台 MI455X 速度很快。但隨著此次發布，AMD 也加入了機架級和大規模擴展領域的行列。

在物理結構上，Helios 摒棄了傳統的 19 英寸和 21 英寸機架，轉而採用 Open Rack Wide 機架，這是 AMD 與 Meta 在 OCP 大會上共同開發的格式：機櫃寬 1.2 米，深 1.3 米，垂直空間達 44 OU。內部，72 個 GPU 安裝在兩組各 9 個運算托架中，6 個交換器托架則堆疊在它們之間。所有 GPU 到交換器的連接均採用銅纜，並透過後部的四個盲插式線纜盒進行佈線，因此托架可以輕鬆滑出進行維護，無需手動拔插任何線纜。

整個機架依工作負載的不同，功耗在 225 至 245kW 之間，透過 50V 液冷母線供電，後部歧管每分鐘從設備迴路輸送約 385 公升冷卻液。托盤本身也是相當重的硬體：每個托盤重約 170 磅，安裝一個交換器托盤上的 1,728 個差分對連接需要約 690 磅的插入力，因此其凸輪手柄幾乎貫穿托盤的整個寬度。

基本組成部分

計算機托盤

在參考設計中，每個計算托架都是一個獨立的節點，圍繞著 4 個 MI455X 模組和一顆高頻 96 核 Venice SP7 CPU 構建，該 CPU 最高睿頻可達 5GHz。其 16 個 DIMM 插槽可容納 1TB 的 DRAM，採用 16 × 64GB DDR5 ECC RDIMM 記憶體條，CPU 後方還配備 5 個 E1.S NVMe 插槽。該平台的額定容量遠不止於此：Venice 的 16 個記憶體通道支援高達 1.6TB/s 的頻寬，而 256GB RDIMM 記憶體條是目前 DDR5 記憶體的最高規格，因此每個通道 1 個 DIMM 記憶體條的 16 通道插槽最大容量可達 4TB。

與NVIDIA的做法類似，Venice的CPU透過Infinity Fabric連接到一致性記憶體域，而不是像NVIDIA那樣作為普通的PCIe主機位於GPU之後。 AMD表示，1:4的CPU與GPU比例是經過深思熟慮的：核心性能遠超競爭對手，AMD的對比測試表明，5GHz的Zen 6核心在單核性能上比NVIDIA的Vera高出約20%。此外，由於Venice採用標準的SP7插槽，因此需要更高主機運算能力的客戶可以選擇任何Venice SKU，直到256核心的旗艦版本。單一Venice插槽的DDR5記憶體容量也遠高於LPDDR主機設計，其記憶體頻寬可以透過Infinity Fabric連結為所有4個GPU提供充足的頻寬。

這條 Infinity Fabric 連結值得仔細研究。在與Chips and Cheese的 George Cozma 討論 Venice 到 MI455X 的連接時，他指出這條相干鏈路利用了 CPU 的 PCIe 通道，就像 EPYC 多年來透過 PCIe PHY 傳輸其 xGMI 插槽鏈路一樣。數據也支持這個理論。 PCIe Gen 6 的訊號傳輸速率為每條通道 64 Gb/s，而 x16 連結則以此速率計算，單向傳輸速率為 128GB/s，這與 AMD 宣稱的每顆 GPU 雙向 256GB/s 的速率完全一致。 CDNA 5 白皮書的框圖也標示主機 Infinity Fabric 介面的速率為每個通道 64 Gb/s，與 Gen 6 的訊號傳輸速率完全相同。這個理論也解釋了為什麼任何 Venice SKU 都能直接使用：4 顆 GPU 佔用了 CPU 128 條 Gen 6 通道中的 64 條，剩餘的通道則可用於 DPU、儲存和其他系統需求。

每個計算托架都通過三個獨立的網絡，每個網絡都服務於不同的任務。最傳統的是前端網絡：一個 Pensando Salina 400G DPU 將節點連接到常規資料中心網絡，我們稍後會詳細介紹。

第二種是橫向擴展，即連接機架組成集群的網絡，最簡潔的理解方式是計算 SerDes 的數量。 MI455X 的橫向擴展可以使用 PCIe Gen 6（每通道 64 Gb/s）或 UALink128（每通道 128 Gb/s），而 Vulcano 800 網路卡需要大約 128 Gb/s 的單向連接速率才能確保其 800 GbE 連接埠的正常運作。在 PCIe Gen 6 速率下，每個網卡需要一條完整的 x16 鏈路，因此 GPU 需要承載 2 個網卡；在 UALink128 的雙倍訊號速率下，一條 x8 鏈路即可承載一半的 SerDes，因此 GPU 需要承載 3 個，這也是 Helios 出廠配置。無論採用哪種方式，UALink128 連結都只是 GPU 和網路卡之間的專用線路；網路本身是從 Vulcano 開始的。每個網路卡驅動 800GbE 端口，運行符合 UEC 標準的傳輸協議，包括 MRC（OpenAI 與 AMD 及其他合作夥伴共同開發的多路徑協議）。在實體層面上，每個托架上的兩塊客製化電路板分別搭載 4 或 6 個 Vulcano ASIC 晶片，對應每個 GPU 配備 2 個網路卡和 3 個網路卡的配置。完整配置下，每個托架包含 12 個網路卡，每個 GPU 的橫向擴充頻寬為 2,400 Gb/s。由於網路卡直接連接到 GPU，CPU 不參與傳輸路徑，因此機架間流量無需經過主機連結。

第三點是擴展性，正是這種架構使 Helios 成為真正的機架級系統。每個 GPU 都配備 36 個 UALoE 鏈路，這些連結透過 ESUN 乙太網路運行 UALink 的記憶體語義，每條鏈路的頻寬為 400 Gb/s，每個 GPU 的雙向頻寬總計可達 3.6TB/s。這些連結從托架後部連接到交換器托架，承載將 72 個 GPU 整合到一個共享記憶體叢集中的載入/儲存流量。

開關托盤

接下來是交換器托架，它們最引人注目的地方在於其晶片的普通程度。 6 個托架中的每一個都裝有 2 個博通 Tomahawk 6 ASIC 晶片，這與超大規模資料中心在其葉脊式網路中部署的商用乙太網路交換晶片相同，每個晶片支援 512 條 200G 通道。

每個GPU透過3條UALoE連結（每條UALoE連結包含2條200G通道）連接到12台交換器中的每一個，每個計算托架透過後部線纜盒引出144條鏈路。因此，每台Tomahawk交換器以400Gb/s的速率終止216條鏈路，實現21.6TB/s的雙向頻寬傳輸，而每個GPU則保持其全部36條鏈路（72條200G通道）和3.6TB/s的頻寬。交換器無需任何特殊技術即可實現這一點：UALoE封裝採用的是普通的二層協議，轉送依賴於乙太網路晶片二十年來一直提供的靜態MAC位址編程，而流量控制則是標準的優先權流量控制。

採用單層架構，可以避免許多類型的資料中心擁塞問題：不存在多層內嵌，並且每個 GPU 與其他 GPU 之間都保持固定的延遲，僅相隔一個固定的躍點。與直接網狀架構相比，交換式架構還允許單一資料流在工作負載需要時佔用整個路徑的頻寬，並保持每個 GPU 之間的距離相等。因此，調度無需考慮局部性，並且為每條鏈路提供相同的故障保護。

容錯能力

Helios 將硬體故障視為設計輸入。在這種規模下，故障總是會發生：電纜不穩定、資料包遺失、交換器因韌體更新而被撤下、計算托架徹底損壞等等。 Helios 的網路架構設計可確保這些事件不會導致作業中斷。遺失的資料包會透過重傳恢復，當連結、電纜或交換器發生故障時，流量會在短暫暫停後自動繞過故障點，工作負載會繼續利用剩餘頻寬運行，而不是從故障點重新開始。

12層拓樸結構使得性能衰減過程平滑，而三向條帶化則決定了衰減的步長。如果GPU連接到交換器的3條連結中只有1條失效，則該層仍能保持三分之二的頻寬。如果整個Tomahawk交換器失效，每個GPU的擴展頻寬將損失十二分之一，而所有GPU之間的連接仍可透過其他11層繼續工作。即使損失整個交換器托架（12個交換器中的2個），每個GPU也只會損失六分之一的頻寬，而不會中斷連接，因為沒有GPU依賴任何單一交換器來連接其他GPU。相較之下，Vera Rubin NVL72將每個GPU分佈在9個托架的36個NVSwitch 6 ASIC上，因此一個交換器托架的故障會導致接近九分之一的頻寬損失。 NVIDIA使用三倍數量的交換器ASIC來獲得更小的衰減步長；AMD則反駁說，12個高階交換器意味著更少的組件、線纜和連接器，從而避免了故障的發生。對於以周為單位的訓練運作來說，損失六分之一的交換頻寬與失去工作之間的區別，就相當於整個機架的經濟價值。

虛擬艙

用於在故障期間隔離網路架構的相同機制也可以用於人為隔離。 AMD 將這種結構稱為虛擬 Pod（vPod），其基本單元是運算節點：機架上的 18 個 4GPU 節點的任意組合都可以被隔離到一個獨立的 Pod 中，從小型租戶的 1 個節點到大型訓練作業的整個機架。這種隔離是在網路架構硬體層面強制執行的，低於調度器的任何決策。一個 vPod 與其租戶綁定；其他 Pod 無法存取其記憶體或流量，且每個 UALoE 鏈路上的線速 AES-256-GCM 加密（支援客戶擁有的叢集金鑰）確保一個租戶的張量對另一個租戶不透明。跨越多個 GPU 的客戶虛擬機器 (VM) 的安全性域可以透明地擴展到這些 GPU 上，無需信任宿主作業系統。 NVIDIA 在其 NVL72 機架上透過將 NVLink 域劃分為分區來解決相同的問題，其 IMEX 服務負責協調哪些節點可以相互導出和導入記憶體；vPod 是 UALoE 世界的等效物，因此來自 GB200 或 GB300 叢集的營運商會發現這個概念很熟悉。

如果計算托盤發生故障，影響範圍僅限於其對應的虛擬Pod：此工作負載將從檢查點重啟，而其他所有Pod則不受影響地繼續運行，租戶邊界同時也是故障邊界。分區機制也層級嵌套，因為單一MI455X最多可以拆分成8個SR-IOV虛擬機，因此同一個機架既可以服務於一個客戶，使其所有72個GPU作為一個Pod運行，也可以服務於最多576個GPU切片租戶，並且在每個層級都實現了硬體隔離。

管理平面

所有這些功能都由一個專用的軟體堆疊運行，該軟體堆疊遵循與硬體相同的開放性理念。 AMD Fabric Manager (AFM) 作為控制平面：它能夠發現並配置包含 72 個 GPU 的架構，實現零接觸啟動，因此只需打開機架電源即可啟動所有 72 個 GPU。然後，它會驗證線纜和卡槽的接線是否有組裝錯誤，將機架劃分為 vPod，並協調上述的重新路由和恢復過程。沒有專用的管理托架。 AFM 運行在交換器托架本身的管理處理器上，以 3 個冗餘實例的形式分佈在 6 個托架上，並透過分散式資料庫連接，因此即使某個交換器托架發生故障，也不會影響控制平面。此外，它還提供了一個北向 REST API，將架構暴露給管理多個機架的叢集控制器。

AFM 的底層架構借鑒了雲端原生技術，基於標準的 Kubernetes 式控制器，每個托盤上都部署了代理程式。它負責處理用戶無需查看的底層細節，甚至包括分配 UALink 用於尋址每個 GPU 的加速器 ID。它同時也是機架的可觀測層。一個統一的儀錶板即可追蹤 GPU 和底層網路的使用率、鏈路健康狀況以及故障事件；一旦出現故障，儀錶板會顯示正在進行的修復工作，並發出警報，供運維人員整合到他們自己的工具中。上面的截圖展示了 AFM 正在監控 AMD 實驗室中的 Helios 叢集。管理操作支援帶內和帶外兩種方式，因此診斷和配置不會幹擾正在運行的工作負載。 AFM 底層的交換器運行基於開源網路作業系統 SONiC 的網路作業系統，AMD 表示其 UALoE 功能將向上游提交，並透過標準的 gNMI API 對外開放。機架上方，機架基礎架構管理器負責節點和交換器的生命週期、電源和洩漏偵測，叢集控制器將 Helios 連接到 Kubernetes 和 Slurm 進行調度。

Helios 對陣 NVIDIA Vera Rubin NVL72

那麼讓我們來看看 Helios 實際上將在市場上遇到的 NVIDIA 產品 Vera Rubin NVL72 與它相比如何。

機架公制	AMD Helios	維拉·魯賓 NVL72
圖形處理器	72 MI455X	72 魯賓
CPU的	18威尼斯	36 維拉
HBM容量	31TB	20.7TB
HBM頻寬	1.7PB/s	1.58PB/s
每個GPU的擴展	3.6TB/秒	3.6TB/秒
機架規模化	260TB/秒	260TB/秒
每個GPU的橫向擴展	2,400 Gb / s	1,600 Gb / s
放大開關	12 戰斧 6	36 NVSwitch 6
機架形式	雙寬 ORW	單寬 MGX

從紙面資料來看，AMD 的優點明顯：HBM 記憶體容量提升 50%，每顆 GPU 的擴充效能同樣達到 3.6TB/s（僅需三分之一數量的交換 ASIC），每顆 GPU 的橫向擴充頻寬也提升 50%。 AMD 的內部測試將這些規格轉化為實際效能表現，在 Kimi K2 Thinking 架構上，每顆 GPU 的每秒令牌數提升了 10% 到 15%，每美元的令牌數提升高達 30%。這些數據是 AMD 自行對比 NVIDIA 公佈的數據，並非獨立測量結果，但它們代表了 AMD 希望被評判的標準。而更有趣的差異則隱藏在兩款設計如何將 GPU 與外部世界連接起來。

首先來看橫向擴展。 MI455X 的網路卡直接連接到 GPU。而根據 SemiAnalysis 的分析， Rubin 的網路卡並非如此：SemiAnalysis 指出，該封裝缺少 PCIe 介面來同時連接兩個 ConnectX-9 網路卡，因此它們連接到 Vera CPU，GPU 的流量需要繞道：Rubin 連接 NVLink-C2C，連接到 Vera CPU，GPU 的流量需要繞道：Rubin 連接 NVLink-C2C，連接到 Vera CPU，然後透過 PCIX 連接到。這種繞行增加了一次延遲，並且使 C2C 連結承擔了雙重任務。由於運算、主機流量和網路流量同時佔用頻寬，Vera 的部分 C9C 頻寬用於傳輸網路卡有效載荷，導致 GPU 實際可用的主機頻寬低於標稱的 1.8TB/s。

頻寬計算進一步放大了這一優勢。每塊 MI455X 的橫向擴展能力為 2,400 Gbit/s，而 Rubin 的橫向擴展能力為 1,600 Gbit/s，因此 Helios 的每浮點運算效能 (FLOP) 可承載更多的網路頻寬。 AMD 對 8,000 個 GPU 的訓練運行進行模擬，結果顯示第三塊網路卡使作業完成速度提高了約 13%。

魯賓在儲存方面進行了反駁，原因仍然在於網卡的位置。 ConnectX-9 內建了一個 PCIe 交換機，因此 NVMe 可以直接連接到網路卡，GPU 可以透過 GPUDirect Storage 取得資料而無需經過 CPU。 MI455X 沒有類似的功能：它的儲存連接到 Venice 主機，因此任何需要 GPUDirect 的資料都必須經過 CPU，然後透過 Infinity Fabric 連結傳回。 AMD 優化了網路路徑，但代價是儲存路徑的效能下降；NVIDIA 則做了相反的權衡。哪種方式更重要，取決於工作負載是需要在 GPU 之間傳輸數據，還是需要從磁碟串流傳輸資料。

客戶可以改變什麼

簡而言之，以上內容描述的是AMD的參考設計，其中一些參數是使用者可以自行配置的最低配置。最明顯的例子就是主機CPU。 Rubin的Vera主機只有一個固定配置；Helios托架上的Venice主機則採用標準的SP7插槽式CPU，AMD也確認所有Venice SKU都可以直接安裝到Helios平台上，無需任何Helios平台的客製化。參考托架採用的是96核心5GHz的CPU，因為單執行緒速度足以滿足GPU的需求。當然，使用者完全可以依照自己的需求，選擇256核心的旗艦級CPU，或是配備1,152MB堆疊式L3快取的Venice-X處理器，以應對快取需求較高的預處理任務。

記憶體和網路遵循相同的插槽邏輯。 1TB DRAM 的參考配置為 16 個 64GB 的 RDIMM 記憶體條；更高容量的 DIMM 記憶體條可將容量提升至 4TB，而 MRDIMM-12800 則可使 Venice 的吞吐量達到 1.6TB/s。在網路方面，透過普通的 PCIe Gen 6，每個 GPU 的網路卡數量可以從 3 個減少到 2 個；每個 Vulcano 連接埠可以配置為 1 個 800G、2 個 400G、4 個 200G 或 8 個 100G，並支援 Tomahawk 5 或 Tomahawk或其他專有協議）的選擇權留給了營運商。即使是管理平面也是可互換的，因為交換器 NOS 採用的是開源的 SONiC，而 AFM 透過其北向 API 公開了整個交換矩陣。

功耗預算也與插槽相關。 NVIDIA 的超級晶片共享一個封裝：Vera 是一款 450W 的晶片，其部分功耗被限制在一定範圍內；而最近幾代產品在高負載下會將部分功率分配給 GPU。 AMD 尚未說明其參考設計是否會限製或轉移主機功耗，但根據 AMD 的設計，這個問題由客戶決定，他們可以自訂系統，在不影響功耗分配的情況下使用更高的功耗。

主機連結的 PCIe 底層架構，拆解後位於運算托架部分，開啟了最後一扇門，但這扇門目前還只是推測。 Venice 支援雙路配置，部分 AI 主機平台可以透過犧牲插槽間的 xGMI 頻寬來換取 I/O 通道，從而實現雙路配置並擁有多達 160 條可用的 PCIe 通道。理論上，客戶可以建立一個雙路托架來匹配 NVIDIA 1:2 的 CPU 與 GPU 比例，或重新調整 xGMI 連結以提高 CPU 與 GPU 之間的有效頻寬。目前沒有任何跡象表明有人正在這樣做，而且這些方案也無法彌補與 NVLink-C2C 1.8TB/s 頻寬之間的差距。關鍵在於誰掌握主動權：在 Helios 平台上，主機、記憶體、電源以及可能的拓撲結構都由客戶決定，而 NVIDIA 的超級晶片則完全剝奪了客戶的選擇權。

薩利納DPU

現在回到我們之前提到的前端網路。 AMD 第三代 Pensando DPU Salina 是一款 400G 網路卡，擁有完全可編程的 P4 資料路徑，這意味著新的封裝、遙測介面或傳輸層只需韌體更新即可即時應用，不會造成流量中斷。其出貨服務已涵蓋前端設定清單：支援 VXLAN 或 NVGRE 的 SDN、可擴充至數百萬條規則的有狀態防火牆、線速 IPsec、PSP、DTLS 或自訂加密、NAT 以及負載平衡。它也是機架上久經考驗的晶片。 Pensando DPU 自 2019 年以來就已應用於超大規模資料中心；如今，微軟、Oracle 和 IBM 都已部署了 Salina 作為前端設備；Oracle 認為該系列產品使 SDN 效能提升了 5 倍，一家超大規模資料中心透過將 I/O 任務卸載到 Salina，每個伺服器節省了 22 個 CPU 核心。

存儲是第二幕。 Salina 將 NVMe-over-Fabrics 設備暴露給主機，透過 TCP 或 RDMA 虛擬化遠端 SSD 池，並在顯示卡上完成加密、摘要和壓縮。在 Helios 架構中，它增加了一個代理時代的技巧：上下文記憶體引擎呈現一個模擬的鍵值存儲 (KV) 設備，因此溢出的 KV 緩存會溢出到 CPU DRAM、本地 SSD 或遠端存儲，並以線速流回 HBM，而不是重新計算。正如 Rubin 的對比中所指出的，MI455X 缺少 GPUDirect Storage；這種 KV 卸載是 AMD 針對服務最關心的流量問題提供的部分解決方案。

這也是我們有所保留的地方。頻寬差距顯而易見：Salina 是一張 400G 的網卡，而 Vera Rubin 機架中配備的 BlueField-4 則憑藉 64 核 Grace CPU 和集成的 ConnectX-9，頻寬翻倍至 800G。軟體差距雖然更具爭議性，但也確實存在。 NVIDIA 的 DOCA 為開發者提供容器化的預先建置服務，這些服務可以用普通的 C 和 C++ 程式設計；而 P4 是一種大多數團隊從未接觸過的專用資料平面語言。這種比較並非“DOCA 的產品目錄與裸 P4 的對比”，因為 Salina 提供完整的主要服務，而部署它的超大規模數據中心選擇它的部分原因在於 P4 允許像 MRC 這樣的新協議在芯片週期之前就集成到固件中。真正的區別在於可程式性服務的對象。 Salina 的靈活性是 AMD 和精通 P4 的超大規模團隊的利器；而 DOCA 則是一般企業開發者也能輕鬆上手的工具包。對於更廣泛的市場而言，NVIDIA 的軟體入門更容易，AMD 也深知這一點。

ROCm.AI

說到軟體，AMD 將一項重磅發布留給了整個技術堆疊。 ROCm.AI 將於 8 月發布，這是 AMD 從底層建立 GPU 平台智慧化的嘗試。 AI Skills 將 ROCm 整合到開發者已在使用的程式碼代理程式（如 Claude、Codex、Cursor 和 Gemini）中，因此在 Instinct 上安裝、部署和偵錯都只需使用簡單的英文即可完成。 Hyperloom 則是更引人注目的部分：它是一款無需人工幹預的優化器，能夠分析工作負載、調整其服務配置、重寫 GPU 內核，並在操作員休息時驗證結果。 AMD 表示，他們目前正在持續優化約 14,000 個模型，並且在現場演示中，MiniMax M3 的吞吐量提升了 38%。在代理底層，FlyDSL 為 Python 帶來了接近彙編等級的控制能力；ROCm 改為固定的 6 週發布週期；AMD 聲稱，在相同的硬體配置下，ROCm.AI 的推理速度平均提升了 3.3 倍，訓練速度平均提升了 2.4 倍（與 ROCm 7 相比）。 ROCm 7 已經取得了顯著的進展；現在，AMD 正寄望 AI 技術來加速這一進程。

軟體環節最重要的幻燈片無疑是關於硬體的。 AMD強調投影片上的每一個數據都是實測的，其潛台詞是MI455X晶片目前已在ROCm測試環境下穩定運行，速度很快。具體數據包括：FP8 MLA解碼速度20TB/s，FP4計算速度20 PFLOPS，縱向擴展頻寬3.2TB/s，橫向擴展頻寬190GB/s。在問答環節，AMD承認FP4的測試結果是最大可達矩陣乘浮點運算速度（MAMF）的測量結果，採用的矩陣形狀能夠最大程度地發揮裝置的性能，這是此類基準測試的標準做法。 AMD的這一表述也頗為大膽：他們公開承認MI455X能夠維持其峰值40.26 PFLOPS MXFP4性能的50%左右，而大多數廠商都會對這一數據諱莫如深。

AMD 聲稱這是目前市面上所有加速器中最高的運算能力，但這一點值得商榷。 AMD 的 FP4 是 OCP MXFP4；NVIDIA 的則是 NVFP4。它們的實現方式不同：NVFP4 對每個 16 元素塊應用分數 FP8 縮放，並在此基礎上再進行張量級縮放；而基準 MXFP4 則使用每 32 個元素 2 的冪次縮放，因此 NVFP4 的 FLOP 運算量比 MXFP4 的 FL 運算量更大。 CDNA 5 也可以對 MXFP4 應用分數縮放，但 AMD 沒有說明此測量使用的是哪一種實作方式。 Rubin MAMF 測試和 MI455X MAMF 測試的計算方式不同，因此跨廠商的 FP4 效能比較只能在應用層面進行：即在相同精確度下每秒的代幣數。實測數據優於預期，但這些數據與 AMD 上一代產品相比才最能體現其真實性能，上一代產品 3 倍到 4 倍的性能提升是毋庸置疑的。

AMD也有優勢。這些都是ROCm.AI在全新晶片上的早期測試結果，因此它們可能低估了經過精心調校的生產部署所能達到的效能。真正的評判標準將在這些機架部署到超大規模資料中心後揭曉。

關閉的思考

Helios 是 AMD 迄今為止出貨的最完整的系統，也是首款在機架級而非晶片級層面與 NVIDIA 正面交鋒的產品。在決定當今 AI 效能的關鍵領域，AMD 的表現遙遙領先：每個 GPU 的 HBM 容量提升 50%，縱向擴展能力與 Rubin 架構持平，橫向擴展頻寬提升 50%，並且根據 AMD 自身的模型，每美元可獲得的代幣數量最多可提升 30%。同樣重要的是其實現方式：採用商用 Tomahawk 交換機，從數位格式到機櫃均採用開放標準，以及將最終配置權交到客戶手中的插槽式主機。 NVIDIA 在 C2C 主機連結、DPU 和軟體存取方面仍然擁有真正的優勢，但從紙面資料來看，AMD 的硬體整體效能首次佔上風。

買家們也認同這一點。 AMD表示，OpenAI、Meta、Anthropic、微軟和Oracle等公司都在採用Helios架構，並且AMD強調，機架式伺服器目前已投入生產。 AMD效仿NVIDIA的做法，將產品路線圖設定為年度週期：基於CDNA 6架構的MI500系列將於2027年推出，配備新一代HBM顯存以及銅纜和光纖互連技術；MI600系列也已在研發中，預計將於2028年發布。

這就引出了軟體方面的問題，而多年來，我們首次不再以軟體問題作為AMD GPU故事的結尾。 ROCm 7彌補了許多不足，ROCm.AI將於8月發布，並在此基礎上帶來顯著的效能提升，而且AMD的發布節奏也已固定為每六週一次。此外，買家是誰也至關重要。簽署這些協議的實驗室和超大規模資料中心與AMD共同設計產品，並擁有足夠的工程師來解決遇到的任何問題。而需要交鑰匙解決方案的企業則是另當別論，目前這部分市場仍由NVIDIA佔據。但Helios正是為超大規模資料中心和AI實驗室打造的，對他們而言，硬體已經準備就緒，軟體也與時俱進，機架也已開始出貨。 AMD從未像現在這樣處於如此有利的地位。