从 MI350 到 MI500：AMD 2027 年 AI 加速器路线图

by 迪维扬什·贾恩 on 2025 年 6 月 12 日

AI ◇ 企业版

在圣何塞举办的 Advancing AI 大会上，AMD 发布了最新一代 GPU Instinct MI350 系列，并公布了未来 AI 加速器平台的宏伟蓝图。MI4 系列基于先进的 CDNA350 架构，有望显著提升性能，应对高要求的 AI 工作负载。此次发布还预览了未来的 Instinct 系列产品，彰显了 AMD 致力于 AI 硬件持续创新的承诺。

AMD Instinct MI350 系列

此 AMD Instinct MI350 系列基于全新 CDNA4 架构，代表着 AI 计算领域的重大飞跃。CDNA4 架构专为 AI 工作负载而设计，引入了增强型矩阵引擎、对新数据格式的支持以及能效的显著提升。

先进封装和芯片架构：MI350 的基础

MI350 系列基于 AMD 先进的 3D 小芯片封装技术，在 MI300 系列的基础上进行了改进，并进行了关键的改进。

芯片设计与制造

该 GPU 套件的核心包含八个加速器计算芯片 (XCD)，即主要的计算引擎。这些 XCD 采用先进的 3nm Node 3+ 节点工艺制造，是 MI5 系列所采用的 300nm 工艺的升级版，显著提升了能效。每个 XCD 包含四个着色器引擎，每个引擎包含八个活跃的 CDNA4 计算单元，最终每个 XCD 包含 32 个计算单元 (CU)，加速器总共包含 256 个计算单元 (CU)。

与 XCD 互补的是两个 IO 芯片 (IOD)，比 MI300 系列的四个 IOD 有所减少。这些 IOD 采用 6nm 级工艺制造，可处理内存访问、I/O 操作和芯片间通信。这种精简的双 IOD 设计，结合更宽的内部互连，在降低功耗的同时，保持了带宽目标。

物理集成与逻辑统一

物理组装包括将 XCD 和 HBM3E 内存堆栈安装在晶圆上芯片 (COOS) 中介层上。该设计的一个关键点在于 XCD 与其下方 IOD 的混合键合。这种 3D 混合键合技术在计算和 I/O 芯片之间创建了极其密集、高带宽的互连，远远超越了传统的 2.5D 结构，这对于高效地向高功耗的 XCD 提供数据至关重要。此外，这种先进的 3D 集成有助于减小 GPU 的整体占用空间，从而提高制造良率和运行可靠性。

尽管芯片组结构复杂，MI350 在逻辑上可充当单个统一的 GPU。每个 XCD 构成一个加速器计算复合体，配备全局资源，包括命令处理器和 4MB 二级缓存。

增强型内存子系统

为了充分支持强大的 CDNA4 核心，MI350 系列配备了大幅升级的内存子系统。它配备了八个 HBM3E 内存堆栈，每个 GPU 的总容量高达 288GB。每个 36 GB 的堆栈由 12 个 24Gbit 设备组成，以每针 3Gbps 的 HBM8E 引脚速度运行。

该架构还保留了 AMD 的 Infinity Cache，这是一种位于 HBM 和 Infinity Fabric/L2 缓存之间的关键内存侧缓存。该缓存包含 128 个通道，每个通道支持 2MB 缓存，GPU 总共拥有 256MB 的缓存。为了在低功耗下提高带宽传输效率，AMD 加宽了 IOD 内的片上网络总线，并降低了工作电压。这项优化降低了每比特功耗，使 MI350 系列的每瓦内存带宽比其前代产品 MI1.3 系列高出约 300 倍。

此外，为了有效管理高达 288GB 的物理内存，类似于 CPU 转换后备缓冲区 (TLB) 的通用转换缓存 (UTC) 得到了显著增强。MI350 系列在 UTC L1 和 L2 中引入了更精细的页面大小控制，并提升了容量。这些改进提升了 TLB 的覆盖范围，并提高了虚拟内存管理的效率。

Infinity Fabric 增强功能

AMD 的 Infinity Fabric 技术仍然是 MI350 可扩展性和 GPU 间通信性能的核心。连接两个 IOD 的 Infinity Fabric AP 链路的对分带宽已大幅提升至 5.5TB/s，从而促进了 GPU 两部分之间的高效数据传输。

对于外部通信，每个 MI350 GPU 都配备七条 Infinity Fabric 链路，可在 8-GPU UBB 2.0 平台等配置中实现 GPU 之间的直接连接。这些链路的运行速度为每针 38.4Gbps。在 8-GPU OAM 设置中，此配置在每个链路的每个方向上提供约 153.6 GB/s 的对分带宽。AMD 还改进了这些外部链路上的数据打包和压缩技术，以提高有效传输带宽。在内部，Infinity Fabric 确保所有 XCD 都能跨两个 IOD 对整个 HBM3E 内存空间进行完整、细粒度的交叉访问，从而将内存作为单一、扁平、统一的资源呈现给计算单元。

CDNA4 计算核心架构

MI350 处理能力的核心是 CDNA4计算单元，已经针对人工智能进行了重大的重新架构。

矩阵数学运算能力大幅提升：与 MI350 相比，MI2 计算单元 (CU) 的 16 位（BF16、FP16）和 8 位（FP8、INT8）运算吞吐量分别提升了 300 倍。MI350 系列还引入了对 OCP MX 指定微尺度格式（特别是 FP6 和 FP4）的硬件支持，这些格式与 FP8 成比例扩展。值得注意的是，AMD 的实施使 FP6 能够以与 FP4 相同的计算速率运行。这一战略决策使 AMD 在 FP6 这一新兴格式（具有 AI 训练潜力）中占据领先地位。此外，还增加了一个新的矢量算术逻辑单元 (ALU)，支持 2 位运算，并能够将 BF16 结果累加到 FP32 中，从而提高某些低精度矢量运算的吞吐量。

为了支持这些增强的张量吞吐量，每个计算单元的本地数据共享 (LDS) 大小已增加，并且新功能增强了从全局内存加载数据到 LDS 的带宽。考虑到 Softmax 和注意力机制等运算中的潜在瓶颈，超越函数的吞吐量也与张量核心的改进同步提升。

其他一些架构增强功能也有助于提高性能和灵活性：

硬件支持的随机舍入：通过注入熵来减轻从 FP32 向下转换为低精度格式时的偏差。
逻辑运算符 3 (LUT3) 指令：为程序员提供更大的灵活性来实现自定义三输入逻辑运算。
新的最小最大运算符：使程序员能够在比较期间控制 NaN 传播，允许他们传播 NaN 值或选择非 NaN 浮点数，从而有助于实现强大的 AI 数据管理。

虽然 AI 是 MI350 系列的重点，但它仍然支持矢量和矩阵单元中的 64 位浮点 (FP64) 运算。然而，与 MI300 的一个关键区别在于，在 MI350 上，矩阵 FP64 运算的运行速率与矢量 FP64 单元相同，实际上是 MI64 FP300 矩阵速率的一半。

最后，更高的 HBM3E 带宽和略微减少的 CU 数量（MI256X/350X 为 355 个，而 MI304X 为 300 个）相结合，意味着 MI350 系列中的每个 CU 都能从每时钟周期更高的全局内存带宽中受益。这对于加速 GEMM（通用矩阵乘法）密集型运算和带宽受限的矢量运算至关重要。

灵活分区：NPS 和计算分区

AMD MI350 系列具有增强的分区功能，可高度灵活地分配其大量资源，以最大限度地提高不同工作负载的利用率和效率。

对于内存管理，MI350 提供两种主要的 NUMA（非统一内存访问）模式：

NPS1：通过在所有八个 HBM 堆栈上交错数据访问，将整个 288GB HBM3E 内存视为单个统一的 NUMA 域。
NPS2：将内存划分为两个独立的 NUMA 域，每个域对应两个 IOD 中的一个及其关联的四个 HBM 堆栈。在 NPS2 模式下，每个 IOD 内的内存访问保持细粒度交错，而跨 IOD 的内存访问则变为粗粒度。此模式，尤其是与计算分区结合使用时，可以实现空间局部性的优化。

值得注意的是，AMD 选择不支持 MI4 上的 NPS350 模式（该模式在 MI300 上可用）。这一决定源于新架构中两个 IOD 内部的内存耦合更加紧密，这削弱了进一步内存细分带来的潜在性能优势。

在计算方面，GPU 可以配置为以多种模式运行：

SPX（单分区执行）：GPU 作为单一、强大的引擎运行，通常与 NPS1 内存模式一起使用。
DPX、QPX、OPX（双、四、八分区执行）：GPU 可以分别分为两个、四个甚至八个独立的计算分区。

这些计算分区可以与 NPS1 或 NPS2 内存配置配对，但约束条件是计算分区的粒度必须至少与内存分区一样细或更细（例如，SPX 模式与 NPS2 内存分区不兼容）。

这些多功能分区选项在裸机部署和 SR-IOV（单根 I/O 虚拟化）中均受支持，使其成为虚拟化多租户环境的理想选择。例如，在云或数据中心环境中，单个 MI350 GPU 可以进行逻辑分段，以同时为多个用户或应用程序提供服务。每个租户都会获得专用的内存和计算资源，从而确保服务质量和安全性，这对于不同虚拟机需要独立访问 GPU 硬件的场景尤为重要。

MI350X 与 MI355X：针对不同部署量身定制

MI350 系列有两种主要型号，可满足不同的部署需求和热范围：

MI350X：此型号专为降低功耗而设计，热设计功率 (TDP) 高达 XNUMX 千瓦。它支持风冷部署，在现有数据中心基础设施中提供更广泛的兼容性。
MI355X：MI1.4X 的系统功率高达 355 千瓦 TDP，主要针对液冷部署，从而能够提供最佳性能。

虽然两种型号都基于相同的基础硬件构建，但 MI355X 更高的运行功率范围可实现更高的持续时钟频率。与 MI20X 相比，这意味着在实际端到端工作负载下，其性能提升约 350%。MIXNUMXX 提供三种经过验证的机架配置。

AMD Pensando Pollara 网络

除了全新 GPU 之外，AMD 还深入介绍了其 Pollara 网络解决方案，展示了其显著的架构改进，旨在满足大规模人工智能系统日益增长的需求。Pollara 400 AI NIC 基于 AMD 收购 Pensando 的技术构建，为 AI 网络结构带来了全新水平的可编程性和智能化。

Pollara 创新的核心在于其可编程架构。与固定功能硬件不同，Pollara NIC 采用 P4 可编程 MPU 核心。这种设计至关重要，因为 AI 网络需求瞬息万变，新的协议、传输机制和遥测需求层出不穷。可编程性使 Pollara NIC 能够通过软件更新进行调整，从而允许部署自定义流量管理方案、新型负载均衡算法和定制的拥塞控制机制，而无需更换硬件。这种灵活性对于面向未来的 AI 数据中心以及快速响应不断变化的工作负载特性至关重要。

为了解决常见的网络瓶颈问题，Pollara 引入了多播技术。对于 GPU 到 GPU 的通信，来自单个连接的数据可以同时分发到多个物理网络链路上。这种方法通过避免任何单条路径上的拥塞，提高了整体网络利用率和吞吐量。NIC 本身负责管理这种分发的复杂性，包括对可能乱序到达目的地的数据包进行重新排序。

通过选择性确认重传，网络效率得以提升。在传统网络中，丢失一个数据包就可能触发大量数据序列的重传。Pollara 还实现了一种更精确的方法，只重传丢失的数据包。这显著减少了网络上的冗余数据，从而提高了有效带宽。 Pollara 网络解决方案还专为在各种网络环境中（包括存在连接损耗的网络环境）稳定运行而设计。它集成了先进、可编程且路径感知的拥塞控制技术。此功能减少了对完全无损网络结构的依赖，而这种网络结构在现代 AI 集群所需的大规模部署下，实施和维护起来可能非常复杂且成本高昂。

AMD 也是超级以太网联盟 (UEC) 的积极参与者，为其标准做出贡献并实施。UEC 旨在定义针对 AI 优化的下一代以太网，重点关注高效的负载平衡、增强的可靠性以及 AI 特定的拥塞控制。遵守这些开放标准有助于促进互操作性并培育更广泛的生态系统。

最后，Pollara 技术旨在与 AMD 更广泛的平台协同运行，从而实现 CPU、GPU 和 NIC 组件之间的协同创新。这包括集体操作卸载等功能，其中 NIC 负责处理特定的网络密集型通信任务（无需 GPU 计算）。这释放了 GPU 资源，使其能够用于主要处理任务。

ROCm 7：面向高级人工智能的开放软件生态系统

这些硬件创新的基础是 ROCm 7 的发布，它是 AMD 开放软件平台的最新演进，旨在最大限度地提高性能和可访问性。AMD 计划于今日发布公开预览版，并于 7 月正式发布。AMD 报告称，ROCm 3 在现有硬件上的推理和训练性能相比上一代产品均实现了惊人的 3.5 倍至 XNUMX 倍的提升。

面向企业客户，AMD 推出了 ROCm AI Enterprise，这是一款全面的套件，提供集群管理、MLOps 和用于大规模部署的应用程序构建工具。同时，AMD 还通过全新的开发者云平台为个人开发者提供访问权限，并提供免费 GPU 积分，以鼓励开发者进行实验。ROCm 7 的可访问性得到了进一步提升，正式扩展了对客户端设备的支持，包括运行 Windows 的笔记本电脑和工作站，确保开发者能够在整个 AMD 生态系统中无缝构建和测试 AI 应用程序。

前方的路

AMD 致力于快速的年度创新周期，其产品路线图已超越其 MI350 系列。

AMD 正在开发 MI2026 系列，目标是在 400 年推出，该系列将成为代号为 Helios 的全集成机架式解决方案的核心。该平台专为训练尖端 AI 模型和管理大规模分布式推理任务而设计。Helios 系统将是一个集成的 AMD 平台，集成代号为 Venice 的未来 EPYC CPU、Instinct MI400 GPU 以及下一代 Pensando 网络，特别是 Vulcano 800G AI NIC。全面的 ROCm 软件堆栈，包括用于自动部署和管理的专用 Fabric Manager，也将成为该解决方案的一部分。Helios 机架强调开放标准，将符合 OCP 规范。它将利用超级以太网 (UEC) 实现机架间网络的横向扩展，并引入超级加速器链路 (UAL 1.0) 来扩展单个机架内的通信。

Instinct MI400 GPU 专为超大规模 AI 应用打造。初步规格表明其性能卓越，包括每秒 40 千万亿次浮点运算 (FP4) 和每秒 20 千万亿次浮点运算 (FP8)。预计每块 GPU 将配备 432 GB 的 HBM 内存，提供约 20 TB/s 的 HBM 内存带宽，并提供每秒 300 GB 的横向扩展带宽。作为 GPU 的补充，Vulcano 800G AI NIC 将支持 UEC，并支持 UAL 和 PCIe Gen6，UAL 可提供两倍于 PCIe Gen6 的带宽。与上一代 Polara 相比，这款 NIC 预计将为每块 GPU 提供高达八倍的横向扩展带宽。AMD 对 Helios 机架解决方案设定了雄心勃勃的性能目标，预计其在最先进的前沿型号上提供的 AI 性能将比 MI355 提升十倍。面对 2026 年的 Vera Rubin，Helios 的目标是提供具有竞争力的原始 FLOPS、增加 50% 的 HBM 容量、增加 50% 的 HBM 内存带宽以及增加高达 50% 的横向扩展带宽。