存储评论网

NVIDIA 在 OCP 全球峰会上预览千兆瓦级 AI 工厂的未来发展

AI  ◇  企业版

NVIDIA 宣布了其 Vera Rubin NVL144 MGX 新一代开放式架构机架服务器的规格。超过 50 家 MGX 合作伙伴正在为此次发布做准备,同时 NVIDIA Kyber 也获得了生态系统支持。Kyber 连接了 576 个 Rubin Ultra GPU,旨在满足日益增长的推理需求。

9 月,NVIDIA 宣布扩大与 Intel 的合作关系。与此同时,Intel 发布了全新的 Xeon 6 处理器,其中一款处理器将作为 NVIDIA DGX B300 的主机 CPU,NVIDIA DGX B300 是该公司最新一代 AI 加速系统。NVIDIA DGX B300 集成了 Intel Xeon 6776P 处理器,该处理器在管理、协调和支持 AI 加速系统中发挥着至关重要的作用。凭借强大的内存容量和带宽,Xeon 6776P 能够满足日益增长的 AI 模型和数据集的需求。

Xeon 6776P 设计为“GPU 主机”CPU,配备优先核心睿频 (PCT) 和英特尔速度选择睿频 (SST-TF) 技术,因此一小部分核心可以加速并处理对延迟敏感的编排任务,而其他核心则以基准频率运行。这有助于通过减少预处理、键值缓存处理和调度过程中的停顿来提高 NVLink 集群中 GPU 的有效利用率。

Vera Rubin NVL144:专为 AI 工厂扩展而设计

Vera Rubin NVL144 MGX 计算托盘采用节能、全液冷的模块化设计。其中央印刷电路板中板取代了传统的线缆连接,从而加快了组装速度并简化了维护。它还包含用于 NVIDIA ConnectX-9 800GB/s 网络和 NVIDIA Rubin CPX 的模块化扩展托架,支持大规模推理任务。

NVIDIA Vera Rubin NVL144 代表了加速计算架构和 AI 能力的重大进步。它旨在支持高级推理引擎并满足 AI 代理的需求。

核心设计基于 MGX 机架架构,并将获得 50 多个 MGX 系统和组件合作伙伴的支持。NVIDIA 计划将增强型机架和计算托盘创新作为开放标准贡献给 OCP 联盟。

其计算托盘和机架标准使合作伙伴能够组装模块化系统,并利用该架构更快地进行扩展。Vera Rubin NVL144 机架设计采用节能的 45°C 液冷技术、可增强性能的新型液冷母线,以及 20 倍的储能容量,以保持稳定的功率。

MGX 对计算托盘和机架架构的增强提高了 AI 工厂的性能并使组装变得更加容易,从而可以快速扩展到千兆瓦级 AI 基础设施。

NVIDIA NVLink Fusion 生态系统进一步扩展

除了硬件之外,NVIDIA NVLink Fusion 也正在获得发展势头,使企业能够将其半定制硅片无缝集成到高度优化、广泛部署的数据中心架构中,从而降低复杂性并加快产品上市时间。

英特尔和三星代工厂正在加入 NVLink Fusion 生态系统,该生态系统涵盖定制硅片设计人员、CPU 和 IP 合作伙伴,使 AI 工厂能够快速扩展和管理模型训练和代理 AI 推理的密集工作负载。

  • 作为最近宣布的 NVIDIA 和英特尔合作, 英特尔将使用 NVLink Fusion 构建集成到 NVIDIA 基础设施平台的 x86 CPU。
  • 三星代工厂已与 NVIDIA 合作,以满足对定制 CPU 和定制 XPU 日益增长的需求,为定制硅片提供从设计到制造的体验。

NVIDIA Kyber Rack

超过 20 家行业合作伙伴将展示全新的芯片、组件、电源系统以及对下一代 800 伏直流 (VDC) 数据中心的支持。这些面向千兆瓦时代的数据中心将支持 NVIDIA 的 Kyber 机架架构。

富士康公布了其位于台湾高雄1​​号的40兆瓦数据中心的详细信息,该中心正为800伏直流电时代而建。其他行业领导者,包括CoreWeave、Lambda、Nebius、Oracle云基础设施和Together AI,也在规划采用800伏直流电基础设施的数据中心。此外,Vertiv推出了其800伏直流电MGX参考架构,该解决方案旨在优化空间、成本和能源效率,同时提供完整的电力和冷却基础设施。与此同时,HPE正在支持NVIDIA Kyber和NVIDIA Spectrum-XGS以太网横向扩展技术的产品,这两项技术都是Spectrum-X以太网平台的组成部分。

从传统的 415 或 480 VAC 三相系统切换到 800 VDC 基础设施,可以提高数据中心的可扩展性、能源效率、减少材料消耗并提升性能。电动汽车和太阳能行业已经实施了 800 VDC 基础设施,以实现这些优势。

NVIDIA Kyber Rack 服务器一代

OCP 生态系统也在为 NVIDIA Kyber 做准备,其特点是 800 VDC 电力输送、液体冷却和机械设计方面的创新。

这些创新将促进向机架服务器一代 NVIDIA Kyber(NVIDIA Oberon 的继任者)的过渡,预计到 2027 年将采用具有 576 个 NVIDIA Rubin Ultra GPU 的高密度平台。

解决大功率配电难题的最佳方法是提高电压。从标准的415或480 VAC三相系统升级到800 VDC系统具有诸多优势。

正在进行的过渡使机架服务器合作伙伴能够将其机架内组件从 54 VDC 升级到 800 VDC,从而提升性能。在此次活动中,由直流基础设施提供商、电源系统和冷却合作伙伴以及芯片制造商组成的协作生态系统共同致力于 MGX 机架服务器参考架构的开放标准。

NVIDIA Kyber 旨在提升机架式 GPU 的密度,增强网络容量,并优化大规模 AI 系统的性能。它采用计算刀片的垂直安装方式,每个机箱最多可支持 18 个刀片。此外,NVIDIA 专用的 NVLink交换刀片通过无缆中板置于机箱后部,从而实现无缝、可扩展的网络连接。

通过相同的 800 VDC 铜线传输的电力增加了 150% 以上,无需使用 200 公斤的铜母线来为单个机架供电。

Kyber 将成为超大规模 AI 数据中心的核心组件,提升高级生成式 AI 任务的性能、效率和可靠性。NVIDIA Kyber 机架可帮助客户显著减少铜的使用量,从而节省数百万美元的成本。

扩展下一代人工智能工厂

超过 20 家 NVIDIA 合作伙伴正在帮助提供具有开放标准的机架式服务器,为未来的千兆瓦 AI 工厂提供支持。

  • 硅片供应商:ADI公司(ADI), AOS, EPC、英飞凌、Innoscience、MPS、Navitas、安森美、Power Integrations、瑞萨、立锜科技、ROHM、意法半导体等 德州仪器(TI)
  • 电力系统组件供应商: Bizlink、台达、 柔性, GE Vernova、Lead Wealth、LITEON、Megmeet
  • 数据中心电力系统供应商: ABB、伊顿、GE Vernova、Heron Power、 日立能源 三菱电机、施耐德电气、西门子和 Vertiv

NVIDIA 是OCP 标准的主要贡献者,其标准涵盖多个硬件世代,包括 NVIDIA GB200 NVL72 系统机电设计的关键部分。相同的 MGX 机架尺寸支持 GB300 NVL72,并将支持 Vera Rubin NVL144、Vera Rubin NVL144 CPX 和 Vera Rubin CPX,以实现更高的性能和更快的部署。

参与 StorageReview

电子报| YouTube | 播客iTunes / Spotify | Instagram | Twitter | TikTok | RSS订阅

哈罗德弗里茨

自 IBM 创建 Selectric 以来,我一直在科技行业工作。 不过,我的背景是写作。 因此,我决定退出售前业务,回归本源,从事一些写作工作,但仍从事技术工作。