1U 机箱内集成 4 个 GPU：Hypertec 的新型 Immersion 服务器保持性能稳定性

by 凯文·奥布莱恩 on 2025 年 11 月 13 日

企业版 ◇ 服务器

随着人工智能和高性能计算工作负载的不断扩展，其电力和散热需求也随之增长。现代GPU，包括NVIDIA的RTX PRO 6000 Blackwell服务器版，功耗可高达600W，给传统数据中心基础设施带来巨大的散热压力。虽然风冷服务器可以应对这些GPU，但在如此高的密度下保持性能稳定则完全是另一回事。为装满高功率GPU的机架输送空气的成本急剧上升，尤其是在电价较高的地区，例如北欧、美国东北部和亚太部分地区。在这些市场，浸没式冷却技术能够带来显著的运营和经济优势。

</ s> </ s> </ s>

Hypertec 的 Trident iGW610R-G6 服务器正是基于这种现实而设计的。与那些将风冷设计改造以适应液体环境的服务器不同，Trident 系列服务器从设计之初就考虑到了浸没式散热，其 PCB 布局可直接在介电液体中运行。这款全新的 1U Hypertec 平台采用 21 英寸 OCP 布局，最多可支持四个全高全长的 GPU，在计算密度和稳定的散热性能之间实现了完美平衡。

我们在 Hypertec 位于蒙特利尔的实验室对 Trident iGW610R-G6 进行了评估。首先进行远程测试，然后到现场记录并观察系统的实际运行情况。测试配置包括一块 NVIDIA H100 GPU 和 Solidigm SSD，并置于装满嘉实多介电液的 Submer 浸没式水箱中。在持续高负载运行时，Trident 保持了极其稳定的温度曲线，各组件的温度变化范围非常窄。这种稳定性显著降低了热循环，而热循环正是高性能系统中许多长期可靠性问题的根源。

浸没式散热的优势远不止于温度控制。在稳定的热环境下，GPU 可以保持峰值睿频频率而不会降频，CPU 的运行波动性更低，存储设备也能提供稳定的 I/O 吞吐量。这种一致性转化为更高的可靠性、可预测的性能以及更高的机架单元能耗效率——这些都是构建大规模 AI 和 HPC 环境的企业所关注的关键成果。

本次评估建立在我们之前与 Hypertec 的合作基础上，详情见[此处]。边缘人工智能无处不在：这款浸没式冷却移动数据中心让这一切成为可能该项目通过沉浸式体验展示了边缘移动人工智能基础设施的巨大潜力。而本文则将重点转向固定数据中心部署，演示了 Trident iGW610R-G6 及其来自 Submer 和 Castrol 的周边生态系统如何为高密度 GPU 计算提供实用且高效的机架级性能。

TRIDENT iGW610R-G6 设计与制造

TRIDENT iGW610R-G6 的设计理念与传统的风冷机架服务器截然不同。乍一看，您就会发现它没有传统的顶盖，主要组件完全暴露在浸没式冷却液中。这种开放式机箱设计最大限度地增加了表面积，从而在介电液内部实现高效的热传递，无需内部风扇或风道。系统的每个部件都经过精心设计，以实现单相浸没式冷却，热能由周围的冷却液均匀吸收和带走，而非通过气流。最终打造出一个静音、无振动的平台，专为高密度、高性能计算环境而优化。

这款机箱在物理尺寸上保持了 1U 标准，尺寸为 33.46 × 21.06 × 1.75 英寸，满载重量约为 72 磅（32.6 公斤）。尽管外形纤薄，但其布局却非常便于维护，正面设有四个 E1.S NVMe 硬盘位，PCIe 插槽位置也便于快速更换水箱内部的组件。该设计可直接与主流的浸没式水箱系统集成，无需专用硬件外壳或气流控制装置即可实现即插即用。

我们的测试单元配置了两颗英特尔至强6530处理器，每颗处理器拥有32个核心和160MB缓存，每个插槽的TDP最高可达350瓦。散热采用定制的浸没式优化纯铜散热器，并配备铟箔导热界面材料，确保高效地将热量传递至冷却液。CPU复合体搭配32条DDR5 RDIMM内存条（每条容量32GB），运行频率为4800 MT/s，为人工智能、高性能计算和数据分析工作负载提供充足的带宽。

存储配置是这套方案的一大优势。除了两块 1TB M.2 NVMe SSD 用于操作系统外，该系统还配备了四块 Solidigm D5-P5430 E1.S 7.68TB 硬盘作为主要数据存储层。这些 EDSFF 硬盘兼具高密度和出色的能效，在紧凑的尺寸下充分利用了 PCIe 4.0 的性能。E1.S 外形尺寸非常适合沉浸式环境，其前置可维护硬盘托架无需工具即可更换硬盘，无需排空或抬起机箱。Solidigm 硬盘还有助于服务器在速度、耐用性和散热效率之间取得整体平衡，使其非常适合用于 AI 模型存储、数据暂存和高吞吐量推理流水线。

该系统最多支持四个双倍宽度加速器，使用户能够根据需要扩展计算密度。网络连接由支持 1GbE 的双端口 10GBase-T OCP 3.0 模块实现，确保与现有数据中心网络架构的广泛兼容性。

服务器采用 1+1 冗余的 3000W 80 PLUS 钛金级 CRPS 电源供电，即使在高负载下也能保持稳定的性能，同时维持高能效。由于服务器完全浸没在水中，无需主动风道，因此不会产生风扇噪音，也不会积灰。这种设计不仅简化了维护，还延长了组件寿命，提高了整体可靠性。

Hypertec 估计，iGW610R-G6 的浸没式部署可降低 95% 的冷却运行成本，并延长硬件寿命高达 60%，其经独立认证的 PUE 为 1.03。该系统还具有回收高达 99% 废热的能源再利用潜力，展示了性能密度和可持续性如何有效共存。

TRIDENT iGW610R-G6 管理概述

TRIDENT iGW610R-G6 采用搭载 ASPEED AST2600 基板管理控制器 (BMC) 的主板，提供完整的 IPMI 2.0 兼容性，并支持 iKVM 和虚拟媒体。该带外管理平台使管理员能够监控、配置和远程管理系统，而无需考虑操作系统状态。这些功能对于高密度和浸没式冷却部署至关重要。

基于网页的界面简洁易用，左侧面板可快速访问仪表盘、系统信息、传感器、日志和报告以及电源控制等部分。每个部分都提供系统运行状况、传感器数据、固件版本和电源状态的详细信息。仪表盘一目了然地显示运行时间、访问日志和组件信息，无需额外软件即可清晰了解系统状态。

在浸没式环境中操作时，这些远程功能尤为重要。管理员无需将介质或外围设备物理插入油箱，即可通过虚拟介质部署操作系统、挂载镜像并执行更新。这不仅缩短了维护时间，还能确保浸没式硬件操作的清洁、高效和安全。

仪表盘系统概述

主仪表盘显示开机时长、固件版本、网络详情和GPU健康状况。它作为TRIDENT平台的中央状态面板，BMC提供温度、电压和传感器遥测数据，可通过IPMI命令或SNMP监控工具访问。

处理器库存

处理器页面列出了每个插槽，包括其型号、核心数和状态。此设备配备两颗英特尔® 至强® 金牌 6530 处理器。每颗处理器均有 32 个核心，采用 x86 架构，分别安装在 CPU1 和 CPU2 插槽中，并且已启用。该页面显示最大频率为 4,000 MHz，并确认了架构和系列，方便用户验证两颗 CPU 是否存在、运行状况良好且运行着预期的微代码。

内存控制器清单

内存控制器页面显示所有 DIMM 内存条，包括其容量、供应商、序列号、部件号、状态和运行频率。在我们的配置中，每个插槽都安装了 Micron 32,768 MiB DDR5 RDIMM 内存条（部件号 MTC20F1045S1RC48BA22），这些内存条已启用并以 4400 MHz 的频率运行，最大允许频率为 4800 MHz。表格视图使通道配置检查变得简单明了，并有助于确认所有内存库的时序一致。

仓储库存

“存储”选项卡显示已连接的驱动器和控制器。在我们的系统中，可以看到 Solidigm D5-P5430 E1.S NVMe SSD 用作主存储，而三星 990 Pro 1 TB M.2 硬盘则用于运行操作系统。每个驱动器的固件版本、接口速度和加密状态都会显示出来，无需打开机箱即可轻松验证存储子系统。

TRIDENT iGW610R-G6 热性能

热性能对系统的长期可靠性至关重要，Hypertec Trident iGW610R-G6 的设计充分考虑了浸没式运行的需求。Trident 并非依靠空气流过散热片来带走高密度组件的热量，而是完全浸没在介电液体中，将热量直接从硬件传导至可控冷却回路。这种设计消除了风冷系统常见的机械风险，例如风扇故障、灰尘污染和潮湿环境。通过将电子元件与空气隔离并引入连续的液体散热路径，该系统能够维持高度可控且稳定的热环境。

在测试过程中，Trident iGW610R-G6 运行于一个 Submer SmartPod Exo 水箱内，该水箱配置为单相浸没式冷却。在此配置中，介电液体持续循环流经机箱，吸收 CPU、GPU 和 NVMe 硬盘的热量，然后流经集成式热交换器。吸收的热量随后被输送到机房的冷水循环系统，最终被送至建筑物的散热系统。这种闭环设计可使机架温度保持稳定，确保冷却液均匀流动，并防止高密度计算配置中常见的局部过热现象。

循环液作为高比热容的热库。随着热负荷的变化，液体吸收并均匀地将能量重新分配到整个水箱中。这最大限度地减少了温度梯度，并防止了风冷数据中心常见的元件级温度波动。在传统环境中，室温或风扇转速的变化会导致敏感元件的温度波动几度。随着时间的推移，这些波动会在焊点和基板上造成物理应力。在浸没式冷却系统中，这种影响几乎完全消除，从而减少了机械疲劳并延长了硬件的使用寿命。

为了测量高负载下的散热性能，我们对Trident iGW610R-G6的所有主要子系统进行了压力测试。我们使用FIO对每个SSD施加持续的I/O压力，同时对GPU和CPU进行压力测试，使这些组件的负载达到100%。在整个测试过程中，我们记录了数小时内的组件温度，以评估其平衡和波动特性。

测试结果高度一致。CPU 温度稳定在约 52°C，比空闲温度高约 13.7°C。GPU 温度峰值约为 58°C，比空闲温度高出 21.1°C。四块 Solidigm NVMe SSD 的温度变化趋势相似，在负载下温度保持在 29°C 至 30°C 之间，温差为 8.8°C 至 9.2°C。达到平衡后，温度在整个测试过程中保持稳定，波动极小，表明流体分布均匀，且通过冷却回路有效散热。

时间序列数据证实了这一性能。经过初始预热阶段后，所有传感器均显示出稳定且近乎水平的温度曲线。没有出现大幅波动或热漂移，表明浸没式冷却能够维持稳定的温度，并且冷水循环系统能够有效地将水箱中的热量散发出去。即使在持续满负荷运行下，Trident 的温度曲线也保持了极佳的可预测性。

从可靠性角度来看，这种稳定性带来了显著优势。由于没有风扇，减少了对活动部件的维护，而密封环境则可防止灰尘进入和连接器氧化。随着时间的推移，这些特性转化为更低的故障率和更长的平均维护间隔时间。Trident iGW610R-G6 平台与 Submer 的单相 SmartPod Exo 环境相结合，提供了一种可重复且可靠的冷却解决方案，能够很好地扩展以适应高密度部署。

总体而言，Trident iGW610R-G6 收集的热数据表明，采用主动式液体循环的浸没式冷却不仅能提供卓越的散热管理，还能显著提升可靠性。通过保持组件温度的稳定并消除对环境温度的依赖，该系统无论工作负载或运行时间如何，都能在最佳范围内运行，因此非常适合高可用性计算和存储工作负载。

为什么企业选择沉浸式教学

浸没式冷却技术已不再是实验性技术。构建大规模人工智能和高性能计算环境的组织机构如今都在部署该技术，以实现稳定的散热性能、更高的机架密度以及更高效的电力和设施资源利用。以下示例展示了浸没式冷却平台如何在生产环境中得到大规模应用。

阿达森
ADACEN 选择沉浸式基础设施来支持其 AI 和 HPC 即服务平台的扩展，使该组织能够运行密集的 GPU 配置，同时简化设施冷却要求并提高长期运营效率。

“我们选择与 Hypertec 合作，是因为他们独创的浸没式技术为我们带来了空气冷却或芯片级液冷无法比拟的运营和可持续性优势。他们精心设计的浸没式平台使我们能够部署更高密度的 CPU 和 GPU 资源，降低 90% 以上的冷却能耗，并消除机械故障点。Hypertec 的系统使我们能够高效扩展 AI/HPC 即服务工作负载，同时满足我们的性能和 ESG 目标——这就是为什么它们是我们 AI 战略的核心组成部分。”——Bernard Westwood，ADACEN 营收运营总监。

ADACEN代表了一种在托管基础设施中高密度部署的模式。研究计算环境也呈现出类似的驱动因素和结果。

滑铁卢大学
滑铁卢大学正在九个浸没式水槽中部署700个节点，以支持下一代科研计算。采用浸没式设计能够实现高密度GPU集群，同时保持稳定的热性能并降低设施的复杂性。

“我们选择Nibi的浸没式冷却技术，是因为它不仅效率和可靠性极高，还能简化我们的数据中心设计。Hypertec的浸没式服务器让我们能够轻松部署高密度计算，而无需传统风冷或液冷系统的复杂性。这种方法提高了性能和稳定性，并有助于我们构建一个高度可持续、节能高效的高性能计算环境。”——滑铁卢大学SHARCNET技术总监John Morton。

这些部署表明，沉浸式技术已经被用于大规模地提供可预测的性能，而这仅仅是众多采用这种方法的组织中的两个。

结语

我们对 Hypertec Trident iGW610R-G6 的评估表明，浸没式散热能够为高密度 GPU 和存储配置带来持续的性能提升。在持续负载下，系统保持了稳定且较小的温差，没有出现任何温度漂移或波动。CPU 和 GPU 在负载下保持了稳定的工作点，Solidigm E1.S 固态硬盘也提供了稳定的 I/O 吞吐量，温度波动极小。这种高度的温度稳定性直接降低了组件的压力，并最大限度地减少了通常会导致组件过早磨损的情况。