存储评论网

CoolIT 直接液冷 – 液冷服务器的无缝效率

企业版  ◇  服务器

我们与 CoolIT Systems 合作,将液体冷却引入我们的实验室。作为这项工作的一部分,我们组装了一个迷你液体冷却装置并改装了 Dell PowerEdge R760,将其从风冷改为液冷。我们刚刚开始我们的液体冷却之旅,但已经对直接液体冷却 (DLC) 的优势有了重要发现。

DLC 转换后的 Dell PowerEdge R760

DLC 转换后的 Dell PowerEdge R760

需要某种形式的液体冷却来支持现代工作负载。对于具有大量 CPU 和 GPU 热设计能力 (TDP) 的风冷服务器来说,数学不再适用。通过冷板交付的 DLC 是最常见的解决方案,每个服务器供应商都至少有一种选择。对于戴尔来说,他们与 CoolIT Systems 合作,为整个 PowerEdge 产品组合提供液体冷却。

与大多数数据中心一样,我们的实验室最初的设计并不是为了利用液体冷却。但是,像许多数据中心一样,我们看到最高功率的服务器需要某种形式的液体冷却,如果我们想利用这些系统,我们需要适应。这是我们最近在企业中经常听到的一个故事,因为数据中心正在投资人工智能,并且发现大多数这些系统很快就需要某种液体循环来运行。

在我们的案例中,我们决定首先改造实验室中的一台 Dell PowerEdge R760 服务器。需要明确的是,当客户需要液冷服务器时,他们是通过这种方式从戴尔订购的。戴尔负责与 CoolIT 的集成,客户会收到安装有冷板和用于液体冷却的软管的服务器。 DLC PowerEdge 系统有一些细微差别,使它们与风冷服务器不同,我们在这项工作中进入了相对未知的领域。 iDRAC 卡有所不同,例如,DLC 版本有泄漏检测引线。我们在转换过程中取得了成功,但安装您自己的冷板不受支持。

CoolIT DLC 套件

CoolIT 为我们配备了一个迷你系统,该系统通常用于在客户向其数据中心添加液体冷却的过程中进行小型概念验证。也就是说,该系统可以扩展到 10kW,因此对于那些刚接触液体冷却的人来说,这是获得半个机架左右经验的好方法。该设置由三个关键组件组成:冷板、机架歧管和冷却剂分配单元 (CDU)。

CoolIT R760 冷板

这些冷板是针对特定TDP应用场景设计的,能够完美适配待散热的CPU或GPU。它们外观看似简单,但实际上,尽管冷板本身没有水泵或任何活动部件,但由于TDP的不断攀升,其工程设计却并不简单。举例来说,CoolIT最近推出了一系列能够支持高达1500W功率的新型冷板。相比之下,我们R760服务器中的CPU就显得有些普通了,每颗Intel Xeon 8580 CPU的TDP“仅仅”为350W。

带 CoolIT 冷板的戴尔 R760

带 CoolIT 冷板的戴尔 R760

安装冷板非常简单,这些块甚至预先涂有导热膏,这是一个非常简单的嵌入式套件。如前所述,DLC 系统有不同的 iDRAC 卡,该卡具有从冷板延伸的泄漏检测电缆的连接点。软管通过 DLC iDRAC 套件附带的不同支架从 R760 背面引出。

CoolIT 歧管

CoolIT 歧管

冷板通过标记的热/冷连接连接到歧管。歧管本身由不锈钢制成,配件为无滴快速断开装置。将服务器连接到歧管需要几秒钟的时间,歧管是预先填充的。顺便说一句,我们的歧管位于机架的后面,但如果需要,可以将其配置在前面。我们为该用例提供了一个迷你歧管,更传统的 DLC 机架将有一个覆盖整个机架的歧管。歧管直接连接到 CDU。

CoolIT AHx10 CDU

CoolIT AHx10 CDU

在这个循环回路中,冷媒分配单元 (CDU) 承担着主要的工作,我们使用的是CoolIT AHx10。这是一款 5U 的液冷式 CDU,在 25℃ 环境温度下可处理 7kW 的负载。CoolIT 提供扩展套件,可将 CDU 的功率提升至 10kW。机箱内部包含液冷式热交换器和冗余水泵。CDU 和歧管一样,出厂时已预先填充冷却液。我们将其安装在机架的较低位置,但 CDU 的安装位置可以根据机架的布局而定。

CoolIT AHx10 接口

CoolIT AHx10 接口

AHx10 的最大功耗为 750W,这有助于围绕节能进行整体经济讨论。该系统具有直观的触摸屏显示器,提供远程访问支持。除了最初设置泵压力之外,CDU 几乎不需要做任何事情,它几乎设置好后就可以忘记它,我们的 CDU 已经运行了几周,没有任何额外的干预。

值得注意的是,使用这套 CoolIT 设备,我们并没有真正解决散热问题。实际上,我们只是将 R760 服务器 CPU 的热量转移到了 CDU 内部的热交换器。由于没有水冷系统将热量排出实验室,我们仍然需要像以前一样为实验室降温。也就是说,像这样的小型系统非常适合几台液冷服务器,对于部署小型 AI 的企业来说,它可能是一个理想的选择,例如戴尔 PowerEdge XE9640服务器就非常适合搭配使用。

戴尔 PowerEdge XE9640

液冷戴尔 PowerEdge XE9640

尽管我们仍然需要应对实验室中 DLC R760 的热量,但改用液体冷却有几个好处。

DLC 的好处

从空气冷却转向液体冷却时,最大、最明显的好处是减少风扇的使用。 R760 仍然需要气流来支持 DRAM 和存储等系统组件,但它们不需要旋转得那么快。虽然这使服务器更加安静,但 DLC 循环的最佳部分是减少电力消耗。我们发现的另一件事有点令人惊讶,DLC R760 的性能比风冷时要好一些。

为了更深入地了解 R760 的功耗,我们搭建了Quarch QTL2843 电源分析模块。我们分别使用原厂风冷散热器和 CoolIT 冷板对服务器进行了测试。为了给 CPU 施加压力,我们运行了圆周率小数点后 50 亿位的计算,这会给 CPU 和 DRAM 带来极大的负载。我们的目的是尽可能地压榨 CPU,确保风扇必须以最大功率运转。

R760 iDRAC DLC 配置

DLC 实施的影响立即显而易见。在风冷配置中运行 R760 时,风扇在工作负载期间旋转至 100%,正如预期的那样。使用 DLC 配置时,R760 选择以 32% 的速度旋转风扇,这是一个戏剧性的下降。这相当于仅在一台服务器中就节省了 200 瓦的电量。突出的不仅仅是风扇速度,CPU 本身的温度大约只有 DLC 的一半,风冷时为 41/42C,而风冷时为 88/89C。

R760 iDRAC 风冷配置

但液体冷却带来的不仅仅是节能。我们看到了一些性能提升,这是我们没有预料到的。凭借冷却板提供更好的冷却效果,CPU 可以充分运行。在风冷配置下,R760在50秒内完成了369亿Pi计算。在 DLC 配置中,R760 的速度稍快一些,在 347 秒内完成了计算。性能提升了约 6%,让我们可以从英特尔 CPU 中获得更多收益。

总结

我们刚刚在实验室开始使用液体冷却,很高兴能与 CoolIT 合作开展这项初步工作。冷板在 PowerEdge R760 上完美工作,歧管和 CDU 组合在一起,“正常工作”,无需任何担忧或持续修补。对于那些担心将液体带入数据中心的人来说,持续的简单性至关重要。我们也没有发生泄漏或其他更具灾难性的事件,这是预料之中的,这是故障率极低的企业设备。

带 DLC 软管的戴尔 R760 后部

对于希望将高功率人工智能系统引入数据中心的企业来说,液冷已成定局。 8 路 GPU 服务器将放弃空气冷却,而选择像这样的 DLC 循环,或者至少选择闭环和散热器。无论哪种方式,一定量的液体都会进入数据中心。凭借大量的电力节省和适度的性能提升,企业有很多理由采用 DLC 服务器。

CoolIT 是该领域明显的领导者,它与戴尔的关系以易于使用的方式将各种液体冷却解决方案推向市场,几乎无需担心。我们期待进一步探索我们的小循环,并迫不及待地想在实验室中看到更多液冷服务器。

CoolIT系统

参与 StorageReview

电子报| YouTube | 播客iTunes / Spotify | Instagram | Twitter | TikTok | RSS订阅

布赖恩·比勒

Brian 位于俄亥俄州辛辛那提市,是 StorageReview.com 的首席分析师兼总裁。