戴尔科技世界的亮点不仅在于戴尔强劲的产品发布,还在于其合作伙伴在展会上展示的解决方案。今年,没有什么比展会上各种液体冷却解决方案更受关注的了。人们对液体冷却非常感兴趣,以至于我们强调这些技术的社交媒体视频在过去几周内就获得了数百万次观看。除非您的工作负载完全是普通的,否则液体冷却将会进入您的数据中心。这是一份入门指南,重点介绍了哪些技术可能适合,具体取决于您处于液体冷却循环的哪个阶段。
直接到芯片内部循环
目前为止,数据中心采用液冷最简便的方法是使用闭式内部循环系统。与游戏PC中的CPU散热器类似,这类系统利用带有大型散热器的冷板来散发关键组件的热量。JetCool公司提供此类解决方案,他们展示了戴尔的Intel和AMD平台,这些平台都采用了闭式内部循环系统。
在Instagram上查看此帖子
这些系统的最佳之处在于,它们可以显着节省电力,根据 JetCool 的说法,可以节省 10-15% 的电力,而且无需复杂地利用设施用水。在某些数据中心,完整的液体冷却回路甚至可能不是一种选择,因此这种方法是风冷服务器的最佳替代方案。
JetCool 内部循环
虽然闭环的节能效果不会像其他替代方案那么高,但对于数据中心来说,即使节省 10% 也是巨大的,因为数据中心受到单个机架可支持的电量的限制。由于封闭的内部循环,小幅节能可能意味着每个机架支持一台或两台额外的服务器。
值得注意的是,戴尔在 PowerEdge XE8640 GPU 服务器上使用了内部循环,您可以在我们最近制作的 YouTube 视频中看到更多关于该服务器和 XE9640 的信息。
直接到芯片的全液体回路
从内部循环到与机房供水系统连接的升级方案,不仅有助于服务器散热,还能将热量排出数据中心。不过,也存在一些折衷方案。我们最近评测过CoolIT Systems 的产品,他们为一台 R760 服务器进行了液冷改造,加装了冷板。我们还安装了一个小型歧管和冷却液分配单元,但我们的冷却液分配单元是液冷式的。这意味着我们虽然能从 R760 服务器吸收热量,但仍然会将热量排放到数据中心,因此需要将其排出。
我们的小型部署方案可以支持几台服务器,但如果您要为例如新款液冷戴尔 PowerEdge XE9680L GPU 服务器做好准备,则需要更强大的解决方案。CoolIT 一直是戴尔液冷产品路线图的重要组成部分,他们展示了新款Omni 冷板、新型 CDU 以及其他各种散热技术。
但即使是芯片直接散热也并非一成不变,实现方式多种多样。ZutaCore的解决方案便是最好的例证,它采用独特的两阶段散热方式为芯片提供冷却。ZutaCore 展示了几个展台,其中最引人注目的是一台经过改造的XE9680 GPU 服务器,ZutaCore 为其配备了 14 个冷板——8 个用于 GPU,4 个用于交换机,2 个用于 CPU。这项技术极具吸引力,我们专门制作了一期播客节目对此进行了详细介绍,如果您想了解更多信息,欢迎收听。
在Instagram上查看此帖子
为了强调直接芯片冷却的另一个版本,我将重点介绍 Chilldyne。虽然严格来说不是在 DTW 博览会上,但我们确实在酒店的一家酒吧会见了他们的一些团队成员,在我们看来,这已经足够接近了。公平地说,Chilldyne 是戴尔合作伙伴,我们在戴尔实验室见过他们的套件。
Chilldyne 因其负压液体回路而闻名,这意味着即使管线被切断,也不会造成液体损失。泄漏是阻碍数据中心采用流动性的第一大担忧,因此 Chilldyne 肯定在这方面有所作为。我们制作了一个简短的视频来突出他们的技术,这是我们今年最受欢迎的社交视频之一。
在Instagram上查看此帖子
后门热交换器 (RDHx)
后门热交换器可以是替代服务器机架后门的被动式或主动式热交换器。它们本质上是从服务器排出的空气中吸收热量,并将其卸载到液体回路中进行冷却。被动门基本上是安静的,没有风扇。 Active RDHx 可以向 RDHx 添加风扇以提高效率。
虽然 RDHx 并不是 DTW 的很大一部分,但由于两个关键原因(在频谱的两端)值得一提。首先,它们是向数据中心添加液体冷却的相对简单的第一步,并且可以部署在各种独立配置中。或者,RDHx 可以与其他液体冷却技术配合使用,通过液体冷却实现 100% 热量回收,这是上周拉斯维加斯的一个话题。
利伯特 DCD50 RDHx
几乎所有从事机架式应用的公司,包括戴尔科技世界大会上的 CoolIT 和Vertiv等公司,都以某种形式提供 RDHx 技术。值得一提的是,戴尔正在大力推广XE9680L,并称其为“一款采用后门热交换器 (RDHx) 的 70kW 风冷设计,支持 64 个 GPU——是 NVIDIA H100/H200/B100 的理想之选。我们还有一款采用 RDHx 液冷的 100kW 设计,支持 72 个 B200 GPU——这是业内最紧凑的机架式架构。”
全浸没式液冷
到目前为止,我提到的所有数据中心液冷方案都相对主流。而根据我们收到的反馈,全浸式冷却技术的情况则更为复杂。顾名思义,这项技术本质上是将现有服务器稍加改造后,浸入一种特制液体(专有介电冷却剂)中。BP和壳牌等公司都生产用于此用途的冷却液。过去三四年里,我们已经在像 DTW 这样的行业展会上看到过全浸式冷却机架的身影。今年,Submer和GRC都提供了浸式冷却技术的演示。
在Instagram上查看此帖子
单相浸没式冷却的想法(两相曾经有一段时间但基本上已经失宠)在很多方面都是有意义的,并且是加密货币矿工的最爱。当考虑像 PowerEdge 这样的企业服务器时,规则会发生一些变化。对于服务器,第一步是拆除风扇,这可以立即节省电量。对流或泵辅助对流使流体流过服务器的组件。热量可以通过热交换器捕获并从数据中心排出。
该系统消除了对空气冷却的需求,GRC 和 Submer 都指出,数据表明浸入式冷却的服务器实际上比空气冷却的服务器具有更长的寿命和更少的服务事件。但这是最大的障碍之一,服务器必须从池中出来才能获得服务,虽然这并不难,但比维护传统的机架式设备更尴尬。浸入水中的服务器必须从液体中取出,稍微干燥,然后放在桌子上进行维修。不是不可能的行动,而是需要一点努力的行动。
与标准立式机架相比,浸没式储罐的重量、流体容量和占地面积效率也存在一些问题。浸没式储罐行业则认为,储罐可以堆叠,而且浸没式储罐内的系统效率更高。如果您想了解更多信息,我们有一个关于浸没式储罐的优质播客。
结语
如果您的组织正在从事人工智能或其他使用密集 GPU 盒的应用程序,那么液体冷却将无法阻止您的数据中心。如果您今天购买了一台 8 路 GPU 服务器,那么当一年后它出现在您的装卸码头上时,如果您尚未投资于完整的液体循环,那么它内部很可能会形成一个闭环。好消息是,该行业正在识别阻碍采用的问题,例如缺乏通用歧管连接器,并努力解决这些问题,因此企业更容易接受液体冷却。




Amazon