ブライアンは先日、熱管理の専門家であり、液冷技術のパイオニアであるティム・シェッド氏と対談しました。このポッドキャストでは、ティム氏がクレイ社でチューブに液体を噴霧していた時代から、最近のデルのPowerEdge XE9680の開発に至るまで、データセンターの液冷の歴史について語っています。
StorageReviewラボにおけるDell PowerEdge XE9680
ティム・シェッド氏は、熱管理、液冷、データセンターインフラストラクチャを専門とする業界のエキスパートであり、機械エンジニアです。ウィスコンシン大学マディソン校の教授として学術研究に携わった経歴、Motivair社での基礎的なエンジニアリング業務、Dell Technologies社のCTO組織における上級技術リーダーとしての経験を持ち、高密度冷却アーキテクチャの最前線で活躍してきました。彼の研究は、高度な熱物理学とハイパースケール製造の橋渡し、冷却分配ユニットの標準規格の確立、そして空冷式および液冷式ハードウェアトポロジー全体にわたるデータセンターの電力効率の最適化に重点を置いています。
このポッドキャストでは、メインフレーム、HPCプラットフォーム、そして最新のサーバー技術に至るまでの熱管理の進化について、深い洞察を提供します。1時間足らずで、これがテクノロジーの効率的な運用にどのような影響を与えるのかをより深く理解できるでしょう。
最初から最後まで見る時間がない場合は、5分ごとのセグメントに分割しましたので、ご自身にとって最も重要な部分を選んでご覧ください。
[00:00] HPCからエンタープライズAIへの液冷技術の進化
最初の部分では、特殊なスーパーコンピューティング設備から高密度な商用エンタープライズアプリケーションに至るまでの液冷技術の歴史的発展を概説し、初期の熱設計上の選択肢に焦点を当てます。
- 初期のコンピューティング環境は、高密度HPCや高速化されたコンピューティングワークロードによって課される限界に達するまでは、蒸発冷却と基本的な強制対流に依存していた。
- クレイアーキテクチャを用いた初期の学術的な実験では、チューブに直接液体を噴霧する方法が用いられ、技術的には実現可能であったものの、商業的にはコストが高すぎることが判明した。
- 2015年以降のラック電力密度の転換点により、OEM各社は標準化されたエンタープライズ向け液体電源システムの導入を迫られ、2019年までに高密度ラック生産モデルが実現した。
- OEMサプライチェーンは、年間数千個の液冷式ノードを生産する規模から、毎週数千個の生産システムに供給する規模へと転換した。
- デル史上最も急速に成長しているサーバーであるPowerEdge XE9680のような主力エンタープライズプラットフォームは、チップへの直接実装が必須となる以前から、高密度の空冷式ヒートシンクと背面ドアの熱交換器を組み合わせることで、初期のAIにおける熱負荷のバランスを取っていた。
[05:00] スケールでの熱破壊点と流体物理のテスト
このセクションでは、競合する熱技術の実験室評価について考察し、単相直接チップループが浸漬システムよりも主流のアーキテクチャとして台頭した理由を詳しく説明します。
Dell PowerEdge R760に搭載されたCoolITダイレクトチップコールドプレート
- OEMの検証ラボは、コールドプレートループ、負圧ネットワーク、浸漬構成、および二相システムにわたる広範なテストを実施し、導入基準を確立した。
- シリコンの熱負荷は、歴史的に世代を重ねるごとに徐々に増加してきたため、TDPが500W～1000Wの範囲を超えるまでは、標準的な空冷や基本的な液冷方式で十分だった。
- 液浸冷却は、仮想通貨ファームのように熱分布が広範囲に及ぶ場合には運用上の利点があるが、最新の加速器に見られるような局所的で高密度な熱流束には対応しにくい。
- 25%プロピレングリコール（PG25）を混合した水は、 マイクロチャネル冷却プレートは、その予測可能なスケーリング、供給の安定性、および確立された熱伝達特性により、主要な標準となった。
- オープンなエコシステム規格は、性能低下を招くことなく、複数のベンダーからコールドプレート、マニホールド、クイックディスコネクトを調達するために依然として重要である。
[10:00] 標準化、複数ベンダー間の相互運用性、および機械的信頼性
議論は、液体ハードウェアの導入における運用上の現実へと移り、複数ベンダーのコンポーネントの統合、責任の所在の明確化、および材料の完全性に焦点を当てる。
- 異なるメーカーの冷却部品を混用すると、機械的な互換性に大きな問題が生じ、液漏れが発生した場合の保証にも厳しい制限が課せられる。
- 法的責任とサービスレベル契約は、依然として業界における主要な障害であり、本番サーバーフロア全体で複数のベンダーのシステム構成を採用することを阻んでいる。
- 従来のロープ式漏水検知システムは、ポンプの自動停止機能やバルブの自動遮断機能を備えた統合型センサーシステムに取って代わられつつある。
- 過酸化物硬化型EPDMホースの製造技術の進歩により、チップに直接接続する配管における部品レベルの故障率が大幅に低下した。
- 現場におけるシステムの信頼性低下は、主に製造時の異物や不十分な初期ライン洗浄に起因するものであり、原材料部品の疲労によるものではない。
[15:00] 残骸管理、熱流束制限、および負圧の物理学
この期間では、精密冷却板の流体力学、微細粒子汚染による壊滅的な影響、および負圧冷却ループを制限する大気物理学について検討する。
チルダイン社製陰圧式CDU
- 100～200ミクロンの微粒子、たとえクイックディスコネクトに挟まったワイヤーブラシの繊維一本であっても、マイクロチャネルフィンを塞ぎ、熱スロットリングによってラックをダウンさせる可能性がある。
- 高度な計算流体力学（CFD）モデリングにより、最新の冷却プレートは1500Wの負荷を放散しながら、30℃という狭い温度差を維持することが可能になった。
- 負圧冷却システム 本質的に大気圧によって制約されるため、室温で流体が沸点に達する前に使用できる差圧はわずか7～9PSIしかない。
- 圧力予算が限られているため、負圧ループを長い設備マニホールド、CDU、および高抵抗のマイクロチャネル冷却プレートに通すことは困難である。
- 腐食、生物の繁殖、および材料の劣化を防ぐためには、専門的な水質分析と継続的な化学的モニタリングが不可欠です。
[20:00] 環境変数、流体化学、および高度な漏洩検知
本稿では、地域的な気候変動がデータセンターの運用に与える影響、結露リスク、そして迅速対応型漏水検知センサーの技術的進化について議論する。
- 地域の湿度、標高、および周囲の環境条件によって、二次ループの水温と施設の冷却効率が左右される。
- 高湿度環境下では、ループ温度が周囲温度よりも低くなるため、サーバーシャーシの部品に結露が発生するリスクがあり、専用の露点制御が必要となります。
- 従来の漏水検知ロープは、サプライチェーンのボトルネックや高い作動閾値といった問題点を抱えており、警報を発するまでに相当量の液体が必要となる。
- 次世代の漏洩検知技術は、柔軟なポリマー印刷センサー、光学染料検出、および蒸気検知器を活用し、壊滅的な故障が発生する前に微小な漏洩を特定する。
- インテリジェントなラックコントローラは、初期の液漏れを感知すると、CDUループの圧力を能動的に調整し、稼働時間を維持しながら漏洩量を最小限に抑えます。
[25:00] 2相直接チップ接続の可能性と冷媒化学の評価
このセクションでは、二相冷却における潜熱蒸発の熱力学的利点と、低GWP冷媒を取り巻くサプライチェーンおよび化学的側面について考察します。
- 2相直接チップ冷却方式は、単相ループによる顕熱損失（通常5℃以上）を排除し、チップの消費電力が10Wでも1,000Wでも、一定の沸点を維持します。
- 二相冷却方式は、水による腐食やラック内の電気的短絡のリスクを最小限に抑えるため、企業データセンターにとって魅力的な導入モデルとなる。
- 二相ループの規模拡大には、相変化マニホールド、CDU、および複雑な蒸気凝縮器における複数ベンダー間の相互運用性の問題を解決する必要がある。
- 低GWPで不燃性の新たな誘電性流体（R-515BやR-1233zdなど）は、従来のPFAS化合物に関連する規制上の制約を克服しつつある。
- 現代のデータセンターインフラプロバイダーは、統合されたターンキー方式の液体熱管理ソリューションを構築するために、専門的な冷却機器ベンダーを買収している。
[31:33] CDUアーキテクチャ、動的フロー制御、および爆発半径の緩和
本節では、主要なポンプ設備に焦点を当て、標準化された試験方法、過渡的な熱応答、および集中型と分散型のCDU間の工学的トレードオフについて分析する。
Dell PowerCool CDU
- ASHRAE規格127は、CDUの熱効率とポンプ性能を正確かつ公平に比較するための標準化された試験方法を確立した。
- 冷却液流量のわずかな変化でも、コールドプレートの温度変動に直結します。流量が10%変化するだけでも、スロットリング現象が発生する可能性があり、非常に応答性の高い制御アルゴリズムが求められます。
- 集中型マルチメガワット級のCDU（冷却液分離装置）は、膨大な量の流体と広い作動爆発半径を伴うため、一度の汚染や漏洩事故で施設全体のホールが機能停止に陥る可能性がある。
- 添加剤の化学的不適合性により、異なるメーカーの専用冷却剤を混合することは危険であり、沈殿や詰まりを引き起こす可能性がある。
- 分散配置された列レベルおよびラック内CDUは、機械的故障領域を分離し、流体輸送配管を削減し、設置期間を短縮します。
[37:00] ラック内CDUと集中ループの比較、および空冷式推論の実現可能性
このパートでは、高性能なラック内CDUのパフォーマンスプロファイルを評価し、分散型エンタープライズ推論クラスタにおいて空冷が依然として主流である理由を概説します。
- 専用設計のラック内冷却ユニット（CDU）は、4℃の接近温度で220kWの熱負荷をサポートでき、41℃の設備水を1キロワットあたり1.5リットルの消費量で45℃の冷却水に変換し、Vera Rubin製ラックに供給します。
- ラック内設置型CDU内部のデュアルポンプ冗長構成により、片方のポンプがメンテナンス中であっても、冷却運転を継続的に維持できます。
- 空冷方式は世界のサーバー出荷台数の約90％を占め、企業における推論処理の導入においても相当な割合を支えている。
- エッジコンピューティングおよびエンタープライズ向けの推論ハードウェアは、データが生成される、10～15年前の既存の空冷式データセンター内に直接設置する必要がある。
- 古い設備に背面ドア式の熱交換器や蒸発冷却塔を後付けすることで、これまで無駄になっていた冷却能力を、ローカルのAI推論ボックスで使用可能な計算能力（キロワット）に変換することができる。
[45:20] シャーシ内部空力とファン効率の最先端
最終章では、密閉型一体型クーラーの機械的なトレードオフを分析し、シャーシの空力最適化が空冷能力を物理的な限界まで押し上げる仕組みを検証します。
- サーバーレベルの一体型液体冷却ループは、機械的な故障箇所やシャーシのパッケージングの複雑さを招く一方で、最適化されたベイパーチャンバー式ヒートシンクに比べてわずかな利点しか得られない。
- サイドカー式の液冷式空気熱交換器は、施設内の給水設備が不足している場所において、局所的な液冷式ラックに対して、よりクリーンでメンテナンスしやすい経路を提供する。
- エンタープライズサーバーのファン効率は、10年前の15～20％から、現代の電気エネルギーから機械エネルギーへの変換率である50～60％へと向上した。
- シャーシの空力特性を1キロワットあたり100立方フィートの設計点付近で最適化し、吸入空気のすべてを均一に18℃まで温めることで、1キロワットあたりの放熱量を最大化します。
- 空気は優れた熱拡散特性を備えており、精密なダクト配管と高度なヒートシンクを組み合わせることで、次世代エンタープライズハードウェアの強固な基盤となる。
液冷技術や効率的なデータセンター設計に関する最新情報を入手するには、LinkedInでTim Sheddをフォローしてください。
Amazon