戴爾 PowerEdge XE9640 液冷 GPU 伺服器深入探究

戴爾 PowerEdge XE9640 是一款配備 4 個 GPU 的機架式伺服器，憑藉液冷散熱技術，能夠以高效節能的方式提供強大的 AI 處理能力。 XE9640與 XE8640 以及我們非常期待的 8 路XE9680 GPU 伺服器一同在SC22大會上發布。如今，XE9640 已正式上市，我們將深入剖析其底層硬體。

戴爾 GPU 加速伺服器系列

PowerEdge XE 系列伺服器專為需要高效能和高可靠性的複雜 AI 和 HPC 工作負載而設計。這些伺服器旨在實現高效能、數據驅動和智慧化。目前，XE 伺服器系列包括XE9680（我們之前提到過它是 Jordan 的最愛嗎？）、XE9640、XE8640 和 XE8545。所有這些伺服器的共同點在於，它們都旨在支援各種 AI 應用，並提供適合客戶的散熱方案。

產品	目的	優勢	應用情境
XE9680	旨在透過 AI 加速增強洞察力，旨在實現最佳性能和最快的價值實現時間	透過 8 個 NVIDIA H100 或 A100 Tensor Core SXM GPU 發揮 AI 和 HPC 的極致效能	大型語言模型
		智慧風冷操作（最高 35C）可最大限度地將資料轉換為結果	自然語言處理
		智慧風冷操作（最高 35C）可最大限度地將資料轉換為結果	大型推薦引擎培訓
			建模與仿真
			數位孿生與製造
XE9640	專為推動高密度 2U 智慧液冷伺服器中的 AI 計畫而設計	透過 4 個 NVIDIA H100 Tensor Core GPU 或 4 個英特爾資料中心 Max OAM GPU 推動 AI 取得更大成果	自然語言處理
		智慧液冷 CPU 和 GPU 最大限度地提高效能	大型推薦引擎培訓
		透過優化電源利用效率降低 TCO	建模與仿真
			人工智慧、ML/DL 物件識別培訓
XE8640	以卓越的效能驅動 AI、HPC 和分析工作負載	使用 4 個 NVIDIA H100 GPU 針對各種應用程式自動分析見解	中等資料集語言模型
		風冷運轉（最高 35C）以提高電源效率	自然語言處理
		透過智慧擴展選項擴大營運規模	建模與仿真
			人工智慧、ML/DL 訓練與推理、影像識別
XE8545	主流AI和圖形應用效能	使用 4 個 NVIDIA A100 GPU 提升訓練和推理效能	建模和仿真，包括地震分析
		風冷運行（最高 35C）可實現高效運行	人工智慧、ML/DL 訓練和推理、影像辨識和聊天機器人
		透過平衡的效能功耗比解決方案降低整體擁有成本

Dell PowerEdge XE9640 – GPU 多樣性與液體冷卻

PowerEdge XE9640伺服器透過與合作夥伴 CoolIT 的深度合作，為 GPU 和 CPU 提供直接液冷 (DLC) 散熱。該伺服器也配備了一些風扇，以確保 DRAM、儲存設備和 PCIe 擴充卡獲得足夠的空氣流通和散熱。不過，這些風扇無需以最高轉速運行，顯著節省了電力。

PowerEdge XE9640 提供了多種 GPU 選擇，可以選擇 4 個NVIDIA NVLink互連的H100 SXM5 GPU 700W 模組或 4 個Intel XeLink 互連的 Intel 資料中心 GPU Max 1550 600W 開放式加速器平台 (OCP) 加速器模組 (OCP) 模組模組 (OAM)。

由於 NVIDIA NVLink 和 Intel Xelink 等技術，這些 GPU 可以無縫通信，有效地池化記憶體和核心。 這對於處理記憶體一致性工作負載（例如大型語言模型（LLM））特別有用。 這種多功能性使其適用於各種人工智慧工作負載。 當然，最明顯的問題是“AMD Instinct 怎麼樣？” 戴爾不斷評估額外的 GPU 支持，但在發佈時並未在此伺服器中提供 AMD 解決方案。

這種GPU多樣性使用戶能夠滿足生成式人工智慧、工業模擬建模和前沿科學研究日益增長的需求。例如，PowerEdge XE9640的英特爾資料中心GPU Max加速器功能已被德克薩斯高級計算中心（TACC）用於其Stampede3超級電腦。

在密度和冷卻方面，PowerEdge XE9640 經過精心設計和設計，可有效利用機架空間，同時提高效能。 憑藉其緊湊的 2RU 配置，該伺服器為每個機架提供了令人印象深刻的 GPU 容量，從而最大限度地利用了寶貴的資料中心空間。 PowerEdge XE9640 採用 DLC，在效率和成本效益方面優於傳統風冷系統。

Dell PowerEdge XE9640 – 其餘硬件

除了GPU本身，XE系列的工程設計也堪稱一流。我們剛剛發布了XE9640和XE8640的影片評測。影片詳細介紹了設計細節，從XE9640的硬碟存取和DLC水管的佈線，到XE8640的GPU閉環液冷散熱，以及所有XE伺服器未來的升級方向。影片已嵌入下方，供您參考。

與 XE9640 相比，移除擋板可以輕鬆存取 NVMe 驅動器。 機箱右側的兩個插槽支援 NVMe 啟動最佳化儲存子系統 (BOSS) 驅動器，並透過 1 x M.2 SSD 包含 HWRAID 2。 如今，主儲存透過 4 個 U.2 Gen4 NVMe 驅動器提供。 由於 SSD 托盤選項支援 8 個 E3.S Gen5 NVMe 驅動器，未來版本中的數量將增加一倍。 該平台不支援 U.2 NVMe 托架的 HW RAID，儘管大多數都不需要它。 許多 GPU 盒子都利用外部的大量資料集。 在這種情況下，本地儲存不會成為這些大型資料集的主要來源。

當然，對於需要利用海量儲存陣列的人工智慧專業人士來說，伺服器後面有很好的擴展選項。 XE9640支援四個PCIe Gen5插槽，兩個半高和兩個全高。 此外，您還有一個 PCIe Gen3 OCP NIC 插槽。

為了消除對洩漏的擔憂，液冷伺服器在 iDRAC 中包含洩漏偵測報告。 當您深入機殼的不同部分時，戴爾檢測洩漏的方法非常令人難以置信。 例如，在下面的 CPU 冷卻板照片中，您可以在整個水塊周圍以鋸齒狀圖案辨認出細小的銅跡。 如果有水滴到這些連接上，開路迴路就會偵測到小短路，系統就會知道發生了洩漏。 底盤其他部位採用編織鋼絲繩，檢測方法類似。 這在我們的主液體分配塊的照片中可以看到，底盤前面有許多軟管。 此外，CoolIT CDU 和迴路的其餘部分還在沿途的許多點提供洩漏檢測報告。

順便說一句，風冷式 XE8640 和 XE9680 還包括閉環 GPU 液體冷卻，並透過 iDRAC 進行相同的洩漏檢測。

優化每個機架的功率

PowerEdge XE9640 為客戶提供了微調每機架功率利用率的機會。 每個機架有 41 個伺服器，加速計算的尖峰負載可能需要大約 12kW 的功率，利用三相配電來實現平衡效能。 為了擴大規模，資料中心可以部署容納 18、21 甚至 9640 個 PowerEdge XE54 伺服器的機架，分別實現約 81kW、95kW 和 XNUMXkW 的功率等級。 這種適應性使資料中心能夠根據特定要求優化其機架電源使用。

戴爾整理了各種資源，幫助客戶全面了解 PowerEdge XE9640。 這包括拆箱影片和詳細的產品評論。 拆箱影片展示了伺服器的設計和功能，為客戶提供了其功能的視覺之旅。

為了進一步凸顯 PowerEdge XE9640 的優勢，戴爾製作了一張資訊圖，將其與採用風冷散熱的同系列產品PowerEdge XE8640進行了對比。這張資訊圖表重點介紹了 PowerEdge XE9640 的顯著特點，特別是其高效的液冷散熱性能和令人印象深刻的單機架 GPU 容量。

最後的思考

PowerEdge XE9640 是戴爾不斷擴展的生成式人工智慧解決方案的組成部分，旨在徹底改變人工智慧工作負載並促進創新。 戴爾的生成式人工智慧解決方案結合了戴爾科技集團提供的尖端技術、創新和服務，提供更智慧、更快速的成果。 透過利用生成式人工智慧的功能，組織可以獲得新的見解、加速轉型工作並提高員工效率。

雖然 XE9680 可能仍然是我們最喜歡的戴爾 GPU 伺服器，但 XE9640 純粹是從效率和設計的角度贏得了我們的青睞。 2U機箱佔用了大量的工程量； 採用液體冷卻的資料中心顯然會傾向於使用這些節能的機殼。 四個 NVIDIA 模組本身的功耗為 2800W，因此戴爾在幫助資料中心提高機架效率和能源效率方面所做的一切都是一個巨大的飛躍。

信息圖表