戴爾 PowerEdge XE9680 評測：我最喜歡的測試過的服務器

我們通常會等到文章結束時才勾勒出全貌並完成評論。 然而，戴爾 PowerEdge XE9680 提供瞭如此令人興奮的硬件，我們迫不及待地想通過這篇積極的評論來分享我們的興奮之情。 戴爾的設計以人工智能的需求為中心，以 6U 的外形尺寸提供強大的計算能力。 由於戴爾與英特爾和 NVIDIA 在 XE9680 上的合作，他們推出了一款不僅功能強大而且高效的產品。

戴爾 PowerEdge XE9680

它的規格令人印象深刻。 兩個第四代英特爾至強可擴展處理器（每個 4 個內核）和 56TB DDR2 內存為 AI 加速器提供 CPU 主幹。 然後添加八個 NVIDIA HGX H5 或 A100 GPU，通過 SXM 連接並通過 NVLink 連接在一起，該服務器能夠處理最大的模型和數據工作負載。

PowerEdge XE9680 的大 RAM 容量（高達 4TB）在處理 AI 工作負載方面具有顯著的競爭優勢。 如此大的內存佔用可以訓練更複雜的模型，從而獲得更高的性能和更準確的結果。

我們的配置包括前面板的 8 個 U.2 NVMe SSD 插槽。但正如我們在R660上看到的那樣，戴爾也計劃提供 E3.S 背板，支援 16 個 E3.S SSD。此外，該伺服器還支援後部的 NVMe BOSS-N1 啟動磁碟。

這不僅僅是力量

PowerEdge XE9680 不僅僅關乎電源；它還關乎電源。 它還優先考慮安全性和可管理性。 憑藉加密簽名固件、靜態數據加密和安全啟動等功能，該服務器可確保您的數據始終受到保護。 嵌入式 iDRAC9 系統提供易於使用的管理界面，提供各種工具和集成，使服務器管理變得簡單、輕鬆。

當我們想要切換服務器上的操作系統安裝（稍後會詳細介紹）時，我們對此系統進行了測試，並且使用iDRAC 的加密擦除功能更簡單，只需單擊幾下即可啟動干淨的系統跟...共事。

先前，我們研究了戴爾關於XE9680的白皮書，並根據Lambda設定的影像產生延遲基準測試，評估了戴爾PowerEdge XE9680伺服器的效能。這台伺服器的吞吐量大約是基準測試結果的兩倍，這充分證明了PowerEdge XE9680的強大效能和卓越效率。

MLPerf 分數廣受認可，是此類系統效能排名的重要指標。為了充分利用我們實際操作 XE9680 A100 和 H100 伺服器的機會，我們決定對 Meta 的 LLaMa 演算法在這兩套系統上的微調效能進行直接比較。為此，我們遵循了史丹佛大學 Alpaca 的訓練步驟，他們使用了 4 台 A100 系統完成了訓練。

XE9680 上的羊駝訓練

我們要感謝 NVIDIA 和戴爾團隊對此項目的協助。 從硬件和軟件的角度來看，這是一項非常尖端的技術，如果沒有兩家公司行業專家的指導，這將是一個更加漫長、密集的過程。

在 A100 系統上，使用斯坦福 Alpaca Git Hub 上概述的流程，我們可以重現創建 Alpaca 檢查點的步驟，完成三個 epoch 的訓練，平均大約 90 分鐘。

轉向 H100 系統後，我們看到了改進，每次運行大約需要 70 分鐘即可完成。 由於這些系統的高需求和有限的性質，我們沒有機會調整代碼本身來探索可能的性能改進，很明顯，通過細化和專門用於開發的時間，企業團隊可以實現快速轉變時間進行微調。

官方非官方

在 A100 風格的 XE9680 上，我們有機會進行一些開箱即用且非常非正統的測試。 我們在系統上安裝了Windows Server 2022！ 這涉及到一些 iDRAC 驅動器擦除以刪除 Linux 安裝、使用 iDRAC .iso 文件和虛擬介質的一些技巧來旁加載英特爾網絡驅動程序，然後就開始了比賽。 使用來自類似 Dell PowerEdge 系統的芯片組驅動器以及官方 NVIDIA A100 驅動程序。

系統運作穩定，沒有任何問題。然而，這是一個非常罕見的使用場景，戴爾官方並不支持。因此，我們安裝了全新的Windows系統，並配備了市面上最好的八塊GPU，然後開始我們最擅長的——對樹莓派進行基準測試！

八塊 NVIDIA A100 卡無需任何調整即可輕鬆打破 GPU-Pi 世界紀錄，Xeon Platinum CPU 在 y-cruncher 和 Cinebench 上都取得了不錯的成績。 我們嘗試了一些其他標準 CPU/GPU 基準測試，但它們工作的希望不大，正如預期的那樣，我們遇到了阻止成功運行的軟件/編碼器問題。 例如，Procyon 甚至不知道它有可用於進行測試的 Tensor GPU。

我們需要再次重申，這只是對不受支持的配置的測試，事實上，我們的一切正常工作令人印象深刻，這證明了戴爾跨平台生產一致硬件的能力。 在任何生產環境中的此類系統上使用 Windows Server 都是不明智的。

測試	結果
Cinebench 多	90,710
單人影院	174
CB MP 口糧	77.24
Geekbench 6 顯卡	197,669
Geekbench 6 單機	1,678
Geekbench6 多	16,425
怪物：	每分鐘 855.080461 個樣本
舊貨店：	每分鐘 546.636998 個樣本
課堂：	每分鐘 394.441850 個樣本
GPU Pi 3.2 1 億	0.394秒
GPU Pi 3.3 1 億	0.317秒

值得注意的是，如此令人印象深刻的性能不僅會轉化為速度，還會影響人工智能的實際應用。 憑藉更快的再培訓和微調能力，企業可以顯著提高敏捷性，從而能夠快速響應市場變化、客戶需求和內部要求。 例如，設計團隊可以實時評估和完善概念，從而顯著縮短上市時間，或者合規團隊可以使用助理型法學碩士的最新政策和程序不斷培訓和微調更新的模型。

使用生成式人工智能轉變運營

Dell PowerEdge XE9680 可以促進生成式 AI 改變多個行業運營。 想像一下零售場景，人工智能可以根據客戶偏好快速生成各種產品配置或顏色選項的真實圖像，或者建築企業創建新建築的可視化以進行規劃和銷售演示。 可能性是令人著迷的。

Dell PowerEdge XE9680 完美融合了功能、效率和多功能性。 它是一款高性能服務器，可以輕鬆處理要求苛刻的人工智能工作負載。 雖然它是專門為滿足人工智能工作負載而設計的，但其功能使其有可能對其他應用程序有用。

結合戴爾透過Project Helix計畫致力於幫助企業實施人工智慧專案的承諾，PowerEdge XE9680無疑是一款令人振奮的產品，也是我們今年見過的最佳硬體創新之一。憑藉其強大的效能、精湛的工藝和企業級的生命週期管理，戴爾PowerEdge XE9680迅速成為企業伺服器領域的理想之選也就不足為奇了。

戴爾XE9680

英偉達 A100