戴爾 PowerEdge XE9680 評測：我最喜歡的測試過的服務器

我們通常會等到文章結束時才勾勒出全貌並完成評論。 然而，戴爾 PowerEdge XE9680 提供瞭如此令人興奮的硬件，我們迫不及待地想通過這篇積極的評論來分享我們的興奮之情。 戴爾的設計以人工智能的需求為中心，以 6U 的外形尺寸提供強大的計算能力。 由於戴爾與英特爾和 NVIDIA 在 XE9680 上的合作，他們推出了一款不僅功能強大而且高效的產品。

我們通常會等到文章結束時才勾勒出全貌並完成評論。 然而，戴爾 PowerEdge XE9680 提供瞭如此令人興奮的硬件，我們迫不及待地想通過這篇積極的評論來分享我們的興奮之情。 戴爾的設計以人工智能的需求為中心，以 6U 的外形尺寸提供強大的計算能力。 由於戴爾與英特爾和 NVIDIA 在 XE9680 上的合作，他們推出了一款不僅功能強大而且高效的產品。

戴爾 PowerEdge XE9680

它的規格令人印象深刻。 兩個第四代英特爾至強可擴展處理器（每個 4 個內核）和 56TB DDR2 內存為 AI 加速器提供 CPU 主幹。 然後添加八個 NVIDIA HGX H5 或 A100 GPU，通過 SXM 連接並通過 NVLink 連接在一起，該服務器能夠處理最大的模型和數據工作負載。

PowerEdge XE9680 的大 RAM 容量（高達 4TB）在處理 AI 工作負載方面具有顯著的競爭優勢。 如此大的內存佔用可以訓練更複雜的模型，從而獲得更高的性能和更準確的結果。

我們的配置包括前面的 8 個 U.2 NVMe SSD 托架。 但正如我們所看到的 R660，戴爾還打算提供帶有 3 個 E16.S SSD 的 E3.S 背板。 該服務器還支持服務器後部的 NVMe BOSS-N1 引導驅動器裝備。

這不僅僅是力量

PowerEdge XE9680 不僅僅關乎電源；它還關乎電源。 它還優先考慮安全性和可管理性。 憑藉加密簽名固件、靜態數據加密和安全啟動等功能，該服務器可確保您的數據始終受到保護。 嵌入式 iDRAC9 系統提供易於使用的管理界面，提供各種工具和集成，使服務器管理變得簡單、輕鬆。

當我們想要切換服務器上的操作系統安裝（稍後會詳細介紹）時，我們對此系統進行了測試，並且使用iDRAC 的加密擦除功能更簡單，只需單擊幾下即可啟動干淨的系統跟...共事。

帶 H9680 卡的 XE100 上的 nvidia-smi

之前我們看了戴爾的白皮書 根據 Lambda 設置的映像生成延遲基准進行評估時，XE9680 上的性能以及 Dell PowerEdge XE9680 服務器的性能。 該服務器提供了大約兩倍的吞吐量，這證明了 PowerEdge XE9680 的功能和效率。

MLPerf 分數 被廣泛認為是此類系統性能的良好排名定位，因此為了利用我們對 XE9680 A100 和 H100 服務器的實踐時間，我們決定對以下各項進行正面比較：使用這兩個系統調整 Meta 的 LLaMa。 為此，我們遵循斯坦福大學的羊駝訓練步驟，他們使用 4x A100 系統完成了這一步驟。

XE9680 上的羊駝訓練

我們要感謝 NVIDIA 和戴爾團隊對此項目的協助。 從硬件和軟件的角度來看，這是一項非常尖端的技術，如果沒有兩家公司行業專家的指導，這將是一個更加漫長、密集的過程。

在 A100 系統上，使用斯坦福 Alpaca Git Hub 上概述的流程，我們可以重現創建 Alpaca 檢查點的步驟，完成三個 epoch 的訓練，平均大約 90 分鐘。

轉向 H100 系統後，我們看到了改進，每次運行大約需要 70 分鐘即可完成。 由於這些系統的高需求和有限的性質，我們沒有機會調整代碼本身來探索可能的性能改進，很明顯，通過細化和專門用於開發的時間，企業團隊可以實現快速轉變時間進行微調。

官方非官方

在 A100 風格的 XE9680 上，我們有機會進行一些開箱即用且非常非正統的測試。 我們在系統上安裝了Windows Server 2022！ 這涉及到一些 iDRAC 驅動器擦除以刪除 Linux 安裝、使用 iDRAC .iso 文件和虛擬介質的一些技巧來旁加載英特爾網絡驅動程序，然後就開始了比賽。 使用來自類似 Dell PowerEdge 系統的芯片組驅動器以及官方 NVIDIA A100 驅動程序。

系統運行穩定，沒有出現任何問題。 然而，這是一個非常不尋常的用例，戴爾並未正式支持。 憑藉我們全新的 Windows 安裝和市場上最好的 XNUMX 個 GPU，我們做到了 我們最擅長什麼，基準Pi！

八塊 NVIDIA A100 卡無需任何調整即可輕鬆打破 GPU-Pi 世界紀錄，Xeon Platinum CPU 在 y-cruncher 和 Cinebench 上都取得了不錯的成績。 我們嘗試了一些其他標準 CPU/GPU 基準測試，但它們工作的希望不大，正如預期的那樣，我們遇到了阻止成功運行的軟件/編碼器問題。 例如，Procyon 甚至不知道它有可用於進行測試的 Tensor GPU。

我們需要再次重申，這只是對不受支持的配置的測試，事實上，我們的一切正常工作令人印象深刻，這證明了戴爾跨平台生產一致硬件的能力。 在任何生產環境中的此類系統上使用 Windows Server 都是不明智的。

值得注意的是，如此令人印象深刻的性能不僅會轉化為速度，還會影響人工智能的實際應用。 憑藉更快的再培訓和微調能力，企業可以顯著提高敏捷性，從而能夠快速響應市場變化、客戶需求和內部要求。 例如，設計團隊可以實時評估和完善概念，從而顯著縮短上市時間，或者合規團隊可以使用助理型法學碩士的最新政策和程序不斷培訓和微調更新的模型。

使用生成式人工智能轉變運營

Dell PowerEdge XE9680 可以促進生成式 AI 改變多個行業運營。 想像一下零售場景，人工智能可以根據客戶偏好快速生成各種產品配置或顏色選項的真實圖像，或者建築企業創建新建築的可視化以進行規劃和銷售演示。 可能性是令人著迷的。

Dell PowerEdge XE9680 完美融合了功能、效率和多功能性。 它是一款高性能服務器，可以輕鬆處理要求苛刻的人工智能工作負載。 雖然它是專門為滿足人工智能工作負載而設計的，但其功能使其有可能對其他應用程序有用。

再加上戴爾致力於幫助組織通過以下方式執行人工智能項目： 螺旋計劃，PowerEdge XE9680 是一個令人興奮的主張，也是我們全年看到的最好的硬件創新之一。 憑藉其提供原始功率、精細技術和企業級生命週期管理的能力，戴爾 PowerEdge XE9680 迅速成為企業服務器的熱門產品也就不足為奇了。

戴爾XE9680

英偉達 A100

參與 StorageReview

電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱