Comino Grando H100 評測 – 188GB NVL GPU 內存

Comino Grando H100 伺服器提供 2 個 NVIDIA H100 GPU、液體冷卻和 AMD Threadripper PRO 7995WX，專為 AI 和 HPC 工作負載而設計。

Comino Grando H100 伺服器是該公司產品陣容中的最新版本。它滿足了需要精緻、液冷精度電源的用戶的需求。此 Grando 配置引入了不同的硬體和設計增強功能。然而，它仍然非常適合高要求的應用程序，從人工智慧和機器學習到複雜的數據分析和視覺渲染。

在我們新的 H100 配置中，Comino 選擇了一款強大的 CPU：AMD Ryzen Threadripper PRO 7995WX，它在高核心、高執行緒運算任務方面表現出色。

這款 96 核心 CPU 非常適合併行處理，使用者可以運行大量資料集或處理需要更多核心和執行緒的多執行緒應用程式。華碩 SAGE WRX90 主機板對該 CPU 進行了補充，並提供了支援 H100 增強記憶體和連接需求的架構。

Comino Grando H100：處理器和記憶體選項

它具有 96 核心/192 執行緒、Zen 4 架構和先進的 5nm 技術，旨在輕鬆處理 3D 渲染、影片編輯和複雜模擬等任務。它具有 2.5 GHz 的基本時脈（最高可達 5.1 GHz），非常適合多執行緒和單執行緒任務。它跨八個通道支援高達 2TB 的 DDR5 內存，為海量資料集提供海量頻寬。此外，它與 WRX90 平台的兼容性意味著充足的 PCIe Gen5 通道用於高速儲存和 GPU 設定。

此 Grando 型號中的 GPU 設定具有兩個 NVIDIA H100 NVL GPU，每個 GPU 擁有 94GB 記憶體。這種雙 GPU 配置提供令人印象深刻的 188GB GPU 內存，增強了要求苛刻的應用程式的效能。它對於人工智慧、3D 渲染和科學模擬領域的專業人士尤其有利，因為 GPU 記憶體限制可能會影響工作效率。對於需要強大運算資源來有效處理大型資料集和複雜任務的人來說，Grando 模型是一個絕佳的選擇。由於 Comino 的液體冷卻，這些高功率 GPU 可以在單插槽外形中運行，實現傳統風冷系統無法比擬的密度。

NVIDIA H100 NVL GPU 規格

使用者可以選擇配備金士頓 Fury 的高速桌面級記憶體（非常適合低延遲任務）或配備金士頓 Server Premier 的 512GB 更大容量，以實現企業級可靠性和更高的記憶體密集型工作負載。

Comino Grando H100：冷卻和電源

與之前的 Grando 迭代一樣，這裡的設計理念既注重實用性，又注重性能。其先進的內部冷卻系統具有定制的水冷頭設置，即使在繁重的工作負載下也能保持所有組件涼爽。

這種液體冷卻系統可確保 GPU 保持最佳效能而無需熱節流，同時降低噪音水平。與依賴大型、嘈雜風扇的傳統伺服器建置不同，Grando 的液體冷卻解決方案高效且設計精良。冷卻架構包括一個帶有無滴水快速斷開配件的集中配水塊，可輕鬆維護，並將洩漏或溢出的風險降至最低。

Grando H1600 配備四個獨立的 100W PSU，即使在電源故障的情況下也能維持正常運作時間，這項功能對於需要不惜一切代價避免停機的企業環境至關重要。這些電源無縫協作，即使在 7995WX 和雙 H100 GPU 的極端負載下，也能確保一致的電力傳輸。

Comino Grando H100：設計與建造

除了電源和冷卻之外，Comino Grando H100 的佈局經過精心設計，可輕鬆存取關鍵組件。我們在之前的文章中詳細審查了設計和構建 科米諾格蘭多評論，所以我們將介紹重點內容。

前面板具有全面的 I/O 陣列，包括音訊插孔、多個 USB 連接埠和網路連接選項，使其適合機架安裝環境和獨立使用。內建 LED 顯示器不僅僅是裝飾性的。它提供即時遙測數據，包括空氣和冷卻劑溫度、風扇速度和泵浦狀態。

背光選單按鈕使用戶可以輕鬆瀏覽此資訊。它們還允許存取更深入的設定和診斷以進行監控和調整，從而增強定期維護的可用性和便利性。

在內部，每個組件都經過精心佈置，以防止在運輸過程中移動，並在 GPU 和 SSD 等敏感部件周圍提供額外的支撐。這反映了 Grando 致力於確保其伺服器耐用且安全交付。

Comino 伺服器也易於維護和維修。電纜、管道和組件的佈線非常好，使內部呈現乾淨、幾乎模組化的外觀。這在氣流和維護便利性方面也發揮了實際作用，使隔離和處理任何組件變得更加容易，而不會破壞其餘設定。

Comino Grando 伺服器 H100 效能

現在，我們將深入研究這些建置選擇如何影響實際效能。我們將將此設定與我們今年早些時候審查的兩個 Comino Grando 模型進行比較，並討論計算和圖形任務中的具體基準。我們還將把它與 超微 AS-2115HV-TNRT.

測試系統

我們的 Grando伺服器H100 建置採用 AMD Threadripper PRO 7995WX 處理器，提供 96 個核心和 192 個線程，使其成為該系列中核心密度最高的 CPU。該系統配備 512GB Kingston Server Premier DDR5 內存，專為高頻寬工作負載和密集型多任務處理而設計。 GPU 設定包括兩個 NVIDIA H100 NVL GPU，每個 GPU 具有 94GB 記憶體。

超微 AS-2115HV-TNRT 系統使用相同的 AMD Threadripper PRO 7995WX，但包括 520GB DDR5-4800 ECC 記憶體和四個 NVIDIA RTX 6000 Ada GPU。這些 GPU 面向高階圖形渲染和專業視覺化任務。 Supermicro 系統還配備了 Micron 7450 Max 3.2TB NVMe。

The Grando伺服器 我們今年稍早評測過 AMD Threadripper PRO 5995WX 處理器，這是一台 64 核心、128 執行緒的 CPU，還有 512GB RAM 和 4090 個 NVIDIA RTX 4090 GPU。此配置主要關注圖形效能，RTX 4 為渲染和通用 GPU 工作負載提供高吞吐量。該系統還包括 1600 個 2W PSU 和一個 XNUMXTB NVMe SSD。

另一個 Comino 系統是 3975W 電源 格蘭多工作站，提供 32 個核心和 64 個執行緒。其 GPU 配置由四個 NVIDIA A100 GPU 組成，強調以運算為中心的工作負載和視覺化任務之間的平衡。它配備了 512GB RAM 和 2TB NVMe SSD，使其運算密度低於較新的系統，但能夠處理要求苛刻的工作流程。

值得注意的是，我們先前評測的 Grando Server 可能會在以 GPU 為中心的基準測試中提供卓越的效能，特別是與渲染和視覺化任務相關的基準測試。 RTX 4090 GPU 專為高階圖形工作負載而設計，為此類應用程式提供強大的運算能力。

Nvidia H100 GPU 是專門建置的運算加速器，故意省略顯示輸出和消費者功能，使其純粹專注於資料中心工作負載。與消費者和工作站同類產品不同，H100 不包含顯示端口或 Windows 圖形驅動程序，因為它們是為無頭伺服器操作而設計的。 NVENC 編碼硬體的缺失進一步強調了它們僅計算的性質，為 AI 和 HPC 任務而不是媒體編碼優化晶片空間。

基準測試結果

攪拌機4.0

我們的第一個基準是 Blender——一個用於建模、動畫、模擬和渲染專案的綜合開源 3D 創建套件。 Blender 基準測試評估系統渲染複雜場景的效能，這對於視覺效果、動畫和遊戲開發專業人士來說是一個至關重要的方面。此基準測試衡量 CPU 和 GPU 渲染能力，這與專為高階圖形處理和運算任務而設計的伺服器和工作站相關。

此處，由於 AMD Threadripper PRO 100WX 的高核心數量，Grando H7995 伺服器配置在基於 CPU 的測試中表現出色。在怪物、垃圾店和教室場景等渲染任務中，它始終優於 Supermicro AS-2115HV-TNRT 等其他系統。然而，GPU 測試揭示了 H100 GPU 在圖形渲染工作負載方面的限制。雖然 H100 配置提供了不錯的結果，但具有更多通用 GPU 的系統的性能明顯更好，例如 RTX 6000 Ada 或 RTX 4090。

先前審查的 Grando 伺服器是在 Blender 4.0 版本下進行測試的。結果如下：

Blackmagic RAW 速度測試

Blackmagic RAW速度測試可測量高品質視訊格式的處理速度，這是影片製作和編輯中伺服器和工作站的重要方面。它評估系統如何管理 RAW 視訊文件，影響媒體製作環境中的工作流程效率和生產力。

在 Blackmagic RAW 速度測試中，Grando Server H100 在 8K RAW 視訊解碼中展示了強大的 CPU 效能，但在基於 CUDA 的活動中表現不佳，因為較小的 T1000 在此系統中處理了該任務。具有 RTX 4090 和 RTX 6000 Ada 等 GPU 的系統在 Windows 中提供 DirectX 支持，而面向企業的 GPU 本身不具備該支援。

7-zip 壓縮

7-zip 壓縮基準測試系統處理資料壓縮和解壓縮的效率，這對於管理大型資料集和最佳化儲存至關重要。此基準測試反映了資料密集型操作中伺服器和工作站的效能，其中資料操作的速度和效率至關重要。

這裡，格蘭多 服務器 在測試的系統中提供了最佳的壓縮和解壓結果。然而，就整體效率而言，超頻的 Supermicro AS-2115HV-TNRT 配置非常接近。

Y-粉碎機

Y-Cruncher 是一個計算基準測試，用於測試系統處理複雜數學運算的能力，將 Pi 精確計算到數萬億位數字。此基準測試顯示伺服器和工作站的運算能力，特別是用於需要密集數位運算的科學研究和模擬。

在 Y-Cruncher 中，Grando Server H100 配置在計算所有數字等級的 Pi 的總計算時間方面表現出色。 AMD Threadripper PRO 7995WX 的高核心數量確保系統在 CPU 密集型任務中處於領先地位。然而，超頻的 Supermicro AS-2115HV-TNRT 配置顯著縮小了差距，展示了針對這些工作負載優化效能調整的優勢。

y-粉碎機 BBP

此 y-cruncher 基準測試利用 Bailey-Borwein-Plouffe (BBP) 公式來計算 Pi 大量的十六進位數字，測量 CPU 的總計算時間、使用率和多核心效率。

y-cruncher BBP 基準測試強調了 Grando Server H100 在處理大量運算任務方面的效率。在所有測試中，Grando Server 均表現良好，在 1 BBP 和 10 BBP 計算中實現了最快的總計算時間。其在 100 BBP 測試中的多核心效率為 98.68%，略低於 Supermicro AS-2115HV-TNRT 系統，但仍非常有效率。超頻 Supermicro 配置在所有 BBP 等級的總時間上都超過了標準 Supermicro。儘管如此，Grando H100 在較小 BBP 任務的實際運算速度方面始終領先，這可能是由於其優化的多執行緒功能和快速上下文切換。

然而，就 CPU 使用率而言，Supermicro 系統表現出稍微好的核心使用效率，這表明它們可以更有效地利用其架構來實現持續的平行工作負載。

Geekbench 6

Geekbench 6 衡量 CPU 和 GPU 的運算效能，涵蓋單核心和多核心功能以及圖形處理能力。此基準對於評估伺服器和工作站在各種任務（包括模擬、資料分析和圖形渲染）中的整體運算效率至關重要。

Geekbench 6 結果表明，Grando Server H100 憑藉其 96 核心處理器，在多核心 CPU 任務中表現出色。然而，在 GPU 分數方面，H100 配置超過了 Supermicro AS-2115HV-TNRT，後者利用 RTX 6000 Ada GPU 實現卓越的圖形效能。

Cinebench R23

Cinebench R23衡量CPU的渲染能力，重點在於單核心和多核心效能。它是評估伺服器或工作站在內容創建、3D 渲染和其他 CPU 密集型任務方面的執行情況的重要基準。 MP 比率（多核心效能比）進一步深入了解系統如何有效地利用其多個核心。

H100 配置在多核心效能方面處於領先地位，充分利用了 Threadripper PRO 7995WX 的大量核心數量。然而，其單核性能與其他系統相當。 MP 比率強調了 7995WX 在多執行緒應用程式中的可擴展性。儘管如此，該基準測試與 GPU 無關的性質阻止了 H100 配置顯示任何與 GPU 相關的限制，使其在整體上顯得更具競爭力。

GPU直接儲存

我們在此伺服器上進行的測試之一是 Magnum IO GPU 直接儲存 (GDS) 測試。 GDS是NVIDIA開發的一項功能，允許GPU在存取儲存在NVMe磁碟機或其他高速儲存裝置上的資料時繞過CPU。 GDS 不會透過 CPU 和系統記憶體路由數據，而是支援 GPU 和儲存設備之間的直接通信，從而顯著減少延遲並提高數據吞吐量。

GPU 直接儲存的工作原理

傳統上，當 GPU 處理儲存在 NVMe 磁碟機上的資料時，資料必須先經過 CPU 和系統內存，然後才能到達 GPU。此過程會引入瓶頸，因為 CPU 成為中間人，增加延遲並消耗寶貴的系統資源。 GPU 直接儲存使 GPU 能夠透過 PCIe 總線直接從儲存裝置存取數據，從而消除了這種低效率。這種直接路徑減少了與資料移動相關的開銷，從而實現更快、更有效率的資料傳輸。

人工智慧工作負載，尤其是涉及深度學習的工作負載，是高度數據密集的。訓練大型神經網路通常需要處理 TB 級的數據，資料傳輸中的任何延遲都可能導致 GPU 利用率不足和訓練時間更長。 GPU 直接儲存透過確保資料盡快傳輸到 GPU、最大限度地減少空閒時間並最大限度地提高運算效率來解決這一挑戰。

此外，GDS 對於涉及串流大型資料集的工作負載特別有利，例如視訊處理、自然語言處理或即時推理。透過減少對 CPU 的依賴，GDS 可以加速資料移動並釋放 CPU 資源用於其他任務，從而進一步增強整體系統效能。

我們透過對 Comino Grando 進行廣泛的 GDSIO 評估來徹底測試伺服器，探索各種配置以評估其在不同場景下的效能。此類測試對於這種級別的伺服器至關重要，因為它模擬類似工作站的環境，並在訓練大型模型的燒蝕測試期間提供對其功能的深入了解。對於存儲，我們利用了 Solidigm D7-PS1010 Gen5 固態硬碟.

測試配置矩陣

我們有系統地測試了以下參數的每種組合：

• 塊大小：1M、128K、64K、16K、8K
• 線程數：128、64、32、16、8、4、1
• 作業數量：16、8、4、1
• 批量大小：32、16、8、4、1

在本次審查中，我們將重點放在順序讀取和寫入吞吐量。我們在多個作業和批次大小中以其給定的區塊大小和執行緒數執行每個 GDSIO 工作負載。報告的數字是每個作業和批次計數組合的平均值。

績效分析

人工智慧工作負載，特別是在訓練階段，需要有效率地處理大量資料。這些工作負載通常受益於大塊大小，可以在讀取訓練資料集或寫入模型檢查點時最大化吞吐量。在我們全面的 GPU 直接儲存功能測試中，我們專注於各種 I/O 模式和配置，以了解系統的效能特徵。

1M 區塊大小的順序 I/O 效能在我們的測試配置中展示了令人印象深刻的結果。該系統實現了 8.56 GiB/s 的驚人順序讀取吞吐量（1M 區塊大小、批次大小 4、IO 深度 128 以及跨 128 個作業的 16 個執行緒）。這種效能等級對於涉及載入大型預訓練模型、在訓練階段處理大量資料集或處理順序資料流（例如電腦視覺應用程式的視訊處理）的工作負載特別有利。

對於順序寫入操作，系統提供了7.57 GiB/s（1M 區塊大小、批次大小8、IO 深度16、16 個作業8 個執行緒），對於分散式訓練時需要頻繁模型檢查點的場景非常有效，節省了中間結果，或以批次操作寫入處理後的資料。

結論

Comino Grando H100 伺服器是該公司產品陣容中令人印象深刻的補充，為其他配置提供了獨特的替代方案。 Grando 系統由 AMD Threadripper PRO 7995WX CPU 和 512GB DDR5 記憶體（可擴展至 1TB）提供支持，並配備兩個 NVIDIA H100 NVL GPU。雖然此設定為AI 驅動的工作流程提供了卓越的效能，但它確實以傳統渲染​​基準（例如Luxmark 和OctaneBench）中的GPU 效能為代價，其中配備RTX 4090 的Grando Server 和RTX 6000 Ada 驅動的Supermicro 等系統配置領先。也就是說，H100 在 Blender 多核心渲染、7-Zip 壓縮和 Y-Cruncher 等 CPU 密集型測試中的效能始終優於其他測試系統。

在設計方面，Comino Grando H100 伺服器可以在緊湊的外形中容納高效能元件，這對於標準機殼來說通常是一個挑戰。由於其客製化的直接液體冷卻 (DLC) 系統，該伺服器可以輕鬆處理雙 NVIDIA H100 GPU 等配置。這種先進的冷卻解決方案可控制熱量並確保系統在要求嚴格的高性能任務中保持穩定。這款新Comino 系統的特別獨特之處在於，它如何設法主要利用消費級硬體來創建既高效又相對實惠的解決方案，使其成為希望在不花太多錢的情況下最大限度地提高GPU 性能的專業人士和企業的絕佳選擇。

總體而言，Comino Grando H100 是優先考慮人工智慧優化、運算任務和苛刻環境中可靠性的企業和專業人士的絕佳選擇。其獨特的設計和冷卻創新為人工智慧驅動的工作負載提供了靈活性和效能。然而，諸如配備 RTX 4090 的 Grando Server 或 RTX 6000 Ada 驅動的系統等替代配置可能更適合專注於傳統 GPU 渲染的使用者。

科米諾系統公司

參與 StorageReview

電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱