存儲評論網

NVIDIA DGX Spark散熱測試:OEM散熱設計對比

消費者  ◇  工作站

經過漫長的等待,NVIDIA DGX Spark去年發布,旨在培養新一代人工智慧工程師和研究人員。 StorageReview 收到了來自不同合作夥伴的多套 DGX Spark 系統進行評估,並正在開發一些令人興奮的叢集專案。然而,這些不同實現方案的散熱和功耗特性實在太有趣了,我們決定在完成全面評測之前先與大家分享。

NVIDIA DGX Spark Thermal

這次對比之所以引人注目,在於它讓我們有機會觀察不同的 OEM 合作夥伴如何詮釋 NVIDIA 的參考設計。雖然所有實現方案的核心電子元件和主機板都保持一致,但散熱管理方案、機箱設計和氣流策略卻大相逕庭。這些工程決策最終體現在運行溫度的顯著差異上,而了解這些差異對於有意購買 DGX Spark 的最終用戶來說,無疑是極具價值的。

在本分析中,我們對五款 DGX Spark 系統進行了並排比較,包括NVIDIA Founders Edition、技嘉、戴爾、宏碁和華碩的散熱和功耗性能。

NVIDIA DGX Spark 熱測試方法

本文所展示的數據是在使用 OpenAI 的 GPT-OSS-120B 模型執行 vLLM 線上服務基準測試時收集的。此基準測試包含三個不同的測試場景,旨在檢驗推理流程的不同面向。

在均衡場景下,輸入和輸出標記數量均為 256 個,工作負載平衡,因此預填充和解碼階段的需求都較為短暫且對稱。預填充密集型場景則將計算強度轉移到輸入處理上,4096 個輸入標記產生 512 個輸出標記;此配置在預填/編碼階段會迅速耗盡張量核心,同時保持適中的解碼需求,類似於程式碼補全場景。

相反,解碼密集型場景則顛倒了這種關係,使用 512 個輸入標記生成 4096 個輸出標記,類似於要求模型使用單個提示編寫應用程序,在自回歸標記生成階段造成持續的內存頻寬壓力。

每個場景均在 1、2、4、8、16、32、64 和 128 的批次大小下進行測試,總共進行了 24 個測試階段。每個後續階段之間也強制執行 30 秒的冷卻期。這些冷卻期在圖表中表現為測試階段之間的短暫下降,並由分隔陰影場景區域的垂直虛線標示。

圖表校準和環境控制

圖表採用階段對齊的時間軸,這意味著所有系統的資料均按測試階段同步,而非絕對的實際時間。這種方法能夠直接比較系統在相同工作負載階段的行為,即使由於熱節流和持續性能特性等原因,各個系統完成階段的速度略有不同。

五個系統在相同的環境條件下同時進行測試,彼此相鄰放置在一個受控房間內,測試過程中環境溫度始終保持一致。這種平行測試方法確保觀察到的任何差異都直接歸因於系統的熱設計,而不是環境因素,例如環境溫度漂移、氣流模式或一天中的時間變化。

此外,所有型號都安裝了最新的 NVIDIA Ubuntu 映像。

數據採集

我們使用自訂監控腳本,以 1 秒的間隔收集系統指標。該腳本直接從 Linux 核心介面和 nvidia-smi 讀取資料。我們沒有使用熱探針或任何外部電源監控設備進行直接測量。

需要注意的是,NVMe 固態硬碟的溫度不能直接比較,因為並非所有系統都配備了完全相同的儲存硬碟。例如,華碩系統是唯一配備 1TB Phison 固態硬碟的機型,戴爾系統配備的是 4TB Phison 固態硬碟,而我們測試的其他所有系統都配備了 4TB 三星固態硬碟。在後續的評測中,我們將更詳細地探討 NVMe 固態硬碟的散熱情況,因為即使是硬碟與機殼底部之間的熱橋等因素,在不同的 Spark 機型之間也存在差異。

NVIDIA DGX Spark 熱分析

在深入探討各項指標之前,需要了解的是,DGX Spark 採用的是整合式散熱系統,其中各個組件共享散熱路徑。如 Founders Edition 設計所示,GPU 的熱量會直接影響相鄰組件的溫度,包括 CPU、NVMe 儲存和網路介面。這種熱依賴性意味著 GPU 密集型工作負載會在整個系統中產生連鎖熱效應,這也解釋了為什麼我們會看到不同組件之間的溫度模式存在關聯。

CPU溫度

CPU溫度資料揭示了不同配置之間最顯著的差異。宏碁系統表現特別突出,在嚴苛的「預填充重度」測試場景下,其最高溫度僅為74.6°C,而其他所有系統的溫度都攀升至80多度。這比競爭對手低了10-14°C,如此巨大的散熱空間顯示宏碁在散熱方面投入了大量資源。

NVIDIA DGX Spark CPU 溫度

Founders Edition、戴爾和技嘉的顯示卡溫度曲線幾乎完全相同,在高負載下均達到 87-88°C。這種相似性表明,大多數廠商基本上都沿用了英偉達的參考散熱設計,而非在此基礎上進行改進。華碩的顯示卡溫度介於兩者之間,比其他廠商的顯示卡溫度低幾度,但仍遠高於宏碁。

在 Equal 和 Prefill Heavy 測試中,溫度呈現鋸齒狀波動,反映了基準測試的週期性特點,在冷卻期間溫度明顯回落。在 Decode Heavy 測試中,溫度則穩定在一個較為持久的水平;這也暗示了令牌產生過程對記憶體的密集消耗,並且記憶體配置顯然是此工作負載的瓶頸。

GPU溫度

由於散熱系統共享,GPU溫度的變化趨勢也類似。在預注水重載測試中,Acer平台GPU最高溫度僅68°C,而其他四台機器的溫度都達到80-82°C,兩者相差12-14°C,與CPU溫度的變化趨勢一致。

NVIDIA DGX Spark GPU 溫度

Founders Edition、戴爾、技嘉和華碩之間的緊密聚集表明,這些實現方式正在接近類似的散熱極限,很可能是 GPU 韌體控制的散熱管理開始介入的地方。

NVMe溫度

儲存溫度反映了各機箱將硬碟位與計算端熱量隔離的效果。宏碁再次領先,峰值溫度僅為 51.8°C,而其他機殼的峰值溫度則在 58-63°C 之間。

NVIDIA DGX Spark 固態硬碟溫度

測試過程中溫度的逐漸升高,與工作負載峰值無關,顯示相鄰組件的熱量會隨著時間的推移而累積。對於長時間的微調運行或頻繁的模型切換,這會對硬碟壽命和持續寫入效能產生影響。

如前所述,不同系統的硬碟配置各不相同,因此這些比較存在一些限制。但宏碁在所有散熱指標上都保持著持續優勢,這表明其散熱性能得到了真正的提升,而非硬碟性能的差異。

NIC 溫度

從 ConnectX-7 網路卡的溫度來看,宏碁主機板的最高溫度為 62°C,而 Founders Edition 版本則達到了 75°C,兩者相差 13°C,這與我們在其他組件上觀察到的模式一致。儘管技嘉主機板的 CPU 溫度較高,但其網卡溫度實際上比戴爾和華碩更低,這表明不同機箱設計的散熱性能存在差異。

GPU功耗

最後,我們想檢查一下GPU的耗電量。不出所料,所有五台系統在Prefill Heavy測試期間的峰值功耗都非常相似,範圍從69.3W(宏碁)到76.0W(技嘉)。

外賣店

數據清晰地顯示:我們測試的宏碁顯卡在所有指標上都比競爭對手低10-15°C,這表明其散熱解決方案具有根本性的優越性。 Founders Edition、戴爾和技嘉的顯示卡在散熱方面表現相近,基本上與NVIDIA的公版設計一致。華碩顯示卡則處於中間位置。功耗方面,三者表現均衡,證實了散熱差異完全是由散熱方案造成的。然而,技嘉顯卡的表現脫穎而出。它提供了最佳的散熱方案之一,同時GPU功耗也位居前列,在散熱和功耗之間實現了最佳平衡。

整體而言,各款合作機型的效能非常接近,用戶選擇哪一款都不會出錯。但有興趣的讀者可以繼續關注我們對每個系統的全面評測,內容涵蓋工作負載效能以及大家最關心的拆解分析。

參與 StorageReview

電子報| YouTube | PodcastiTunes / Spotify | Instagram | Twitter | TikTok | RSS訂閱

迪維揚什·賈恩

機器學習工程師,家庭實驗室愛好者和技術發燒友。在 StorageReview,我負責人工智慧和新興工作負載的測試,提供洞察分析和效能分析。