長らく待たれたNVIDIA DGX Sparkは昨年発売され、新たなAIエンジニアや研究者の育成が期待されています。StorageReviewでは、様々なパートナーから複数のDGX Sparkシステムを提供していただき、評価を進めています。現在、いくつかの魅力的なクラスタプロジェクトを開発中です。しかし、これらの異なる実装における熱特性と電力特性は、詳細なレビューが完了するまで秘密にしておくにはあまりにも興味深いものでした。
この比較が特に魅力的なのは、異なるOEMパートナーがNVIDIAのリファレンスデザインをどのように解釈したかを観察できる点です。コアとなる電子部品とマザーボードはすべての実装で共通ですが、熱管理ソリューション、シャーシ設計、そしてエアフロー戦略は大きく異なります。こうしたエンジニアリング上の決定は、動作温度の測定可能な違いとして現れ、これらの違いを理解することは、一部のDGX Sparksを求めるエンドユーザーにとって貴重な洞察となります。
本分析では、 NVIDIA Founders Edition、Gigabyte、Dell、Acer、ASUSの5つのDGX Sparkシステムについて、熱性能と電力性能を並べて比較します。
NVIDIA DGX Spark 熱テスト方法論
ここで提示するデータは、OpenAIのGPT-OSS-120Bモデルを用いてvLLMオンラインサービングベンチマークを実行した際に収集されたものです。このベンチマークは、推論パイプラインの異なる側面を検証するために設計された3つの異なるテストシナリオで構成されています。
均等シナリオでは、入力トークンが256個、出力トークンが256個というバランスの取れたワークロードとなり、プレフィルフェーズとデコードフェーズの両方で短時間かつ対称的な負荷が発生します。プレフィル重視のシナリオでは、計算負荷が入力処理にシフトし、4096個の入力トークンから512個の出力トークンが生成されます。この構成では、プロンプトプレフィル/エンコードフェーズでテンソルコアが飽和状態になりますが、コード補完シナリオと同様に、デコード負荷は中程度に抑えられます。
逆に、デコード中心のシナリオではこの関係が逆転し、512 個の入力トークンを使用して 4096 個の出力トークンが生成されます。これは、モデルに単一のプロンプトを使用してアプリケーションを作成するように依頼するのと似ており、自己回帰トークン生成フェーズでメモリ帯域幅の圧力が持続します。
各シナリオは、1、2、4、8、16、32、64、128のバッチサイズでテストされ、合計24のテストステージが作成されました。また、各ステージ間には30秒間のクールダウン期間が設けられました。これらのクールダウン期間は、チャート上ではテストステージ間の短い低下として表示され、網掛けされたシナリオ領域を区切る縦の破線で示されています。
チャートの配置と環境制御
提示されたグラフはステージ同期された時間軸を使用しています。つまり、すべてのシステムからのデータは、絶対的な実時間ではなく、テストステージごとに同期されています。この手法により、個々のシステムがサーマルスロットリングの挙動や持続的なパフォーマンス特性によってステージの完了速度がわずかに異なる場合でも、同一のワークロードフェーズ間でシステムの動作を直接比較できます。
5つのシステムは、同一の環境条件下で同時にテストされ、テスト期間中、周囲温度が一定に保たれた管理された室内に隣接して設置されました。この並行テスト手法により、観察された差異は、周囲温度の変動、気流パターン、時間帯による変化といった環境変数ではなく、システムの熱設計に直接起因するものであることが保証されます。
さらに、すべてのモデルに最新の NVIDIA Ubuntu イメージがインストールされていました。
データ収集
システムメトリクスは、Linuxカーネルインターフェースとnvidia-smiから直接読み取るカスタム監視スクリプトを使用して、1秒間隔で収集されました。温度プローブや外部電源監視による直接測定は行っていません。
NVMeドライブの温度は、すべてのシステムが同一のストレージドライブを搭載しているわけではないため、直接比較することはできません。特に、Asusシステムは1TB Phisonドライブを搭載した唯一のユニットであり、Dellは4TB Phisonドライブを搭載していましたが、テストした他のすべてのシステムは4TB Samsungドライブを搭載していました。ドライブとケース底面の間の熱ブリッジなどの要素でさえ、Sparkモデル間で異なるため、各レビューでNVMeドライブの熱特性についてより詳細に検討していきます。
NVIDIA DGX Spark 熱解析
個々の指標を詳しく見ていく前に、DGX Sparkはコンポーネントが熱経路を共有する統合型冷却システムを採用していることを理解することが重要です。Founders Editionの設計に見られるように、GPUの熱はCPU、NVMeストレージ、ネットワークインターフェースなど、隣接するコンポーネントの温度に直接影響を及ぼします。この熱の相互依存性により、GPUを集中的に使用するワークロードはシステム全体に連鎖的な熱影響を生み出し、異なるコンポーネント間で相関性のある温度パターンが見られる理由が説明されます。
CPU温度
CPU温度データは、実装間の最も劇的な違いを明らかにしています。Acerシステムは、要求の厳しいPrefill Heavyシナリオにおいて、ピーク温度がわずか74.6℃にとどまり、他システムはすべて80℃台半ばから後半まで上昇する一方で、すぐに際立っています。これは競合製品に対して10～14℃の優位性を示しており、これはAcerが冷却能力に多大な投資をしたことを示唆する、大きな熱的余裕です。
Founders Edition、Dell、Gigabyteの3製品は、ほぼ同様の熱プロファイルで並んでおり、ピーク負荷時にはいずれも87～88℃に達します。この類似性は、ほとんどのパートナーがNVIDIAのリファレンス熱設計に基本的に準拠しており、それを超えることはしていないことを示しています。ASUSは中間に位置し、このグループよりも数℃低い温度で動作しますが、それでもAcerの性能をはるかに上回っています。
EqualとPrefill Heavyの全体にわたる鋸歯状のパターンは、ベンチマークの周期的な性質を反映しており、クールダウン期間中に明確な回復が見られます。Decode Heavyでは、温度はより安定したレベルで安定しています。これは、トークン生成がメモリを大量に消費する性質を示唆しており、このワークロードではメモリ構成が明確なボトルネックとなっていることを示しています。
GPU温度
GPUの温度も、冷却インフラが共通であることから、同様の傾向を示しています。AcerはPrefill Heavyのピーク時にわずか68℃に留まりましたが、他の4つのシステムはすべて80～82℃に達し、CPUの結果と同様に、一貫して12～14℃の優位性を示しています。
Founders Edition、Dell、Gigabyte、ASUS 間の密集は、これらの実装が同様の熱制限に近づいていることを示唆しており、おそらく GPU のファームウェア制御の熱管理が介入し始めていると考えられます。
NVMe温度
ストレージ温度は、各シャーシがドライブベイをコンピュータの熱からどれだけ適切に遮断しているかを示しています。Acerはピーク時51.8℃で再びトップに立ち、他社は58～63℃でした。
テスト全体を通して、ワークロードの急増とは無関係に、徐々に温度が上昇していることは、隣接するコンポーネントからの熱が時間の経過とともに蓄積されていることを示しています。長時間の微調整実行や頻繁なモデルスワップにおいては、これはドライブの寿命と持続的な書き込みパフォーマンスに関係します。
前述の通り、ドライブ構成はシステムによって異なるため、これらの比較にはいくつかの注意点があります。しかし、Acerがあらゆる熱測定基準で一貫して優位に立っているのは、ドライブ性能の違いではなく、冷却性能が本質的に向上していることを示しています。
NIC温度
ConnectX-7 NICの温度を見ると、Acerは最高62℃、Founders Editionは75℃に達し、13℃の差があり、これは他のコンポーネントで見られたパターンと一致しています。GigabyteはCPUの温度が高いにもかかわらず、実際にはDellやASUSよりも低い温度で動作しており、筐体設計によって熱分布が異なることを示唆しています。
GPUの消費電力
最後に、GPUの消費電力を確認しました。予想通り、5つのシステムすべてにおいて、Prefill Heavy時のピーク消費電力は驚くほど似通っており、69.3W（Acer）から76.0W（Gigabyte）の範囲でした。
まとめ
データは明確な物語を物語っています。私たちが試用したAcerのユニットは、あらゆる指標において競合製品よりも10～15℃低い温度を示し、根本的に優れた冷却ソリューションであることが示唆されています。Founders Edition、Dell、Gigabyteは熱的に密集しており、NVIDIAのリファレンスデザインとほぼ一致しています。ASUSは中間的な位置を占めています。消費電力は均一で、熱の違いは冷却の実装のみによるものであることが確認できます。しかし、Gigabyteは群を抜いていました。Gigabyteは最高の冷却プロファイルと最高のGPU電力レベルを提供し、冷却と電力消費のバランスを最適に保っていました。
全体的に、パートナーモデルのパフォーマンスは非常に似ており、どれを選んでも間違いはありません。しかし、興味のある読者の方は、ワークロードパフォーマンスや、誰もが楽しみにしている分解の様子も含め、各システムの包括的なレビューをお楽しみに。
Amazon