Nach langem Warten wurde letztes Jahr der NVIDIA DGX Spark veröffentlicht, mit dem Ziel, eine neue Generation von KI-Ingenieuren und -Forschern zu fördern. Wir von StorageReview haben mehrere DGX Spark-Systeme von verschiedenen Partnern zur Evaluierung erhalten und entwickeln derzeit einige spannende Cluster-Projekte. Die thermischen und Leistungseigenschaften dieser unterschiedlichen Implementierungen waren jedoch zu interessant, um sie bis zum Abschluss unserer ausführlichen Tests geheim zu halten.
Besonders aufschlussreich an diesem Vergleich ist die Möglichkeit, zu beobachten, wie verschiedene OEM-Partner das Referenzdesign von NVIDIA interpretiert haben. Während die Kernelektronik und das Motherboard in allen Implementierungen gleich bleiben, unterscheiden sich die Lösungen für das Wärmemanagement, die Gehäusekonstruktion und die Luftstromstrategien erheblich. Diese technischen Entscheidungen schlagen sich in messbaren Unterschieden der Betriebstemperaturen nieder, und das Verständnis dieser Variationen liefert wertvolle Erkenntnisse für Endnutzer, die sich für bestimmte DGX Spark-Modelle interessieren.
In dieser Analyse stellen wir einen direkten Vergleich der thermischen Leistung und des Stromverbrauchs von fünf DGX Spark-Systemen vor: NVIDIA Founders Edition , Gigabyte, Dell, Acer und ASUS.
NVIDIA DGX Spark Thermische Testmethodik
Die hier präsentierten Daten wurden im Rahmen von vLLM-Online-Serving-Benchmarks mit dem GPT-OSS-120B-Modell von OpenAI erhoben. Der Benchmark umfasst drei verschiedene Testszenarien, die unterschiedliche Aspekte der Inferenzpipeline prüfen.
Das Szenario mit gleichmäßiger Verteilung bietet eine ausgewogene Arbeitslast mit 256 Eingabe- und 256 Ausgabetoken, was zu kurzen, symmetrischen Anforderungen sowohl in der Vorfüll- als auch in der Dekodierungsphase führt. Das Szenario mit hohem Vorfüllbedarf verlagert die Rechenintensität hin zur Eingabeverarbeitung, wobei 4096 Eingabetoken 512 Ausgabetoken erzeugen. Diese Konfiguration sättigt die Tensor-Kerne während der schnellen Vorfüll-/Kodierungsphase, während die Dekodierungsanforderungen moderat bleiben, wie in Codevervollständigungsszenarien.
Im Gegensatz dazu kehrt sich das dekodierungsintensive Szenario um: Es werden 512 Eingabe-Token verwendet, um 4096 Ausgabe-Token zu generieren, ähnlich wie bei der Aufforderung an ein Modell, eine Anwendung anhand einer einzigen Eingabeaufforderung zu schreiben. Dadurch entsteht während der autoregressiven Token-Generierungsphase ein anhaltender Speicherbandbreitendruck.
Jedes Szenario wurde mit Batchgrößen von 1, 2, 4, 8, 16, 32, 64 und 128 getestet, was insgesamt 24 Testphasen ergab. Zwischen den einzelnen Phasen wurde eine 30-sekündige Abkühlphase eingehalten. Diese Abkühlphasen sind in den Diagrammen als kurze Einbrüche zwischen den Testphasen erkennbar und durch vertikale gestrichelte Linien markiert, die die schattierten Szenariobereiche voneinander trennen.
Diagrammausrichtung und Umgebungssteuerung
Die dargestellten Diagramme verwenden eine phasenorientierte Zeitachse. Das bedeutet, dass die Daten aller Systeme anhand der Testphase und nicht anhand der absoluten Systemzeit synchronisiert sind. Diese Methodik ermöglicht einen direkten Vergleich des Systemverhaltens in identischen Arbeitslastphasen, auch wenn einzelne Systeme die Phasen aufgrund ihres thermischen Drosselungsverhaltens und ihrer Dauerleistungseigenschaften mit leicht unterschiedlichen Geschwindigkeiten abgeschlossen haben.
Die fünf Systeme wurden gleichzeitig unter identischen Umgebungsbedingungen getestet. Sie befanden sich nebeneinander in einem klimatisierten Raum mit konstanter Umgebungstemperatur. Dieser parallele Testansatz gewährleistet, dass alle beobachteten Unterschiede direkt auf die thermische Auslegung der Systeme und nicht auf Umwelteinflüsse wie Temperaturschwankungen, Luftströmungen oder tageszeitliche Schwankungen zurückzuführen sind.
Darüber hinaus war auf allen Modellen das neueste NVIDIA Ubuntu-Image installiert.
Datensammlung
Systemmetriken wurden im Sekundentakt mithilfe eines eigens entwickelten Überwachungsskripts erfasst, das direkt von den Linux-Kernel-Schnittstellen und nvidia-smi ausliest. Wir haben keine direkten Messungen mit Temperaturfühlern oder externer Leistungsüberwachung durchgeführt.
Beachten Sie, dass die Temperaturen von NVMe-Laufwerken nicht direkt vergleichbar sind, da nicht alle Systeme über identische Speicherlaufwerke verfügen. Das Asus-System war das einzige mit einem 1-TB-Phison-Laufwerk ausgestattet, das Dell-System mit einem 4-TB-Phison-Laufwerk und alle anderen getesteten Systeme mit einem 4-TB-Samsung-Laufwerk. Im Laufe unserer Tests werden wir die Wärmeentwicklung von NVMe-Laufwerken detaillierter untersuchen, da selbst Faktoren wie die Wärmebrücken zwischen Laufwerk und Gehäuseboden bei den verschiedenen Spark-Modellen unterschiedlich sind.
Thermische Analyse von NVIDIA DGX Spark
Bevor wir uns mit den einzelnen Messwerten befassen, ist es wichtig zu verstehen, dass der DGX Spark über ein integriertes Kühlsystem verfügt, bei dem sich die Komponenten Wärmepfade teilen. Wie bereits beim Design der Founders Edition zu sehen ist, beeinflusst die GPU-Wärme direkt die Temperaturen benachbarter Komponenten, darunter CPU, NVMe-Speicher und Netzwerkschnittstellen. Diese thermische Abhängigkeit führt dazu, dass GPU-intensive Workloads kaskadierende thermische Effekte im gesamten System erzeugen, was die korrelierten Temperaturmuster verschiedener Komponenten erklärt.
CPU Temperatur
Die CPU-Temperaturdaten zeigen die deutlichsten Unterschiede zwischen den Systemen. Das Acer-System sticht sofort hervor: Im anspruchsvollen Szenario „Prefill Heavy“ erreichte es maximal 74.6 °C, während alle anderen Systeme Temperaturen zwischen 85 und 85 °C erreichten. Das ist ein Vorteil von 10–14 °C gegenüber der Konkurrenz – ein beträchtlicher thermischer Spielraum, der darauf schließen lässt, dass Acer erheblich in die Kühlleistung investiert hat.
Die Founders Edition, Dell und Gigabyte weisen nahezu identische Temperaturprofile auf und erreichen unter Volllast alle 87–88 °C. Diese Ähnlichkeit deutet darauf hin, dass die meisten Hersteller NVIDIAs Referenz-Temperaturdesign im Wesentlichen übernommen haben, anstatt es zu übertreffen. ASUS liegt im Mittelfeld: Die Geräte sind einige Grad kühler als die übrigen, aber immer noch deutlich leistungsstärker als Acer.
Das sägezahnförmige Muster bei Equal und Prefill Heavy spiegelt den zyklischen Charakter des Benchmarks wider, mit einer deutlichen Erholung während der Abkühlphasen. Bei Decode Heavy stabilisieren sich die Temperaturen auf einem konstanteren Niveau; dies deutet ebenfalls auf den hohen Speicherbedarf der Token-Generierung hin und darauf, dass die Speicherkonfiguration bei dieser Arbeitslast einen deutlichen Flaschenhals darstellt.
GPU-Temperatur
Die GPU-Temperaturen weisen ein ähnliches Verhalten auf, da die Kühlinfrastruktur gemeinsam genutzt wird. Acer erreicht während des Prefill Heavy-Tests maximal 68 °C, während die anderen vier Systeme alle 80–82 °C erreichen – ein konstanter Vorteil von 12–14 °C, der den Ergebnissen der CPU entspricht.
Die enge Gruppierung zwischen Founders Edition, Dell, Gigabyte und ASUS lässt vermuten, dass diese Implementierungen ähnliche thermische Grenzen erreichen, wahrscheinlich den Punkt, an dem das firmwaregesteuerte Wärmemanagement der GPU einzugreifen beginnt.
NVMe-Temperatur
Die Speichertemperaturen geben Aufschluss darüber, wie gut die einzelnen Gehäuse den Laufwerksschacht von der Rechenwärme isolieren. Acer liegt mit einer Spitzentemperatur von 51.8 °C erneut vorn, verglichen mit 58–63 °C bei den anderen Herstellern.
Der allmähliche Temperaturanstieg während der Tests, unabhängig von Lastspitzen, deutet auf eine Wärmeaufnahme benachbarter Komponenten hin, die sich mit der Zeit akkumuliert. Bei längeren Feinabstimmungsläufen oder häufigem Modellwechsel ist dies relevant für die Lebensdauer des Laufwerks und die dauerhafte Schreibleistung.
Wie bereits erwähnt, variierten die Laufwerkskonfigurationen der verschiedenen Systeme, daher sind diese Vergleiche mit Vorsicht zu genießen. Acers durchgängiger Vorteil bei allen thermischen Messwerten deutet jedoch eher auf tatsächliche Verbesserungen der Kühlung als auf Unterschiede in der Laufwerksleistung hin.
NIC-Temperatur
Betrachtet man die Temperaturen der ConnectX-7-Netzwerkkarte, erreicht Acer einen Spitzenwert von 62 °C, während die Founders Edition 75 °C erreicht – eine Differenz von 13 °C, die dem Muster entspricht, das wir bei anderen Komponenten beobachtet haben. Gigabyte bleibt hier tatsächlich kühler als Dell und ASUS, obwohl die CPU wärmer wird. Dies deutet darauf hin, dass die Wärmeverteilung je nach Gehäusedesign variiert.
GPU-Leistungsaufnahme
Abschließend wollten wir den Stromverbrauch der GPU überprüfen. Wenig überraschend wiesen alle fünf Systeme während des Prefill Heavy einen bemerkenswert ähnlichen Spitzenstromverbrauch auf, der zwischen 69.3 W (Acer) und 76.0 W (Gigabyte) lag.
Der Imbiss
Die Daten sprechen eine deutliche Sprache: Das von uns getestete Acer-Gerät war in allen Bereichen 10–15 °C kühler als die Konkurrenz, was auf eine grundlegend überlegene Kühllösung hindeutet. Founders Edition, Dell und Gigabyte liegen thermisch im selben Bereich und entsprechen im Wesentlichen dem Referenzdesign von NVIDIA. ASUS positioniert sich im Mittelfeld. Der Stromverbrauch ist gleichmäßig, was bestätigt, dass die Temperaturunterschiede ausschließlich auf die Kühllösung zurückzuführen sind. Gigabyte stach jedoch deutlich hervor. Es bot eines der besten Kühlprofile bei gleichzeitig hoher GPU-Leistungsaufnahme und erzielte damit die beste Balance zwischen Kühlung und Stromverbrauch.
Insgesamt schneiden die Partnermodelle sehr ähnlich ab, und Nutzer können mit keinem von ihnen etwas falsch machen. Neugierige Leser sollten jedoch gespannt auf einen ausführlichen Testbericht jedes Systems warten, der die Leistung unter verschiedenen Arbeitslasten und – besonders beliebt – die detaillierte Analyse der einzelnen Komponenten umfasst.
Amazon