Dopo una lunga attesa, l' anno scorso è stato rilasciato NVIDIA DGX Spark , con la speranza di dare impulso a una nuova generazione di ingegneri e ricercatori nel campo dell'intelligenza artificiale. Noi di StorageReview abbiamo ricevuto diversi sistemi DGX Spark da vari partner per la valutazione e stiamo sviluppando alcuni interessanti progetti di cluster. Tuttavia, le caratteristiche termiche e di consumo energetico di queste diverse implementazioni si sono rivelate troppo interessanti per tenerle segrete in attesa di completare le nostre recensioni complete.
Ciò che rende questo confronto particolarmente interessante è l'opportunità di osservare come i diversi partner OEM abbiano interpretato il design di riferimento di NVIDIA. Mentre l'elettronica di base e la scheda madre rimangono invariate in tutte le implementazioni, le soluzioni di gestione termica, il design dello chassis e le strategie di flusso d'aria variano considerevolmente. Queste decisioni ingegneristiche si manifestano in differenze misurabili nelle temperature operative e la comprensione di queste variazioni fornisce informazioni preziose per gli utenti finali nel mercato di alcune schede grafiche DGX Spark.
In questa analisi, presentiamo un confronto diretto delle prestazioni termiche e di consumo energetico di cinque sistemi DGX Spark: NVIDIA Founders Edition , Gigabyte, Dell, Acer e ASUS.
Metodologia di test termico NVIDIA DGX Spark
I dati qui presentati sono stati raccolti durante l'esecuzione di benchmark di vLLM online serving utilizzando il modello GPT-OSS-120B di OpenAI. Il benchmark comprende tre scenari di test distinti, progettati per testare diversi aspetti della pipeline di inferenza.
Lo scenario "uguale" presenta un carico di lavoro bilanciato con 256 token di input e 256 token di output, con conseguenti richieste brevi e simmetriche sia nella fase di precompilazione che in quella di decodifica. Lo scenario "precompilazione pesante" sposta l'intensità computazionale verso l'elaborazione di input, con 4096 token di input che generano 512 token di output; questa configurazione satura i core tensor durante la fase di precompilazione/codifica del prompt, mantenendo al contempo richieste di decodifica moderate, come negli scenari di completamento del codice.
Al contrario, lo scenario con elevata decodifica inverte questa relazione, utilizzando 512 token di input per generare 4096 token di output, in modo simile a quando si chiede a un modello di scrivere un'applicazione utilizzando un singolo prompt, creando una pressione sostenuta sulla larghezza di banda della memoria durante la fase di generazione autoregressiva dei token.
Ogni scenario è stato testato su batch di 1, 2, 4, 8, 16, 32, 64 e 128, per un totale di 24 fasi di test. È stato inoltre applicato un periodo di raffreddamento di 30 secondi tra ogni fase successiva. Questi periodi di raffreddamento sono visibili nei grafici come brevi cali tra le fasi di test, contrassegnati da linee tratteggiate verticali che separano le aree ombreggiate degli scenari.
Allineamento del grafico e controlli ambientali
I grafici presentati utilizzano un asse temporale allineato per fase, il che significa che i dati di tutti i sistemi sono sincronizzati per fase di test anziché in base al tempo assoluto. Questa metodologia consente un confronto diretto del comportamento del sistema in fasi di carico di lavoro identiche, anche se i singoli sistemi hanno completato le fasi a velocità leggermente diverse a causa del loro comportamento di limitazione termica e delle caratteristiche prestazionali sostenute.
I cinque sistemi sono stati testati simultaneamente in condizioni ambientali identiche, posizionati uno accanto all'altro in una stanza controllata con una temperatura ambiente costante per tutta la durata del test. Questo approccio di test parallelo garantisce che eventuali differenze osservate siano direttamente attribuibili alla progettazione termica dei sistemi piuttosto che a variabili ambientali come la deriva della temperatura ambiente, i modelli di flusso d'aria o le variazioni dell'ora del giorno.
Inoltre, su tutti i modelli era installata l'ultima immagine NVIDIA Ubuntu.
Raccolta dati
Le metriche di sistema sono state raccolte a intervalli di 1 secondo utilizzando uno script di monitoraggio personalizzato che legge direttamente dalle interfacce del kernel Linux e da nvidia-smi. Non abbiamo effettuato misurazioni dirette con sonde termiche o altri sistemi di monitoraggio dell'alimentazione esterni.
Si noti che le temperature delle unità NVMe non possono essere confrontate direttamente, poiché non tutti i sistemi hanno unità di archiviazione identiche. In particolare, il sistema Asus era l'unica unità configurata con un'unità Phison da 1 TB, il Dell ne montava una da 4 TB e tutti gli altri sistemi che abbiamo testato montavano un'unità Samsung da 4 TB. Nel corso di ogni recensione, analizzeremo più nel dettaglio le temperature delle unità NVMe, poiché anche fattori come il ponte termico tra l'unità e la parte inferiore del case non sono gli stessi nei modelli Spark.
Analisi termica NVIDIA DGX Spark
Prima di addentrarci nei singoli parametri, è importante comprendere che il DGX Spark utilizza un sistema di raffreddamento integrato in cui i componenti condividono percorsi termici. Come si vede nel design della Founders Edition, il calore della GPU influenza direttamente le temperature dei componenti adiacenti, tra cui CPU, storage NVMe e interfacce di rete. Questa interdipendenza termica implica che i carichi di lavoro intensivi sulla GPU creano effetti termici a cascata in tutto il sistema, il che spiega perché osserviamo modelli di temperatura correlati tra i diversi componenti.
Temperatura della CPU
I dati sulla temperatura della CPU rivelano le differenze più significative tra le implementazioni. Il sistema Acer si distingue immediatamente, raggiungendo un picco di soli 74.6 °C durante l'impegnativo scenario Prefill Heavy, mentre tutti gli altri sistemi hanno raggiunto temperature comprese tra 85 e 90 °C. Si tratta di un vantaggio di 10-14 °C rispetto alla concorrenza, un margine termico considerevole che suggerisce che Acer ha investito in modo significativo nella capacità di raffreddamento.
Founders Edition, Dell e Gigabyte si raggruppano con profili termici pressoché identici, raggiungendo tutti gli 87-88 °C durante i picchi di carico. Questa somiglianza indica che la maggior parte dei partner ha sostanzialmente seguito il design termico di riferimento di NVIDIA, anziché spingersi oltre. ASUS si posiziona a metà strada, con temperature di qualche grado inferiori a questo gruppo, ma comunque ben al di sopra delle prestazioni di Acer.
Il pattern a dente di sega in Equal e Prefill Heavy riflette la natura ciclica del benchmark, con un chiaro recupero durante i periodi di raffreddamento. Durante Decode Heavy, le temperature si stabilizzano a un livello più sostenuto; questo suggerisce anche la natura intensiva della generazione di token e il fatto che la configurazione della memoria rappresenti un chiaro collo di bottiglia in questo carico di lavoro.
Temperatura GPU
Le temperature della GPU seguono un andamento simile, data l'infrastruttura di raffreddamento condivisa. Acer raggiunge un picco di soli 68 °C durante il Prefill Heavy, mentre gli altri quattro sistemi raggiungono tutti gli 80-82 °C, un vantaggio costante di 12-14 °C che rispecchia i risultati della CPU.
La stretta correlazione tra Founders Edition, Dell, Gigabyte e ASUS suggerisce che queste implementazioni si stanno avvicinando a limiti termici simili, probabilmente dove inizia a intervenire la gestione termica controllata dal firmware della GPU.
Temperatura NVMe
Le temperature di stoccaggio rivelano l'efficacia di ciascun chassis nell'isolare l'alloggiamento dell'unità dal calore generato dal computer. Acer è ancora una volta in testa con un picco di 51.8 °C, contro i 58-63 °C degli altri.
L'aumento graduale della temperatura durante i test, indipendente dai picchi di carico, indica un accumulo di calore da parte dei componenti adiacenti nel tempo. Per sessioni di messa a punto prolungate o frequenti cambi di modello, questo è rilevante per la longevità dell'unità e le prestazioni di scrittura sostenute.
Come accennato in precedenza, le configurazioni delle unità variavano da un sistema all'altro, quindi questi confronti comportano alcune riserve. Tuttavia, il vantaggio costante di Acer in ogni parametro termico indica reali miglioramenti nel raffreddamento piuttosto che differenze nelle prestazioni delle unità.
Temperatura NIC
Osservando le temperature della scheda di rete ConnectX-7, Acer raggiunge un picco di 62 °C, mentre la Founders Edition raggiunge i 75 °C, una differenza di 13 °C coerente con lo schema che abbiamo riscontrato in altri componenti. Gigabyte in realtà funziona a temperature inferiori rispetto a Dell e ASUS, nonostante la CPU sia più calda, il che suggerisce che la distribuzione del calore varia a seconda del design del telaio.
Consumo energetico della GPU
Infine, abbiamo voluto verificare il consumo energetico della GPU. Come prevedibile, tutti e cinque i sistemi hanno mostrato consumi energetici di picco notevolmente simili durante il Prefill Heavy, con valori compresi tra 69.3 W (Acer) e 76.0 W (Gigabyte).
Il Takeaway
I dati raccontano una storia chiara: l'unità Acer che avevamo aveva una temperatura di 10-15 °C inferiore rispetto ai concorrenti in ogni parametro, suggerendo una soluzione di raffreddamento fondamentalmente superiore. Founders Edition, Dell e Gigabyte si raggruppano termicamente, sostanzialmente in linea con il design di riferimento di NVIDIA. ASUS si colloca a metà strada. Il consumo energetico è uniforme, a conferma che le differenze termiche sono dovute esclusivamente all'implementazione del raffreddamento. Gigabyte, tuttavia, si è distinta dal gruppo. Ha offerto uno dei migliori profili di raffreddamento con uno dei più alti livelli di potenza della GPU, raggiungendo il miglior equilibrio tra raffreddamento e consumo.
Nel complesso, i modelli partner offrono prestazioni molto simili e gli utenti non possono sbagliare con nessuno di essi. Ma i lettori più curiosi dovrebbero continuare a seguirci per una recensione completa di ciascun sistema, che tratterà le prestazioni dei carichi di lavoro e il tema preferito da tutti: i teardown.
Amazon