Après une longue attente, le NVIDIA DGX Spark a été lancé l'année dernière, avec l'espoir de susciter l'émergence d'une nouvelle génération d'ingénieurs et de chercheurs en IA. Chez StorageReview, nous avons reçu plusieurs systèmes DGX Spark de différents partenaires pour évaluation, et nous développons actuellement des projets de clusters prometteurs. Cependant, les caractéristiques thermiques et énergétiques de ces différentes implémentations se sont révélées trop intéressantes pour rester secrètes jusqu'à la finalisation de nos tests complets.
Ce qui rend cette comparaison particulièrement intéressante, c'est la possibilité d'observer comment différents partenaires OEM ont interprété la conception de référence de NVIDIA. Si l'électronique de base et la carte mère restent identiques pour toutes les configurations, les solutions de gestion thermique, la conception du châssis et les stratégies de flux d'air varient considérablement. Ces choix d'ingénierie se traduisent par des différences mesurables de températures de fonctionnement, et la compréhension de ces variations offre des informations précieuses aux utilisateurs finaux à la recherche d'une carte DGX Spark.
Dans cette analyse, nous présentons une comparaison côte à côte des performances thermiques et énergétiques de cinq systèmes DGX Spark : NVIDIA Founders Edition , Gigabyte, Dell, Acer et ASUS.
Méthodologie de test thermique NVIDIA DGX Spark
Les données présentées ici ont été recueillies lors de l'exécution de tests de performance en ligne de vLLM utilisant le modèle GPT-OSS-120B d'OpenAI. Ces tests comprennent trois scénarios distincts conçus pour solliciter différents aspects du pipeline d'inférence.
Le scénario d'égalité présente une charge de travail équilibrée avec 256 jetons d'entrée et 256 jetons de sortie, ce qui se traduit par des exigences courtes et symétriques pour les phases de préremplissage et de décodage. Le scénario privilégiant le préremplissage concentre l'intensité de calcul sur le traitement des entrées, avec 4 096 jetons d'entrée générant 512 jetons de sortie ; cette configuration sature les cœurs Tensor pendant la phase de préremplissage/encodage rapide tout en maintenant des exigences de décodage modérées, comme dans les scénarios de complétion de code.
À l'inverse, le scénario de décodage intensif inverse cette relation, utilisant 512 jetons d'entrée pour générer 4096 jetons de sortie, similaire à demander à un modèle d'écrire une application en utilisant une seule invite, créant une pression soutenue sur la bande passante mémoire pendant la phase de génération de jetons autorégressive.
Chaque scénario a été testé avec des lots de 1, 2, 4, 8, 16, 32, 64 et 128 éléments, soit un total de 24 phases de test. Un délai de 30 secondes a été imposé entre chaque phase. Ces délais sont visibles sur les graphiques sous forme de brèves baisses entre les phases de test, indiquées par des lignes verticales pointillées qui séparent les zones ombrées des scénarios.
Alignement des graphiques et contrôles environnementaux
Les graphiques présentés utilisent un axe temporel aligné sur l'étape de test, ce qui signifie que les données de tous les systèmes sont synchronisées par étape plutôt que par temps absolu. Cette méthodologie permet une comparaison directe du comportement des systèmes lors de phases de charge de travail identiques, même si les systèmes individuels ont terminé les étapes à des rythmes légèrement différents en raison de leur comportement de limitation thermique et de leurs caractéristiques de performance soutenue.
Les cinq systèmes ont été testés simultanément dans des conditions environnementales identiques, placés côte à côte dans une pièce à température ambiante constante. Cette approche de test en parallèle garantit que les différences observées sont directement imputables à la conception thermique des systèmes et non à des variables environnementales telles que les variations de température ambiante, les flux d'air ou les variations diurnes.
De plus, tous les modèles étaient équipés de la dernière image NVIDIA Ubuntu.
Collecte des Données
Les données système ont été collectées à intervalles d'une seconde à l'aide d'un script de surveillance personnalisé qui lit directement les interfaces du noyau Linux et nvidia-smi. Nous n'avons effectué aucune mesure directe avec des sondes thermiques ni avec un système de surveillance de la consommation électrique externe.
Il est important de noter que les températures des disques NVMe ne sont pas directement comparables, car les systèmes testés ne sont pas tous équipés de disques de stockage identiques. Notamment, le système Asus était le seul à être configuré avec un disque Phison de 1 To, le système Dell disposait d'un disque Phison de 4 To, et tous les autres systèmes testés étaient équipés d'un disque Samsung de 4 To. Au fil de nos tests, nous examinerons plus en détail la dissipation thermique des disques NVMe, car même des facteurs tels que les ponts thermiques entre le disque et le fond du boîtier varient d'un modèle Spark à l'autre.
Analyse thermique de NVIDIA DGX Spark
Avant d'analyser les mesures individuelles, il est important de comprendre que le DGX Spark utilise un système de refroidissement intégré où les composants partagent les mêmes flux thermiques. Comme illustré dans la conception de la Founders Edition, la chaleur du GPU influe directement sur les températures des composants adjacents, notamment le CPU, le stockage NVMe et les interfaces réseau. Cette interdépendance thermique signifie que les charges de travail intensives pour le GPU génèrent des effets thermiques en cascade dans tout le système, expliquant ainsi les corrélations observées au niveau des températures des différents composants.
Température CPU
Les données de température du processeur révèlent les différences les plus marquées entre les configurations. Le système Acer se distingue immédiatement, avec un pic à seulement 74.6 °C lors du test intensif « Prefill Heavy », tandis que tous les autres systèmes atteignaient des températures entre 80 et 90 °C. Cela représente un avantage de 10 à 14 °C par rapport à la concurrence, une marge thermique considérable qui suggère qu'Acer a investi massivement dans le système de refroidissement.
Les modèles Founders Edition, Dell et Gigabyte présentent des profils thermiques quasi identiques, atteignant tous 87-88 °C en pleine charge. Cette similarité indique que la plupart des fabricants se sont contentés d'égaler la conception thermique de référence de NVIDIA, sans chercher à la surpasser. ASUS se situe en milieu de classement, avec des températures légèrement inférieures à celles du groupe, mais nettement supérieures aux performances d'Acer.
Le profil en dents de scie observé lors des tests Equal et Prefill Heavy reflète la nature cyclique du benchmark, avec une nette récupération pendant les phases de refroidissement. Durant Decode Heavy, les températures se stabilisent à un niveau plus constant ; ceci suggère également que la génération de jetons est gourmande en mémoire et que la configuration mémoire constitue un goulot d'étranglement évident pour cette charge de travail.
Température GPU
Les températures du GPU suivent une tendance similaire, compte tenu de l'infrastructure de refroidissement partagée. Le système Acer atteint un pic de seulement 68 °C lors du test Prefill Heavy, tandis que les quatre autres systèmes culminent tous entre 80 et 82 °C, soit un avantage constant de 12 à 14 °C qui correspond aux résultats obtenus avec le CPU.
Le regroupement étroit entre les Founders Edition, Dell, Gigabyte et ASUS suggère que ces implémentations approchent des limites thermiques similaires, probablement là où la gestion thermique contrôlée par le firmware du GPU commence à intervenir.
Température NVMe
Les températures de stockage indiquent l'efficacité de chaque châssis à isoler la baie de disque de la chaleur dégagée par l'ordinateur. Acer se distingue une fois de plus avec un pic à 51.8 °C, contre 58 à 63 °C pour les autres.
L'élévation progressive de la température observée tout au long des tests, indépendamment des pics de charge, indique une accumulation de chaleur provenant des composants adjacents. Lors de cycles de réglage fin prolongés ou de changements fréquents de modèles, ce phénomène a un impact sur la durée de vie du disque et les performances d'écriture soutenues.
Comme indiqué précédemment, les configurations de disques variaient d'un système à l'autre, ce qui implique que ces comparaisons doivent être nuancées. Cependant, l'avantage constant d'Acer sur tous les indicateurs thermiques suggère de réelles améliorations du refroidissement plutôt que des différences de performances des disques.
Température NIC
Concernant la température de la carte réseau ConnectX-7, l'Acer atteint un pic de 62 °C tandis que la Founders Edition culmine à 75 °C, soit un écart de 13 °C conforme aux observations faites sur d'autres composants. Le Gigabyte affiche une température plus basse que Dell et ASUS, malgré un processeur plus chaud, ce qui suggère que la répartition de la chaleur varie selon la conception du châssis.
Consommation électrique du GPU
Enfin, nous avons voulu vérifier la consommation électrique du GPU. Sans surprise, les cinq systèmes ont affiché une consommation électrique maximale remarquablement similaire lors du pré-remplissage intensif, allant de 69.3 W (Acer) à 76.0 W (Gigabyte).
A Retenir
Les données sont sans équivoque : le modèle Acer que nous avons testé affichait une température de 10 à 15 °C inférieure à celle de ses concurrents sur tous les indicateurs, ce qui suggère une solution de refroidissement fondamentalement supérieure. Les modèles Founders Edition, Dell et Gigabyte présentent des performances thermiques similaires, correspondant quasiment à la conception de référence de NVIDIA. ASUS se situe en milieu de classement. La consommation électrique est uniforme, confirmant que les différences thermiques sont uniquement dues au système de refroidissement. Gigabyte, cependant, s'est démarqué. Il offrait l'un des meilleurs profils de refroidissement avec l'un des niveaux de consommation électrique du GPU les plus élevés, trouvant ainsi le meilleur compromis entre refroidissement et puissance.
Globalement, les modèles partenaires offrent des performances très similaires et les utilisateurs ne peuvent se tromper en choisissant l'un ou l'autre. Les lecteurs curieux sont invités à consulter l'analyse complète de chaque système, qui abordera les performances en charge de travail et, surtout, le démontage.
Amazon