Depois de uma longa espera, o NVIDIA DGX Spark Foi lançado no ano passado, com a esperança de fomentar uma nova geração de engenheiros e pesquisadores de IA. Na StorageReview, recebemos vários sistemas DGX Spark de diversos parceiros para avaliação e estamos desenvolvendo alguns projetos de cluster interessantes. No entanto, as características térmicas e de consumo de energia dessas diferentes implementações se mostraram interessantes demais para manter em segredo enquanto finalizamos nossas análises completas.
O que torna essa comparação particularmente interessante é a oportunidade de observar como diferentes parceiros OEM interpretaram o design de referência da NVIDIA. Embora os componentes eletrônicos principais e a placa-mãe permaneçam constantes em todas as implementações, as soluções de gerenciamento térmico, os designs dos chassis e as estratégias de fluxo de ar variam consideravelmente. Essas decisões de engenharia se manifestam como diferenças mensuráveis nas temperaturas de operação, e a compreensão dessas variações fornece informações valiosas para os usuários finais que buscam adquirir um DGX Spark.
Nesta análise, apresentamos uma comparação lado a lado do desempenho térmico e de potência de cinco sistemas DGX Spark: o NVIDIA Founders EditionGigabyte, Dell, Acer e ASUS.
Metodologia de teste térmico NVIDIA DGX Spark
Os dados aqui apresentados foram coletados durante a execução de benchmarks de serviço online vLLM usando o modelo GPT-OSS-120B da OpenAI. O benchmark compreende três cenários de teste distintos, projetados para exercitar diferentes aspectos do pipeline de inferência.
O cenário de carga de trabalho equilibrada apresenta 256 tokens de entrada e 256 de saída, resultando em demandas curtas e simétricas tanto na fase de preenchimento quanto na de decodificação. O cenário com maior carga de preenchimento desloca a intensidade computacional para o processamento de entrada, com 4096 tokens de entrada gerando 512 tokens de saída; essa configuração satura os núcleos tensores durante a fase de preenchimento/codificação de prompts, mantendo demandas moderadas de decodificação, como em cenários de autocompletar código.
Por outro lado, o cenário com grande volume de decodificação inverte essa relação, usando 512 tokens de entrada para gerar 4096 tokens de saída, semelhante a pedir a um modelo para escrever um aplicativo usando um único prompt, criando uma pressão constante na largura de banda da memória durante a fase de geração de tokens autorregressivos.
Cada cenário foi testado em tamanhos de lote de 1, 2, 4, 8, 16, 32, 64 e 128, resultando em um total de 24 estágios de teste. Um período de resfriamento de 30 segundos também foi imposto entre cada estágio subsequente. Esses períodos de resfriamento são visíveis nos gráficos como breves quedas entre os estágios de teste, marcadas por linhas tracejadas verticais que separam as regiões sombreadas dos cenários.
Alinhamento de cartas náuticas e controles ambientais
Os gráficos apresentados utilizam um eixo temporal alinhado por estágio, o que significa que os dados de todos os sistemas são sincronizados por estágio de teste, em vez de tempo real absoluto. Essa metodologia permite a comparação direta do comportamento do sistema em fases de carga de trabalho idênticas, mesmo que sistemas individuais tenham concluído os estágios em taxas ligeiramente diferentes devido ao seu comportamento de limitação térmica e características de desempenho sustentado.
Os cinco sistemas foram testados simultaneamente sob condições ambientais idênticas, posicionados lado a lado em uma sala controlada com temperatura ambiente constante durante todo o teste. Essa abordagem de teste paralelo garante que quaisquer diferenças observadas sejam diretamente atribuíveis aos projetos térmicos dos sistemas, e não a variáveis ambientais como deriva da temperatura ambiente, padrões de fluxo de ar ou variações ao longo do dia.
Além disso, todos os modelos tinham a imagem mais recente do NVIDIA Ubuntu instalada.
Recolha de Dados
As métricas do sistema foram coletadas em intervalos de 1 segundo usando um script de monitoramento personalizado que lê diretamente das interfaces do kernel do Linux e do nvidia-smi. Não realizamos medições diretas com sondas térmicas nem utilizamos qualquer monitoramento externo de consumo de energia.
Note que as temperaturas dos drives NVMe não podem ser comparadas diretamente, pois nem todos os sistemas possuem drives de armazenamento idênticos. Notavelmente, o sistema Asus foi a única unidade configurada com um drive Phison de 1 TB, o Dell apresentava um drive Phison de 4 TB e todos os outros sistemas que testamos possuíam um drive Samsung de 4 TB. À medida que analisarmos cada caso, exploraremos o desempenho térmico dos drives NVMe com mais detalhes, visto que até mesmo fatores como a ponte térmica entre o drive e a parte inferior do gabinete não são os mesmos em todos os modelos Spark.
Análise térmica do NVIDIA DGX Spark
Antes de analisarmos as métricas individuais, é importante entender que o DGX Spark utiliza um sistema de resfriamento integrado, no qual os componentes compartilham caminhos térmicos. Como visto no design da Founders Edition, o calor da GPU influencia diretamente as temperaturas dos componentes adjacentes, incluindo a CPU, o armazenamento NVMe e as interfaces de rede. Essa interdependência térmica significa que cargas de trabalho intensivas em GPU criam efeitos térmicos em cascata por todo o sistema, explicando por que observamos padrões de temperatura correlacionados em diferentes componentes.
CPU Temperature
Os dados de temperatura da CPU revelam as diferenças mais drásticas entre as implementações. O sistema da Acer se destaca imediatamente, atingindo um pico de apenas 74.6 °C durante o exigente cenário de Prefill Heavy, enquanto todos os outros sistemas chegaram a temperaturas entre 85 e 90 °C. Isso representa uma vantagem de 10 a 14 °C sobre a concorrência, uma margem térmica substancial que sugere que a Acer investiu significativamente em capacidade de resfriamento.
As placas Founders Edition, Dell e Gigabyte apresentam perfis térmicos quase idênticos, atingindo 87-88°C durante picos de carga. Essa similaridade indica que a maioria dos parceiros basicamente seguiu o design térmico de referência da NVIDIA, em vez de superá-lo. A ASUS fica em uma posição intermediária, operando alguns graus mais fria que o grupo, mas ainda bem acima do desempenho da Acer.
O padrão em dente de serra observado nos testes Equal e Prefill Heavy reflete a natureza cíclica do benchmark, com uma recuperação clara durante os períodos de resfriamento. Durante o teste Decode Heavy, as temperaturas se estabilizam em um nível mais sustentado; isso também indica a natureza intensiva em memória da geração de tokens e que a configuração da memória é um gargalo evidente nessa carga de trabalho.
Temperatura GPU
As temperaturas da GPU seguem um padrão semelhante, dada a infraestrutura de resfriamento compartilhada. O sistema da Acer atinge um pico de apenas 68°C durante o teste de pré-aquecimento intenso, enquanto os outros quatro sistemas alcançam 80-82°C, uma vantagem consistente de 12-14°C que reflete os resultados da CPU.
O agrupamento próximo entre as versões Founders Edition, Dell, Gigabyte e ASUS sugere que essas implementações estão se aproximando de limites térmicos semelhantes, provavelmente a partir do ponto em que o gerenciamento térmico controlado pelo firmware da GPU começa a intervir.
Temperatura NVMe
As temperaturas de armazenamento revelam o quão bem cada chassi isola a baia de unidades do calor do computador. A Acer lidera novamente com um pico de 51.8°C, contra 58-63°C dos demais.
O aumento gradual da temperatura durante os testes, independente de picos de carga de trabalho, indica o acúmulo de calor proveniente de componentes adjacentes ao longo do tempo. Para execuções prolongadas de ajustes finos ou trocas frequentes de modelos, isso é relevante para a longevidade do disco e para o desempenho de gravação sustentado.
Como mencionado anteriormente, as configurações dos discos rígidos variaram entre os sistemas, portanto, essas comparações apresentam algumas ressalvas. No entanto, a vantagem consistente da Acer em todas as métricas térmicas aponta para melhorias reais no sistema de resfriamento, e não para diferenças no desempenho dos discos.
Temperatura NIC
Analisando as temperaturas da placa de rede ConnectX-7, a Acer atinge um pico de 62°C, enquanto a Founders Edition chega a 75°C, uma diferença de 13°C consistente com o padrão observado em outros componentes. A Gigabyte, na verdade, apresenta temperaturas mais baixas do que a Dell e a ASUS, apesar de o processador aquecer mais, o que sugere que a distribuição de calor varia entre os diferentes designs de gabinete.
Consumo de energia da GPU
Por fim, quisemos verificar o consumo de energia da GPU. Como esperado, todos os cinco sistemas apresentaram um consumo máximo de energia notavelmente semelhante durante o teste de pré-carregamento pesado, variando de 69.3 W (Acer) a 76.0 W (Gigabyte).
O Takeaway
Os dados contam uma história clara: a unidade da Acer que testamos apresentou temperaturas 10-15°C mais baixas do que as concorrentes em todas as métricas, sugerindo uma solução de resfriamento fundamentalmente superior. As placas Founders Edition, Dell e Gigabyte apresentaram desempenho térmico semelhante, praticamente igualando o design de referência da NVIDIA. A ASUS ficou em uma posição intermediária. O consumo de energia foi uniforme, confirmando que as diferenças térmicas se devem exclusivamente à implementação do sistema de resfriamento. A Gigabyte, no entanto, se destacou. Ela ofereceu um dos melhores perfis de resfriamento com um dos níveis de potência da GPU mais altos, encontrando o melhor equilíbrio entre resfriamento e consumo de energia.
De forma geral, os modelos dos parceiros apresentam desempenho muito semelhante, e os usuários não se arrependerão de escolher nenhum deles. Mas os leitores curiosos devem aguardar uma análise completa de cada sistema, abordando o desempenho em diferentes cargas de trabalho e, claro, o que todos adoram: desmontagem e análise detalhada.
Amazon