오랜 기다림 끝에 NVIDIA DGX Spark가 작년에 출시되었으며, 새로운 AI 엔지니어와 연구원들을 육성하겠다는 기대를 모았습니다. StorageReview에서는 다양한 파트너사로부터 여러 DGX Spark 시스템을 제공받아 평가해 왔으며, 몇 가지 흥미로운 클러스터 프로젝트를 진행하고 있습니다. 하지만 이러한 다양한 구현 방식에서 나타나는 발열 및 전력 특성이 너무 흥미로워서 전체 리뷰를 마무리할 때까지 공개하지 않을 수 없었습니다.
이번 비교가 특히 흥미로운 이유는 다양한 OEM 파트너사들이 NVIDIA의 레퍼런스 디자인을 어떻게 해석했는지 살펴볼 수 있는 기회를 제공하기 때문입니다. 핵심 전자 장치와 마더보드는 모든 구현에서 동일하지만, 열 관리 솔루션, 케이스 디자인, 공기 흐름 전략은 상당히 다릅니다. 이러한 엔지니어링 결정은 작동 온도에서 측정 가능한 차이로 나타나며, 이러한 차이점을 이해하는 것은 DGX Spark 구매를 고려하는 최종 사용자에게 귀중한 정보를 제공합니다.
본 분석에서는 NVIDIA 파운더스 에디션 , 기가바이트, 델, 에이서, ASUS 등 5개 DGX Spark 시스템의 열 성능과 전력 소비 성능을 비교 분석합니다 .
NVIDIA DGX Spark 열 테스트 방법론
여기에 제시된 데이터는 OpenAI의 GPT-OSS-120B 모델을 사용하여 vLLM 온라인 서비스 벤치마크를 실행하는 동안 수집되었습니다. 이 벤치마크는 추론 파이프라인의 다양한 측면을 테스트하도록 설계된 세 가지 시나리오로 구성됩니다.
균등 시나리오는 256개의 입력 토큰과 256개의 출력 토큰으로 균형 잡힌 작업 부하를 제공하여 사전 채우기 및 디코딩 단계 모두에서 짧고 대칭적인 요구 사항을 나타냅니다. 사전 채우기 비중이 높은 시나리오는 입력 처리 쪽으로 계산 강도를 이동시켜 4096개의 입력 토큰이 512개의 출력 토큰을 생성합니다. 이 구성은 코드 완성 시나리오와 같이 디코딩 요구 사항을 적절하게 유지하면서 즉각적인 사전 채우기/인코딩 단계에서 텐서 코어를 포화시킵니다.
반대로, 디코딩 작업이 많은 시나리오에서는 이 관계가 반전되어 512개의 입력 토큰을 사용하여 4096개의 출력 토큰을 생성합니다. 이는 마치 모델에게 단일 프롬프트를 사용하여 애플리케이션을 작성하도록 요청하는 것과 유사하며, 자기회귀 토큰 생성 단계에서 지속적인 메모리 대역폭 압력을 발생시킵니다.
각 시나리오는 1, 2, 4, 8, 16, 32, 64, 128의 배치 크기로 테스트되었으며, 총 24단계의 테스트가 진행되었습니다. 각 단계 사이에는 30초의 쿨다운 시간이 적용되었습니다. 이러한 쿨다운 시간은 차트에서 테스트 단계 사이의 짧은 하락으로 나타나며, 음영 처리된 시나리오 영역을 구분하는 세로 점선으로 표시됩니다.
차트 정렬 및 환경 제어
제시된 차트는 단계별 시간 축을 사용합니다. 즉, 모든 시스템의 데이터는 절대적인 실제 시간이 아닌 테스트 단계별로 동기화됩니다. 이러한 방식을 통해 각 시스템이 열 스로틀링 및 지속적인 성능 특성으로 인해 단계별 완료 속도가 약간씩 다르더라도 동일한 워크로드 단계에서 시스템 동작을 직접 비교할 수 있습니다.
다섯 가지 시스템은 동일한 환경 조건에서 동시에 테스트되었으며, 테스트 기간 내내 주변 온도가 일정하게 유지되는 통제된 공간에 서로 인접하게 배치되었습니다. 이러한 병렬 테스트 방식을 통해 관찰된 모든 차이점은 주변 온도 변화, 공기 흐름 패턴 또는 시간대 변화와 같은 환경 변수가 아닌 시스템의 열 설계에 직접적으로 기인하는 것임을 확인할 수 있습니다.
또한 모든 모델에 최신 NVIDIA 우분투 이미지가 설치되어 있었습니다.
데이터 수집
시스템 지표는 Linux 커널 인터페이스와 nvidia-smi에서 직접 읽어오는 맞춤형 모니터링 스크립트를 사용하여 1초 간격으로 수집했습니다. 열 센서나 외부 전력 모니터링 장치를 이용한 직접 측정은 하지 않았습니다.
모든 시스템에 동일한 스토리지 드라이브가 장착되어 있지 않으므로 NVMe 드라이브 온도를 직접 비교하는 것은 적절하지 않다는 점에 유의하십시오. 특히 Asus 시스템은 1TB Phison 드라이브가 장착된 유일한 제품이었고, Dell 시스템은 4TB Phison 드라이브, 그리고 테스트한 나머지 모든 시스템은 4TB Samsung 드라이브가 장착되어 있었습니다. 각 리뷰를 진행하면서 NVMe 드라이브의 발열 특성을 더 자세히 살펴보겠습니다. 드라이브와 케이스 하단 사이의 열교 현상과 같은 요소조차도 Spark 모델마다 다르기 때문입니다.
NVIDIA DGX Spark 열 분석
개별 성능 지표를 자세히 살펴보기 전에, DGX Spark는 구성 요소들이 열 경로를 공유하는 통합 냉각 시스템을 사용한다는 점을 이해하는 것이 중요합니다. 파운더스 에디션 디자인에서 볼 수 있듯이, GPU에서 발생하는 열은 CPU, NVMe 스토리지, 네트워크 인터페이스를 포함한 인접 구성 요소의 온도에 직접적인 영향을 미칩니다. 이러한 열적 상호 의존성으로 인해 GPU 집약적인 작업 부하는 시스템 전체에 연쇄적인 열 효과를 발생시키며, 이는 여러 구성 요소에서 온도 패턴이 서로 연관되어 나타나는 이유를 설명해 줍니다.
CPU 온도
CPU 온도 데이터는 구현 방식 간의 가장 극적인 차이를 보여줍니다. 에이서 시스템은 까다로운 사전 부하 테스트 시나리오에서 최고 온도가 74.6°C에 불과하여 다른 모든 시스템이 80°C 중반에서 후반까지 치솟은 반면, 단연 돋보입니다. 이는 경쟁사 대비 10~14°C 낮은 수치로, 에이서가 냉각 성능에 상당한 투자를 했음을 시사하는 상당한 열 관리 여유를 보여줍니다.
파운더스 에디션, 델, 그리고 기가바이트 제품은 거의 동일한 발열 프로파일을 보이며, 최고 부하 시 모두 87~88°C에 도달합니다. 이러한 유사성은 대부분의 파트너사가 NVIDIA의 레퍼런스 열 설계 기준을 뛰어넘기보다는 거의 동일하게 유지했음을 시사합니다. ASUS는 이 그룹보다 몇 도 낮은 온도를 기록하며 중간에 위치하지만, 에이서보다는 훨씬 높은 성능을 보여줍니다.
Equal 및 Prefill Heavy 벤치마크에서 나타나는 톱니 모양 패턴은 냉각 기간 동안 명확한 회복을 보이는 벤치마크의 주기적인 특성을 반영합니다. Decode Heavy 벤치마크에서는 온도가 보다 지속적인 수준으로 안정화되는데, 이는 토큰 생성이 메모리 집약적인 작업이며 메모리 구성이 이 워크로드에서 명확한 병목 현상임을 시사합니다.
GPU 온도
GPU 온도 역시 냉각 시스템을 공유하기 때문에 비슷한 양상을 보입니다. Acer 시스템은 Prefill Heavy 테스트 중 최고 온도가 68°C에 그친 반면, 나머지 네 시스템은 모두 80~82°C에 도달하여 CPU 결과와 마찬가지로 12~14°C의 일관된 우위를 보였습니다.
파운더스 에디션, 델, 기가바이트, ASUS 제품 간의 밀집된 분포는 이러한 구현 방식들이 유사한 열 한계에 접근하고 있음을 시사하며, 이는 아마도 GPU 펌웨어에서 제어하는 열 관리 기능이 작동하기 시작하는 지점일 것입니다.
NVMe 온도
저장 장치 온도는 각 섀시가 드라이브 베이를 컴퓨팅 열로부터 얼마나 잘 차단하는지 보여줍니다. 에이서는 최고 온도 51.8°C로 다른 제품들의 58~63°C를 앞서며 다시 한번 선두를 차지했습니다.
테스트 전반에 걸쳐 작업 부하 급증과 관계없이 온도가 점진적으로 상승하는 것은 인접 부품에서 발생하는 열이 시간이 지남에 따라 축적됨을 나타냅니다. 장시간의 미세 조정 작업이나 잦은 모델 교체의 경우, 이는 드라이브 수명 및 지속적인 쓰기 성능에 중요한 영향을 미칩니다.
앞서 언급했듯이 시스템별 드라이브 구성이 다양하므로 이러한 비교에는 몇 가지 주의 사항이 있습니다. 하지만 모든 열 관련 지표에서 Acer가 일관되게 우위를 점하는 것은 드라이브 성능 차이보다는 실제 냉각 성능 향상 덕분임을 시사합니다.
NIC 온도
ConnectX-7 NIC 온도를 살펴보면 Acer는 최고 62°C를 기록한 반면 파운더스 에디션은 75°C에 도달하여 13°C의 차이를 보였는데, 이는 다른 부품에서 관찰된 패턴과 일치합니다. Gigabyte는 CPU 온도가 더 높음에도 불구하고 Dell과 ASUS보다 NIC 온도가 더 낮은데, 이는 섀시 디자인에 따라 열 분포가 다를 수 있음을 시사합니다.
GPU 전력 소비량
마지막으로 GPU의 전력 소비량을 확인하고 싶었습니다. 예상대로 다섯 시스템 모두 Prefill Heavy 테스트 중 69.3W(Acer)에서 76.0W(Gigabyte) 사이의 매우 유사한 최대 전력 소비량을 보였습니다.
테이크 아웃
데이터는 명확한 결론을 보여줍니다. 우리가 테스트한 Acer 제품은 모든 측정 항목에서 경쟁사 제품보다 10~15°C 더 낮은 온도를 기록했는데, 이는 근본적으로 우수한 냉각 솔루션을 갖추고 있음을 시사합니다. 파운더스 에디션, 델, 그리고 기가바이트 제품은 열적으로 비슷한 수준을 보이며, 사실상 NVIDIA 레퍼런스 디자인과 유사한 성능을 나타냈습니다. ASUS는 중간 정도의 성능을 보였습니다. 전력 소비량 또한 균일하여, 온도 차이는 오로지 냉각 방식 때문임을 확인할 수 있습니다. 하지만 기가바이트는 단연 돋보였습니다. 최고 수준의 GPU 전력 소비량을 유지하면서도 최상의 냉각 성능을 제공하여 냉각과 전력 소비 사이에서 최적의 균형을 이루었습니다.
전반적으로 파트너 모델들은 매우 유사한 성능을 보여주므로 어느 모델을 선택하더라도 후회하지 않을 것입니다. 하지만 더 자세한 내용을 알고 싶으신 분들은 각 시스템의 워크로드 성능과 모든 사용자가 기대하는 분해 과정을 포함한 종합적인 리뷰를 기대해 주세요.
아마존