Supermicro는 NVIDIA Vera Rubin NVL72 및 NVIDIA HGX Rubin NVL8 플랫폼을 지원하기 위해 랙 규모 제조 용량을 확장하고 직접 액체 냉각 기능을 업그레이드했다고 발표했습니다. 회사는 미국 내 자체 설계 및 제조 시설과 데이터 센터 빌딩 블록 솔루션(DCBBS) 접근 방식, 그리고 엔드투엔드 액체 냉각 기술 스택을 결합하여 고밀도 AI 인프라 구축 기간을 단축하는 것을 목표로 하고 있습니다.
슈퍼마이크로의 CEO 찰스 량은 엔비디아와의 협력 및 자사의 모듈형 설계 방식이 첨단 AI 플랫폼 개발을 가속화하기 위한 것이라고 강조했습니다. 또한, 슈퍼마이크로의 확장된 제조 시설과 액체 냉각 기술 전문성이 하이퍼스케일 및 엔터프라이즈 환경 전반에 걸쳐 베라 루빈 및 루빈 시스템을 효율적이고 안정적으로 대규모 배포하는 데 핵심적인 역할을 할 것이라고 언급했습니다.
랙 스케일 플래그십: NVIDIA Vera Rubin NVL72 슈퍼클러스터
최상위 제품군에서 Supermicro는 NVIDIA Vera Rubin NVL72 SuperCluster를 지원할 예정입니다. 이 랙 규모 시스템은 72개의 NVIDIA Rubin GPU와 36개의 NVIDIA Vera CPU, NVIDIA ConnectX-9 SuperNIC 및 NVIDIA BlueField-4 DPU를 통합합니다. 이 플랫폼은 랙 내 데이터 일관성을 위해 NVIDIA NVLink 6를 사용합니다. NVIDIA Quantum-X800 InfiniBand 및 NVIDIA Spectrum-X 이더넷을 통해 확장 가능하도록 설계되어, 대규모 학습, 추론 및 에이전트 기반 AI를 위한 랙 시스템 설계에 대한 업계의 현재 추세와 일치합니다.
NVIDIA는 NVL72 구성의 NVFP4 성능을 3.6엑사플롭스로 평가하며, 1.4PB/s의 HBM4 대역폭과 75TB의 고속 메모리를 지원합니다. Supermicro의 구현은 3세대 NVIDIA MGX 랙 아키텍처를 기반으로 하며, 지속적인 클러스터 운영을 지원하기 위해 서비스 용이성, 신뢰성 및 가용성에 중점을 두었습니다.
냉각은 설계의 핵심입니다. Supermicro는 냉각수 분배 장치(CDU)가 내장된 향상된 데이터 센터 규모의 액체 냉각 스택을 통합하고 있습니다. 목표는 확장 가능한 온수 냉각을 통해 에너지 및 물 사용량을 줄이면서도 집적도를 유지하고 고부하 AI 작업 부하에서도 예측 가능한 성능을 구현하는 것입니다.
컴팩트 고밀도 컴퓨팅: 2U 액체 냉각 NVIDIA HGX Rubin NVL8
모듈형 구성 요소를 선호하는 기업 및 서비스 제공업체를 위해 Supermicro는 2U 액체 냉각 방식의 NVIDIA HGX Rubin NVL8 시스템도 선보였습니다. 이 8개 GPU 플랫폼은 AI 및 HPC 워크로드에 최적화되어 있으며, NVIDIA는 400페타플롭스의 NVFP4 성능을 제공한다고 밝혔습니다. 이 플랫폼은 176TB/s의 HBM4 대역폭과 28.8TB/s의 NVLink 대역폭을 지원하며, SuperNIC을 통해 1600Gb/s의 NVIDIA ConnectX-9 네트워킹을 제공합니다.
Supermicro는 배포 유연성을 유지하기 위해 랙 규모의 설계를 제공하며, 차세대 Intel Xeon 및 AMD EPYC 프로세서를 포함한 플래그십 x86 CPU를 탑재한 다양한 구성 옵션을 제공합니다. 또한, 랙 통합을 위한 고밀도 2U 버스바 설계와 Supermicro의 직접 액체 냉각(DLC) 기술을 결합하여 서비스 편의성을 저해하지 않으면서 더 높은 지속 전력 소비량을 지원한다고 강조했습니다.
베라 루빈 플랫폼 특징
Supermicro의 플랫폼 지원은 클러스터 설계 및 운영 계획에 직접적인 영향을 미치는 Vera Rubin 시대의 몇 가지 핵심 기능과 일치합니다. 이러한 기능에는 다음이 포함됩니다.
- NVIDIA NVLink 6는 GPU 간 및 CPU 간 통신에서 더 높은 대역폭과 더 낮은 지연 시간을 제공하는 고속 인터커넥트 패브릭입니다. 이는 특히 대규모 혼합 모델 학습 및 추론에 중요한데, 이러한 경우 통신 패턴이 성능에 큰 영향을 미칠 수 있기 때문입니다.
- NVIDIA Vera CPU는 NVIDIA가 설계한 Arm 코어를 탑재했으며, 이전 세대 대비 2배 향상된 성능을 제공한다고 합니다. 이 CPU는 88개의 코어와 176개의 스레드를 통해 공간 멀티스레딩을 지원하며, 1.2TB/s의 LPDDR5X 메모리 대역폭과 더 커진 메모리 용량을 갖추고 있습니다. 또한 Vera는 1.8TB/s의 NVLink-C2C 대역폭을 통해 GPU와의 CPU-GPU 연동 성능을 향상시켰는데, 이는 이전 세대보다 2배 높은 수치입니다.
- NVIDIA의 3세대 Transformer 엔진은 장기 컨텍스트 및 정밀한 연산 가속을 목표로 하며, 이는 최신 추론 방식이 영구 세션, 다중 에이전트 파이프라인 및 높은 동시성을 지향함에 따라 매우 중요해졌습니다. 또한 이 플랫폼은 3세대 기밀 컴퓨팅(Confidential Computing)을 통합하고 있는데, 이는 모델, 데이터 및 프롬프트를 보호하고 격리하는 통합 GPU 수준의 신뢰 실행 환경을 갖춘 랙 규모의 기밀 컴퓨팅으로 설명됩니다. 규제 대상 워크플로에 AI를 배포하는 운영자에게 기밀 컴퓨팅과 GPU 실행 경계 격리는 플랫폼 선택에 있어 점점 더 중요한 기준이 되고 있습니다.
- 2세대 RAS 엔진은 고급 상태 모니터링 및 실시간 점검 기능을 통해 가동 중지 시간을 줄여 신뢰성을 향상시킵니다. 액체 냉각 방식의 고밀도 환경에서는 유지보수 기간이 매우 짧고 불안정성에 대한 운영 허용 오차가 낮기 때문에 고장 감지 및 서비스 용이성이 필수적입니다.
네트워킹: Spectrum-X 이더넷 포토닉스 및 랙 규모 처리량
Supermicro는 또한 Rubin 플랫폼 지원을 NVIDIA의 Spectrum-X 이더넷 포토닉스와 연계했는데, 이는 Spectrum-6 이더넷 ASIC을 기반으로 합니다. NVIDIA는 TSMC 3nm 공정에서 102.4Tb/s 스위칭 속도, 200G SerDes 코패키징 광학 장치 및 완전 공유 버퍼를 제공한다고 명시하고 있습니다.
NVIDIA는 기존 플러그형 광 모듈 대비 효율성과 운영 안정성을 향상시키는 것을 목표로 삼고 있으며, 전력 효율 5배, 신뢰성 10배, 애플리케이션 가동 시간 5배 향상을 내세웠습니다. NVIDIA는 액체 냉각 방식의 SN6800(409.6Tb/s CPO, 512개의 800G 포트), SN6810(102.4Tb/s CPO, 128개의 800G 포트), 그리고 플러그형 광 모듈, 128개의 800G 포트, 공랭식 또는 액체 냉각식 구성으로 제공되는 SN6600을 포함한 여러 스위치 모델을 공개했습니다. 데이터 센터 운영자에게 이러한 설계는 전력 및 열 특성이 개선된 고밀도 800G 이더넷 패브릭을 구현할 수 있는 가능성을 제시하며, 이는 프런트엔드 네트워킹 전력이 랙 예산에서 상당한 비중을 차지하는 요즘 더욱 중요해지고 있습니다.
AI 팩토리를 위한 스토리지 통합
스토리지 측면에서 Supermicro는 페타스케일 올플래시 스토리지 서버와 JBOF 시스템을 기반으로 구축된 보완 솔루션을 강조했습니다. 이러한 플랫폼은 NVIDIA BlueField-4 DPU와 다양한 데이터 관리 솔루션을 지원하며, 컴퓨팅 계층에서 사용하는 것과 동일한 랙 규모의 가속 아키텍처를 스토리지 및 네트워킹에 적용합니다.
슈퍼마이크로는 이번 발표에서 스토리지 플랫폼의 성능 수치를 제공하지는 않았지만, 통합에 대한 강조는 컴퓨팅, 네트워크 및 스토리지가 AI 팩토리 구축에 적합하도록 함께 검증된 풀 스택 설계로 나아가고 있음을 시사합니다.
제조 규모 및 가동 시간
이번 발표의 핵심은 제조 처리량과 배포 속도 향상입니다. Supermicro의 확장된 시설과 액체 냉각 시스템은 완전 액체 냉각 방식의 Vera Rubin 및 Rubin 플랫폼의 생산 및 납품을 간소화하도록 설계되었습니다. 동시에 모듈형 DCBBS 아키텍처는 신속한 구성, 검증 및 확장을 가능하게 합니다. 기업 기술 구매자에게 있어 차별화 요소는 단일 섀시 사양보다는 예측 가능한 납품, 반복 가능한 랙 구성, 그리고 장비 수령부터 안정적인 생산 서비스까지 걸리는 시간 단축에 있습니다.
슈퍼마이크로는 액체 냉각이 최고 수준의 AI 집적도에서 기본 냉각 방식으로 자리 잡게 됨에 따라, 랙 규모의 제조 및 검증을 산업화할 수 있는 공급업체가 장기간의 통합 주기 없이 대규모 배포를 지원하는 데 가장 유리한 위치에 서게 될 것이라고 예상하고 있습니다.
아마존