엔비디아가 Vera Rubin NVL144 MGX 세대 오픈 아키텍처 랙 서버 사양을 발표했습니다. 50개 이상의 MGX 파트너사가 이번 출시를 준비하고 있으며, 576개의 Rubin Ultra GPU를 연결하고 증가하는 추론 요구를 충족하도록 설계된 엔비디아 카이버(Kyber) 생태계 지원도 함께 진행하고 있습니다.
지난 9월, NVIDIA는 인텔과의 파트너십 확대를 발표했습니다 . 한편, 인텔은 새로운 Xeon 6 프로세서를 발표했는데, 이 중 하나가 NVIDIA의 최신 AI 가속 시스템인 NVIDIA DGX B300의 호스트 CPU로 사용됩니다. NVIDIA DGX B300에는 인텔 Xeon 6776P가 통합되어 있으며, 이 프로세서는 AI 가속 시스템의 관리, 오케스트레이션 및 지원에 핵심적인 역할을 합니다. 강력한 메모리 용량과 대역폭을 갖춘 Xeon 6776P는 증가하는 AI 모델 및 데이터 세트의 요구 사항을 충족합니다.
Xeon 6776P는 Priority Core Turbo(PCT) 및 Intel Speed Select-Turbo Frequency(SST‑TF)를 갖춘 "GPU 호스트" CPU로 설계되어, 다른 코어가 기본 클럭으로 실행되는 동안 소수의 코어가 더 높은 부스트 성능을 제공하고 지연 시간에 민감한 오케스트레이션을 처리할 수 있습니다. 이를 통해 전처리, KV 캐시 처리 및 스케줄링 과정에서 발생하는 지연 시간을 줄여 NVLink 클러스터의 효과적인 GPU 활용도를 향상시킵니다.
Vera Rubin NVL144: AI 공장에 맞게 확장 가능하도록 설계됨
Vera Rubin NVL144 MGX 컴퓨팅 트레이는 에너지 효율적인 완전 수냉식 모듈형 디자인을 특징으로 합니다. 중앙 인쇄 회로 기판(PCB) 미드플레인은 기존 케이블 연결을 대체하여 조립 속도를 높이고 유지 관리를 간소화합니다. 또한 NVIDIA ConnectX-9 800GB/s 네트워킹 및 NVIDIA Rubin CPX를 위한 모듈형 확장 베이를 갖추고 있어 대규모 추론 작업을 지원합니다.
NVIDIA Vera Rubin NVL144는 가속 컴퓨팅 아키텍처와 AI 기능 면에서 상당한 발전을 이루었습니다. 고급 추론 엔진을 지원하고 AI 에이전트의 요구를 충족하도록 설계되었습니다.
핵심 설계는 MGX 랙 아키텍처를 기반으로 하며, 50개 이상의 MGX 시스템 및 구성 요소 파트너의 지원을 받게 됩니다. NVIDIA는 향상된 랙 및 컴퓨팅 트레이 혁신을 OCP 컨소시엄에 개방형 표준으로 제공할 계획입니다.
컴퓨팅 트레이 및 랙 표준을 통해 파트너는 모듈형 시스템을 조립하고 아키텍처를 통해 더욱 빠르게 확장할 수 있습니다. Vera Rubin NVL144 랙 디자인은 에너지 효율적인 45°C 액체 냉각, 향상된 성능을 위한 새로운 액체 냉각 버스바, 그리고 일관된 전력을 유지하기 위한 20배 더 많은 에너지 저장 용량을 특징으로 합니다.
MGX는 컴퓨팅 트레이와 랙 아키텍처를 개선하여 AI 팩토리 성능을 향상시키고 조립을 더 쉽게 만들어 기가와트 수준의 AI 인프라로 빠르게 확장할 수 있게 해줍니다.
NVIDIA NVLink Fusion 생태계 확장
하드웨어 외에도 NVIDIA NVLink Fusion이 주목을 받고 있으며, 이를 통해 기업은 반맞춤형 실리콘을 고도로 최적화되고 널리 배포된 데이터 센터 아키텍처에 원활하게 통합하여 복잡성을 줄이고 출시 시간을 단축할 수 있습니다.
Intel과 Samsung Foundry는 맞춤형 실리콘 설계자, CPU 및 IP 파트너를 포괄하는 NVLink Fusion 생태계에 합류하여 AI 공장이 모델 학습 및 에이전트 AI 추론을 위한 집약적 작업 부하를 빠르게 확장하고 관리할 수 있도록 지원합니다.
- 최근 발표된 내용의 일부로 NVIDIA와 Intel의 협력 인텔은 NVLink Fusion을 사용하여 NVIDIA 인프라 플랫폼에 통합되는 x86 CPU를 구축할 예정입니다.
- 삼성 파운드리는 맞춤형 CPU와 맞춤형 XPU에 대한 수요 증가에 대응하기 위해 엔비디아와 협력하여 맞춤형 실리콘에 대한 설계부터 제조까지의 경험을 제공하고 있습니다.
엔비디아 카이버 랙
20개 이상의 업계 파트너가 차세대 800볼트 직류(VDC) 데이터 센터를 위한 새로운 실리콘, 부품, 전력 시스템 및 지원을 선보입니다. 기가와트 시대에 맞춰 설계된 이 데이터 센터는 NVIDIA의 Kyber 랙 아키텍처를 지원할 예정입니다.
폭스콘은 800VDC 시대에 맞춰 건설 중인 40MW 규모의 대만 가오슝-1 데이터센터에 대한 세부 정보를 공개했습니다. CoreWeave, Lambda, Nebius, Oracle Cloud Infrastructure, Together AI 등 다른 업계 선도 기업들도 800V 인프라를 염두에 두고 데이터센터 건설을 계획하고 있습니다. 또한, Vertiv는 완벽한 전력 및 냉각 인프라를 제공하는 동시에 공간, 비용, 에너지 효율을 최적화하도록 설계된 솔루션인 800VDC MGX 레퍼런스 아키텍처를 선보였습니다. 한편, HPE는 Spectrum-X 이더넷 플랫폼의 핵심 요소인 NVIDIA Kyber 및 NVIDIA Spectrum-XGS 이더넷 스케일아웃 기술을 지원하는 제품을 지원하고 있습니다.
기존 415VAC 또는 480VAC 3상 시스템에서 800VDC 인프라로 전환하면 확장성이 향상되고, 에너지 효율이 향상되며, 자재 소비량이 감소하고, 데이터 센터의 성능이 향상됩니다. 전기차 및 태양광 산업은 이러한 이점을 실현하기 위해 이미 800VDC 인프라를 구축했습니다.
NVIDIA Kyber Rack 서버 세대
OCP 생태계는 800VDC 전력 공급, 액체 냉각, 기계 설계 분야의 혁신을 특징으로 하는 NVIDIA Kyber도 준비하고 있습니다.
이러한 혁신은 2027년까지 576개의 NVIDIA Rubin Ultra GPU를 탑재한 고밀도 플랫폼을 특징으로 할 것으로 예상되는 NVIDIA Oberon의 후속 제품인 랙 서버 세대 NVIDIA Kyber로의 전환을 용이하게 할 것입니다.
고전력 분배 문제를 해결하는 가장 좋은 방법은 전압을 높이는 것입니다. 표준 415VAC 또는 480VAC 3상 시스템에서 800VDC 시스템으로 전환하면 여러 가지 이점이 있습니다.
진행 중인 전환을 통해 랙 서버 파트너는 랙 내부 구성 요소를 54VDC에서 800VDC로 업그레이드하여 성능을 향상시킬 수 있습니다. 이번 행사에서는 직류 인프라 공급업체, 전력 시스템 및 냉각 파트너, 그리고 반도체 제조업체로 구성된 협력 생태계가 MGX 랙 서버 참조 아키텍처의 개방형 표준을 개발하는 데 협력했습니다.
NVIDIA Kyber는 랙 GPU 밀도를 높이고 네트워크 용량을 강화하며 대규모 AI 시스템의 성능을 최적화하는 것을 목표로 합니다. 컴퓨팅 블레이드를 수직으로 장착하여 섀시당 최대 18개의 블레이드를 지원합니다. 또한 NVIDIA의 특수 NVLink 스위치 블레이드는 케이블이 필요 없는 미드플레인을 통해 후면에 배치되어 확장 가능한 원활한 네트워크 연결을 제공합니다.
800VDC를 사용하면 동일한 구리를 통해 150% 이상 더 많은 전력이 전송되므로 단일 랙에 전력을 공급하기 위해 200kg의 구리 버스바가 필요 없습니다.
카이버(Kyber)는 하이퍼스케일 AI 데이터 센터의 핵심 구성 요소로 자리매김하여 고급 생성 AI 작업의 성능, 효율성 및 안정성을 향상시킵니다. NVIDIA 카이버 랙을 사용하면 구리 사용량을 크게 줄여 수백만 달러의 비용 절감 효과를 얻을 수 있습니다.
차세대 AI 공장 확장
20개 이상의 NVIDIA 파트너가 개방형 표준을 갖춘 랙 서버를 제공하여 미래의 기가와트 AI 공장을 구현하는 데 도움을 주고 있습니다.
- 실리콘 공급업체: 아날로그 디바이스(ADI), AOS, EPC, Infineon, Innoscience, MPS, Navitas, onsemi, Power Integrations, Renesas, Richtek, ROHM, STMicroelectronics 및 텍사스 인스트루먼트
- 전력 시스템 구성 요소 공급업체: 비즈링크, 델타, 몸을 풀다, GE Vernova, Lead Wealth, LITEON 및 Megmeet
- 데이터 센터 전력 시스템 공급업체: ABB, Eaton, GE Vernova, Heron Power, 히타치 에너지, 미쓰비시 일렉트릭, 슈나이더 일렉트릭, 지멘스, 버티브
NVIDIA는 NVIDIA GB200 NVL72 시스템의 전기 기계 설계의 핵심 부분을 포함하여 여러 하드웨어 세대에 걸쳐 OCP 표준에 크게 기여해 왔습니다 . 동일한 MGX 랙 공간은 GB300 NVL72를 지원하며, 향후 Vera Rubin NVL144, Vera Rubin NVL144 CPX 및 Vera Rubin CPX를 지원하여 더욱 향상된 성능과 빠른 구축을 가능하게 합니다.
아마존