AI Infra Summit에서는 AMD와 NVIDIA의 MLPerf 추론 결과와 NVIDIA의 2026 Vera Rubin 로드맵, 특히 Rubin CPX가 강조되었습니다.
AI Infra Summit 2025에서 NVIDIA는 두 가지 측면에서 추진력을 보여주었습니다. 첫째, Blackwell Ultra 시스템에서 나온 인상적인 새로운 MLPerf 추론 결과이고, 둘째, 더 중요한 것은 방대한 맥락 추론을 위해 특별히 제작된 새로운 GPU 클래스인 Rubin CPX를 포함한 2026년 Vera Rubin 세대에 대한 자세한 로드맵입니다.
Blackwell Ultra, 새로운 성능 기준 설정
NVIDIA의 GB300 NVL72 랙 스케일 시스템은 MLPerf Inference v5.1에서 이미 놀라운 성능을 달성하여, 소프트웨어가 잠재력을 최대한 발휘하는 가운데 Blackwell Ultra 플랫폼의 아키텍처적 완성도를 입증했습니다. 이러한 성능은 Llama 2 70B 벤치마크에서 명확히 드러났습니다. 이 플랫폼은 오프라인 시나리오에서 GPU당 초당 12,934개의 토큰을 처리하는 인상적인 성과를 보였습니다. 온라인 서비스 테스트에서도 초당 12,701개의 토큰을 처리하여 거의 동일한 성능을 보였으며, 이는 다양한 워크로드에서 아키텍처의 탁월한 효율성을 입증합니다.
이 플랫폼의 실제 애플리케이션 준비성은 새롭게 도입된 대화형 범주에서 더욱 입증되었습니다. 이 범주는 500ms 미만의 첫 번째 토큰(First Token) 요구 사항과 사용자당 초당 33개의 토큰 임계값을 포함하여 훨씬 더 엄격한 지연 시간 제약을 적용합니다. 이러한 엄격한 서비스 품질 요구 조건에서도 Blackwell Ultra는 GPU당 초당 7,856개의 토큰을 처리하며 높은 처리량을 유지했습니다. DeepSeek-R1 추론 벤치마크에서 이 플랫폼은 GPU당 초당 5,842개의 토큰이라는 또 다른 확실한 기준을 확립했습니다.
궁극적으로 이러한 결과는 하드웨어 성능이 현재 소프트웨어 스택의 성능을 능가함을 시사합니다. TensorRT-LLM 및 NVIDIA Dynamo와 같은 프레임워크가 Blackwell Ultra의 아키텍처적 장점(향상된 NVFP4 컴퓨팅 경로 및 GPU당 288GB의 대용량 HBM3e 용량 등)을 최대한 활용하도록 발전함에 따라, 아직 상당한 성능 여유가 남아 있습니다.
혁신 속도 가속화: Vera Rubin 플랫폼
엔비디아는 AI 컴퓨팅 수요의 기하급수적인 증가에 대한 전략적 대응으로 매년 아키텍처 갱신 주기를 도입했습니다. 이러한 공격적인 일정에 따라, 엔비디아는 베라 루빈 세대가 이미 테이프아웃되어 2026년 하반기에 기업에 배포될 예정이라고 밝혔습니다.
Vera Rubin 아키텍처는 새로운 Vera CPU와 Rubin GPU 통합을 중심으로 포괄적인 플랫폼 개선을 선보입니다. Vera CPU는 지난 88세대 NVIDIA 시스템인 Grace에서 크게 발전한 제품입니다. Vera CPU는 176개의 스레드를 지원하는 2개의 ARM 코어를 탑재하고 있습니다. 또한 이 프로세서는 칩 간(C1,800C) 링크 대역폭을 XNUMXGB/s로 두 배로 늘려 CPU, GPU, 그리고 공유 메모리 리소스 간의 더욱 빠른 연결을 지원합니다.
3,600세대 NVLink는 상호 연결 계층에서 5GB/s의 양방향 대역폭을 제공하여 현재 XNUMX세대 NVLink 스위치의 대역폭을 두 배로 늘립니다. 모델이 개별 장치의 메모리 용량을 초과하여 확장됨에 따라, 이러한 향상된 연결성은 특히 중요해지고 있으며, 노드 간 통신 지연 시간을 최소화하고 처리량을 극대화하는 정교한 병렬 실행 전략이 요구됩니다.
NVLink의 발전을 보완하는 Spectrum-6 스위치는 공동 패키지 광(CPO) 기술을 통합하여 102TB/s의 스위칭 용량을 달성합니다. 광 부품을 스위치 패키지에 직접 통합함으로써 기존의 전기-광 변환 병목 현상을 제거하고 지연 시간을 줄이는 동시에 전력 효율을 획기적으로 향상시킵니다. 이는 AI 공장이 기가와트급 전력 소비 수준으로 확장됨에 따라 중요한 고려 사항입니다.
VR NVL144 시스템은 현재 Grace Hopper, Grace Blackwell 및 Grace Blackwell Ultra 배포의 기반이 되는 검증된 Oberon 랙 플랫폼을 계속 활용할 것입니다.
건축 명명법의 진화: 패키지에서 다이까지
엔비디아는 패키지 기반에서 다이 기반 개수로 명명 방식을 전환하고 있습니다. 이러한 변화는 논란의 여지가 있지만, 특히 2026년 말 출시될 예정인 루빈 울트라 GPU(Rubin Ultra GPU)의 경우, 레티클 크기의 다이 XNUMX개가 사용될 것으로 예상되어 더욱 명확한 제품명을 제공할 미래 지향적인 조치입니다.
루빈 세대부터 엔비디아는 사용 가능한 연산 리소스를 직접적으로 반영하는 다이 카운트(die count) 명명법을 채택하고 있습니다. NVL144라는 명칭은 144개 패키지의 물리적 구성을 유지하면서도 72개의 GPU 다이를 명시적으로 나타내며, 연산 용량을 더욱 정확하게 측정합니다. 이는 현재 세대인 GB200 및 GB300 NVL72 시스템과 유사하며, 각 패키지에는 GPU 다이 72개가 포함된 144개의 GPU 패키지가 포함되어 총 XNUMX개의 연산 다이를 갖습니다.
컨텍스트 처리 과제 해결
2026년 말 출시 예정인 Rubin CPX는 LLM 추론에서 가장 시급한 과제 중 하나인 토큰 생성의 여러 단계에서 발생하는 연산 패턴 간의 근본적인 불일치에 대한 NVIDIA의 아키텍처적 대응입니다. 이러한 혁신을 이해하기 위해서는 LLM 추론 워크로드의 고유한 특성과 이러한 다양한 연산 요구를 해결하는 데 있어 현재 동종 GPU 아키텍처의 한계를 살펴봐야 합니다.
대규모 언어 모델 추론은 하드웨어 리소스에 대한 요구 사항이 크게 다른 두 가지 근본적으로 다른 계산 단계를 거칩니다. 프리필(prefill) 단계는 초기 입력 프롬프트를 처리하여 후속 생성을 위한 키 및 값 행렬을 계산합니다. 이 단계는 계산 집약적이며 최신 GPU의 방대한 부동 소수점 처리량을 효율적으로 활용합니다.
디코딩 단계는 완전히 다른 계산적 과제를 제시합니다. 디코딩 과정에서 모델은 이전 맥락에 주의를 기울여 한 번에 하나의 토큰씩 자기 회귀적으로 출력 토큰을 생성합니다. 각각의 새로운 토큰은 전체 시퀀스 히스토리를 처리하고 모든 이전 토큰과의 관계를 계산하는 어텐션 메커니즘을 필요로 합니다. 이로 인해 계산 처리량이 아닌 메모리 대역폭이 주요 병목 현상이 되는 고유한 계산 패턴이 생성됩니다. 맥락 유지에 필요한 중간 표현을 저장하는 KV 캐시가 메모리를 주로 소비하게 됩니다.
KV 캐시의 확장 특성은 프로덕션 환경에서 특히 어려운 문제를 야기합니다. 확장된 컨텍스트를 처리하는 Llama 3.1 405B와 같은 모델의 경우, KV 캐시는 시퀀스당 수십 기가바이트를 쉽게 소모할 수 있습니다. 프로덕션 환경에서 높은 처리량을 달성하는 데 필수적인 배치 추론 시나리오에서는 총 KV 캐시 크기가 모델 가중치 자체의 크기를 초과하는 경우가 많습니다. 대규모 NVL72 배포에서 가능한 대규모 배치 크기를 고려할 때, KV 캐시 크기는 수 테라바이트에 달할 수 있습니다. 이러한 데이터는 적절한 지연 시간 내에 접근 가능해야 하지만, 모든 KV 캐시 액세스에 HBM 메모리의 엄청난 대역폭이 필요한 것은 아닙니다. 많은 어텐션 연산은 계층적 메모리 아키텍처에 적합한 액세스 패턴을 보입니다.
Rubin CPX: 컨텍스트 처리를 위한 특수 목적 아키텍처
Rubin CPX는 장문맥 LLM 추론을 위해 특별히 설계된 설계를 통해 이러한 아키텍처 불일치 문제를 해결합니다. 이 아키텍처는 128GB GDDR7 메모리를 중심으로 KV 캐시 연산을 위한 크고 비용 효율적인 메모리 풀을 제공합니다. GDDR7의 대역폭 특성은 HBM4보다 낮지만, 대부분의 어텐션 연산에 충분하며, 특히 지능형 캐싱 전략과 결합될 때 더욱 그렇습니다.
VR NVL144 CPX 랙의 더 광범위한 Vera Rubin 플랫폼과의 통합은 ConnectX-9 NIC 및 스위치 칩을 통한 PCIe 링크를 통해 이루어지며, 이를 통해 기존 GPU에서 컴퓨팅 집약적인 작업이 수행되는 하이브리드 실행 모델을 용이하게 합니다. 메모리 집약적인 컨텍스트 관리는 CPX 프로세서로 이전됩니다.
유연한 배포 아키텍처 및 구성 옵션
Vera Rubin 플랫폼의 모듈식 아키텍처는 구축 유연성을 제공하여 조직이 특정 워크로드 특성에 맞춰 구성을 최적화할 수 있도록 지원합니다. 표준 VR NVL144 랙 구성은 9개의 ConnectX-3.6 NIC를 갖춘 Vera Rubin GPU를 통해 다양한 AI 워크로드에 적합한 균형 잡힌 아키텍처를 제공합니다. 이 구성은 기존 GB4 NVL3.3 시스템보다 300배 향상된 72 ExaFLOPS의 NVFP1.4 컴퓨팅 성능과 4PB/s의 HBM2.5 대역폭(현 세대 대비 75배), 4TB의 HBM2 메모리 용량(현 세대 대비 XNUMX배)을 제공합니다.
추론 및 롱 컨텍스트 RL 사후 학습을 최적화하는 조직을 위해 초고밀도 VR NVL144 CPX 컴퓨팅 트레이가 제공됩니다. 각 트레이에는 각각 9개의 GPU 다이를 포함하는 XNUMX개의 VR GPU 패키지가 포함되어 있어 표준 구성의 연산 밀도를 유지하면서도 XNUMX개의 Rubin CPX GPU를 추가할 수 있습니다. XNUMX개의 ConnectX-XNUMX NIC/스위치 칩은 분산 추론에 필수적인 원활한 데이터 흐름을 보장합니다.
아키텍처의 모듈식 특성 덕분에 매우 유연한 구축 전략이 가능합니다. 기업은 초기에는 표준 VR NVL144 랙을 구축한 후, 컨텍스트 처리 요구 사항이 증가함에 따라 전용 Rubin CPX 랙으로 확장할 수 있습니다. 이러한 접근 방식을 통해 모델 성능에 맞춰 인프라를 확장하여 과도한 프로비저닝을 방지할 수 있습니다.
완전한 VR NVL144 CPX 구성은 연산 능력의 새로운 기준을 제시합니다. 이 시스템은 8 ExaFLOPS의 NVFP4 연산을 제공하며, 이는 현세대 GB7.5 NVL300 시스템보다 72배 향상된 성능입니다. 이 엄청난 연산 능력은 1.7PB/s의 총 메모리 대역폭과 결합되어 HBM4와 GDDR7을 모두 활용하여 기존 시스템보다 100배 높은 메모리 처리량을 달성합니다. 총 메모리 용량은 2.5TB에 달하며, 이는 현세대 플랫폼보다 XNUMX배 높은 메모리 리소스를 제공합니다.
NVIDIA는 2026년 말 출시를 목표로 하고 있습니다. 이를 통해 새로운 유형의 AI 애플리케이션이 활성화되고 수백만 개의 토큰으로 구성된 컨텍스트 윈도우가 프로덕션 환경에서 실질적으로 활용될 수 있게 되어, AI 시스템이 전체 코드베이스 또는 긴 문서를 단일 패스로 처리할 수 있게 됩니다. 또한 이러한 혁신을 통해 기업은 더 큰 배치 크기를 지원하여 추론 비용을 절감하고 더욱 유리한 운영 비용(OPEX) 계산을 할 수 있습니다.
기가와트 규모 인프라 청사진
엔비디아는 개별 시스템 혁신 외에도 기가와트급 AI 팩토리를 위한 레퍼런스 아키텍처를 공개했습니다. 제이콥스, 슈나이더 일렉트릭, 지멘스 에너지, 버티브 등 인프라 파트너들과 협력하여 개발된 이 청사진은 발전부터 컴퓨팅 제공까지 전체 인프라 스택을 포괄합니다. 이 레퍼런스 디자인은 차세대 AI 구축에는 컴퓨팅 구성 요소 자체를 훨씬 뛰어넘는 총체적인 최적화가 필요하다는 점을 잘 보여줍니다.
이러한 건축 설계도는 NVIDIA Omniverse 디지털 트윈을 활용하여 실제 구축 전에 종합적인 시설 시뮬레이션을 지원합니다. 기업은 통합 시뮬레이션을 통해 전력 분배, 냉각 시스템 및 컴퓨팅 워크로드를 모델링하여 실제 인프라 구축 전에 병목 현상을 파악하고 해결할 수 있습니다.
맺음말
엔비디아는 기업과 AI 연구소가 직면한 어려움을 직접적으로 해결하는 미래지향적이고 개발자 중심적인 접근 방식을 통해 AI 인프라 분야를 지속적으로 선도하고 있습니다. 루빈 CPX의 컨텍스트 처리에 대한 타깃형 접근 방식을 통해 입증된 것처럼, 범용 가속에서 워크로드별 아키텍처로의 전환은 미래의 AI 시스템이 AI 워크플로우의 모든 단계에 최적화된 이기종 컴퓨팅 리소스로 구성될 것임을 시사합니다. 이러한 아키텍처 진화는 다년간의 AI 인프라 투자를 계획하는 기업이 단순한 연산 처리량뿐만 아니라 하드웨어 성능과 진화하는 모델 아키텍처 간의 연계성도 고려해야 함을 요구합니다.
블랙웰 울트라(Blackwell Ultra)에서 베라 루빈(Vera Rubin)을 거쳐 루빈 CPX(Rubin CPX)에 이르기까지, 압축된 시간 안에 혁신이 가속화된 모습은 참으로 인상적입니다. 이처럼 빠른 속도로 발전하기 위해서는 기업들이 새로운 아키텍처 패러다임이 등장할 때마다 이를 통합할 수 있는 시스템을 설계해야 하며, 이전 세대의 데이터센터 인프라에서 나타났던 록인(lock-in) 현상을 피해야 합니다. 이러한 과제를 해결하기 위해 NVIDIA의 AI 팩토리(AI Factory) 레퍼런스 디자인과 옴니버스(Omniverse) 디지털 트윈은 이러한 중요한 투자의 미래를 보장하는 데 필수적인 청사진과 시뮬레이션 도구를 제공합니다. AI 모델이 수조 개의 매개변수 규모와 수백만 개의 토큰 컨텍스트를 향해 나아가는 궤적을 계속 이어가는 가운데, AI 인프라 서밋(AI Infrastructure Summit)에서 발표된 아키텍처 혁신은 이러한 컴퓨팅의 미래를 위한 필수적인 토대를 제공합니다. 이는 향후 10년 동안 엔터프라이즈 AI 역량을 정의할 프레임워크와 기술을 확립합니다.
참고 기사: 엔비디아 GTC25 뉴스
모든 슬라이드와 이미지는 Nvidia에서 제공됩니다.
아마존