NVIDIA와 Oracle은 NVIDIA Vera Rubin NVL72 시스템을 사용하여 Oracle Cloud Infrastructure(OCI) 슈퍼클러스터를 수 기가와트 규모로 확장할 계획이며, Vera Rubin NVL72와 NVIDIA Vera CPU 모두 현재 OCI에서 정식 출시되었습니다. 양사는 Oracle AI World에서 이 두 제품을 발표했습니다. 이번 확장 계획은 향후 추진될 예정이며, 현재 정식 출시된 제품은 고객이 바로 구매할 수 있는 제품으로, 최첨단 모델 학습 및 서비스와 같은 GPU 집약적인 작업과 모델 호출 사이 시간에 에이전트가 수행하는 CPU 집약적인 작업을 지원하며, CPU와 GPU 용량은 독립적으로 확장 가능합니다.
이 기업들이 제시하는 성공 사례는 OpenAI가 100,000만 개 이상의 NVIDIA Blackwell GPU가 탑재된 OCI 슈퍼클러스터에서 GPT-6 Astra를 학습시키고 서비스한 사례입니다. OpenAI의 컴퓨팅 인프라 엔지니어링 리더인 스리칸트 포타니스(Sreekanth Pothanis)는 "최첨단 모델이 발전함에 따라 그에 발맞춰 나갈 수 있는 인프라가 필요합니다."라고 말하며, "OCI에서 실행되는 NVIDIA Vera Rubin은 모델 학습 속도를 높이고 점점 더 까다로워지는 AI 워크로드를 처리하는 데 필요한 컴퓨팅 성능과 확장성을 제공합니다."라고 덧붙였습니다.
NVL72 랙 및 슈퍼클러스터 네트워킹
베라 루빈(Vera Rubin)의 각 NVL72 랙은 NVLink 스케일업 네트워킹을 통해 72개의 GPU를 연결합니다. OCI 슈퍼클러스터는 이러한 랙을 오라클 액셀러론(Acceleron) 네트워킹, NVIDIA 스펙트럼-X 이더넷( Spectrum-6 스위치 및 BlueField-4 DPU 포함), 그리고 기가와트급 전력 및 냉각 시스템과 결합합니다. 오라클은 이러한 다중 평면 네트워크가 수십만 개의 GPU에 걸쳐 확장 가능하다고 밝혔습니다. 베라 루빈 구축은 OCI에 이미 설치된 GB200 및 GB300 NVL72 시스템을 확장하는 것으로, 양사는 공통된 CUDA 기반 덕분에 모델과 워크로드가 세대를 넘어 지속적으로 사용될 수 있다고 강조합니다.
HGX Rubin NVL8, x86 서버에 8개의 GPU 제공
OCI는 또한 NVLink로 연결된 8개의 Rubin GPU를 탑재한 x86 서버인 NVIDIA HGX Rubin NVL8을 추가할 계획입니다 . 계획된 구성은 64코어 Intel Xeon 6 CPU 2개, 4TB의 DDR5 메모리, 6.4Tbps의 RDMA 네트워킹을 포함하며, 오라클은 고객이 x86 애플리케이션 호환성을 유지하면서 더 작은 크기의 Rubin GPU를 활용하고자 할 때 학습, 미세 조정 및 추론에 적합하다고 설명합니다. 양사 모두 출시일은 밝히지 않았습니다.
Vera CPU 지원 에이전트 도구 실행
Vera CPU는 모델 호출 사이에 에이전트가 수행하는 작업, 즉 도구 호출, 코드 실행 및 데이터 검색을 대상으로 합니다. 이러한 단계는 CPU에서 실행되며, 속도가 느릴 때는 GPU가 대기합니다. NVIDIA와 Oracle은 Vera의 단일 스레드 성능이 개별 도구 호출 및 코드 실행 속도를 향상시키고, 메모리 대역폭이 에이전트가 동시 작업을 실행할 때 코어에 지속적으로 리소스를 공급하여 GPU 유휴 시간을 줄인다고 주장합니다. 그러나 두 회사 모두 이러한 주장을 뒷받침하는 성능 수치나 테스트 조건을 공개하지 않았습니다.
OCI Kubernetes Engine을 통해 고객은 CPU 및 GPU 풀을 독립적으로 확장할 수 있으며, Oracle Acceleron은 신뢰할 수 없는 AI 생성 코드를 실행하는 워크로드에 하드웨어 기반 격리 기능을 제공합니다. OpenAI는 초기 액세스 고객 중 하나입니다. OpenAI의 컴퓨팅 부문 최고 기술 책임자인 Uday Ruddarraju는 "OCI의 NVIDIA Vera CPU는 빠르게 성장하는 에이전트 샌드박스 워크로드 전반에서 코드를 실행하고 도구를 실행하는 데 필요한 세계적 수준의 부하 성능을 제공합니다."라고 말했습니다. "이러한 워크로드를 대규모로 지원하기 위해 OCI에서 Vera를 프로덕션 환경에 도입하고 있습니다." 배포 규모는 공개되지 않았습니다.
엔비디아의 하이퍼스케일 및 고성능 컴퓨팅 부문 부사장인 이안 벅은 "AI 팩토리는 생산적이고, 내구성이 뛰어나며, 대체 가능해야 한다"고 말하며, 소프트웨어 발전에도 불구하고 유용성을 유지하고 수요 변화에 따라 다양한 모델과 워크로드를 지원하는 인프라를 구축하는 것이 목표라고 설명했습니다. 오라클 클라우드 인프라스트럭처 사장인 마헤시 티아가라잔은 베라 루빈 GPU와 베라 CPU를 액셀러론 네트워킹과 결합하는 방식을 통해 고객 요구사항이 증가함에 따라 GPU의 생산성과 보안을 유지할 수 있다고 강조했습니다.
아마존