NVIDIAとOracleは、NVIDIA Vera Rubin NVL72システムを使用してOracle Cloud Infrastructure（OCI）スーパークラスターをマルチギガワット規模に拡張する計画であり、Vera Rubin NVL72とNVIDIA Vera CPUの両方がOCIで一般提供開始となった。両社はOracle AI Worldでこの2つの製品を発表した。拡張は計画であり、一般提供開始は顧客が現在購入できる部分である。これは、最先端モデルのトレーニングとサービス提供といったGPU負荷の高い作業と、モデル呼び出しの合間にエージェントが行うCPU負荷の高い作業を対象としており、CPUとGPUの容量は独立して拡張できる。
両社が提示する実証例として、OpenAIは、100,000万台以上のNVIDIA Blackwell GPUを搭載したOCIスーパークラスター上で、アビリーンにおいてGPT-6 Astraのトレーニングと運用を実施している。「最先端のモデルが進化するにつれて、それに追いつけるインフラストラクチャが必要になります」と、OpenAIのコンピューティングインフラストラクチャ担当エンジニアリングリーダー、Sreekanth Pothanis氏は述べている。「OCI上のNVIDIA Vera Rubinは、モデルのトレーニングを加速し、ますます要求が高まるAIワークロードに対応するためのコンピューティング性能と拡張性を提供してくれます。」
NVL72ラックとスーパークラスタネットワーク
Vera Rubin NVL72ラックはそれぞれ、NVLinkスケールアップネットワークを介して72個のGPUを接続します。OCIスーパークラスタは、これらのラックとOracle Acceleronネットワーク、NVIDIA Spectrum-X Ethernet（Spectrum-6スイッチとBlueField-4 DPU搭載）、ギガワット級の電力および冷却システムを組み合わせたものです。Oracleによると、マルチプレーナーネットワークは数十万個のGPUにまで拡張可能です。Vera Rubinの構築は、OCI上に既に存在するGB200およびGB300 NVL72システムを拡張するものであり、両社は共通のCUDA基盤がモデルとワークロードを世代を超えて引き継げる理由だと指摘しています。
HGX Rubin NVL8は、x86サーバーに8つのGPUを搭載する。
OCIは、NVLinkで接続された8基のRubin GPUを搭載したx86サーバーであるNVIDIA HGX Rubin NVL8も追加する予定だ。計画されている構成は、64コアのIntel Xeon 6 CPUを2基、DDR5メモリを4TB、RDMAネットワークを6.4Tbps搭載し、Oracleは、顧客がx86アプリケーションとの互換性を損なうことなく、より小型のフットプリントでRubin GPUを必要とするトレーニング、ファインチューニング、推論用途向けに位置付けている。両社とも、提供開始時期は明らかにしていない。
Vera CPU エージェントツールの実行をサポート
Vera CPUは、モデル呼び出しの合間にエージェントが行う処理、すなわちツール呼び出し、コード実行、データ取得を対象としています。これらの処理はCPU上で実行され、処理速度が遅い場合はGPUが待機状態になります。NVIDIAとOracleは、Veraのシングルスレッド性能によって個々のツール呼び出しとコード実行が高速化され、メモリ帯域幅によってエージェントが並行タスクを実行する際にコアへのデータ供給が維持されるため、GPUのアイドル時間が短縮されると述べています。ただし、両社ともこの主張を裏付ける性能数値やテスト条件は公表していません。
OCI Kubernetes Engine を使用すると、顧客は CPU プールと GPU プールを個別に拡張でき、Oracle Acceleron は、信頼できない AI 生成コードを実行するワークロードに対してハードウェアベースの分離を提供します。OpenAI は、早期アクセス顧客の一つです。「OCI 上の NVIDIA Vera CPU は、急速に成長しているエージェント サンドボックス ワークロード全体でコードを実行し、ツールを実行するために必要な世界クラスの負荷パフォーマンスを提供します」と、OpenAI のコンピューティング担当最高技術責任者である Uday Ruddarraju 氏は述べています。「これらのワークロードを大規模にサポートするために、OCI 上で Vera を本番環境に導入しています。」この展開の規模は明らかにされていません。
NVIDIAのハイパースケールおよび高性能コンピューティング担当副社長であるイアン・バック氏は、「AIファクトリーは、生産性、耐久性、そして互換性を備えていなければならない」と述べ、その目標は、ソフトウェアの進歩を通じて有用性を維持し、需要の変化に応じてさまざまなモデルやワークロードに対応できるインフラストラクチャであると説明した。Oracle Cloud Infrastructureの社長であるマヘシュ・ティアガラジャン氏は、Vera Rubin GPUとVera CPUをAcceleronネットワークと組み合わせることで、顧客ニーズの拡大に伴いGPUの生産性とセキュリティを維持できると説明した。
Amazon