NVIDIA、Rebellions、SK Telecomは、Rebellionsの次世代ニューラルプロセッシングユニットR200を基盤とし、NVIDIA NVLink Fusionでラック内部に接続され、NVIDIA MGXラックアーキテクチャ上に構築された、韓国における独自のAI推論インフラストラクチャを構築する計画を発表した。SK Telecomは、自社のAIデータセンターに、自社のモデルやサービスとともにこのシステムを導入する予定だ。3社は、R200システムが2028年に導入可能になると見込んでいる。
NVLink FusionによりR200 NPUが接続されます
Rebellionsは、数兆パラメータのエキスパート混合モデルを含む最先端モデルでの低遅延かつエネルギー効率の高い推論のためにR200を設計しています。NVLink Fusionは、カスタムシリコンをNVIDIAのスケールアップファブリックに組み込むためのNVIDIAのプログラムです。チップメーカーはNVLinkをプロセッサに統合することで、NVIDIAのNVLinkスイッチング、高帯域幅・低遅延のネットワーク、および周辺インフラストラクチャエコシステムにアクセスできるようになります。Rebellionsは、NVLinkスケールアップネットワークを介してラック内のR200 NPUを接続し、ラックスケールシステムの一部としてこれらのプロセッサをNVIDIAプラットフォームに接続するためにこれを使用する予定です。
両社はR200の仕様、NPUあたりのNVLink帯域幅、計画されている構成における性能結果などを一切公表していない。Rebellionsは現在のシリコンとしてRebel100を挙げているが、R200の発表ではメモリ、プロセスノード、消費電力については何も触れられていないため、両世代間のステップアップは不明である。
MGXラックアーキテクチャはシステム開発をサポートします
NVIDIAのMGXラックアーキテクチャとリファレンスデザインは、Rebellionsにとってシステム開発の出発点となるだけでなく、既にMGXハードウェアを製造しているオリジナルデザインメーカーやコンポーネントサプライヤーへのアクセスも可能にする。MGXは、設置面積、電力供給、冷却など、ラックの共有部分を定義するため、GPUシステムとNPUシステムを同じデータセンター設計に組み込むことができる。SK Telecomは、標準化されたMGXラック上にR200システムをAIデータセンターに導入する予定で、これによりプロセッサが最終決定される前に電力と冷却の計画を立てることができる。
プリフィルにはGPU、デコードにはNPUを使用
最も興味深い技術的な詳細は、3社が開発を計画している推論処理の分割方法である。推論処理は、ハードウェア要件が異なる2つのフェーズに分かれている。1つはプロンプトを処理するプリフィル(通常は計算能力がボトルネックとなる)、もう1つはトークンを1つずつ生成するデコード(通常はメモリ帯域幅とレイテンシがボトルネックとなる)である。提案されている構成では、プリフィルはNVIDIA GPUで、デコードはRebellion NPUで実行され、両者はNVLinkファブリックを介して接続される。
目標は、推論スループットの向上と電力効率の改善です。デコード処理をNPUに任せるメリットは、システムが実際に稼働するまでは設計意図のままですが、理論上は理にかなっています。プリフィルとデコードを分離することは、NVIDIAのDynamoサービングフレームワークを含め、GPUプール全体で既に一般的な手法となっています。NVLinkを介して異なるプロセッサアーキテクチャ間で2つのフェーズを分割することが、新しい部分です。
Rebellionsの共同創業者兼CEOであるパク・ソンヒョン氏は、今回の提携は同社のAIシリコンとシステム設計をNVIDIAの相互接続およびラック規模の機能、そしてSKテレコムのモデルとデータセンター運用と組み合わせることで、大規模な最先端モデルにおいて低遅延かつエネルギー効率の高い推論を実現することを目的としていると述べた。
SKテレコムがモデルとサービスを接続
SKテレコムは、モデルと顧客基盤を提供する。同社は、独自の基盤モデルであるAX K2などをインフラ上で運用するとともに、韓国政府の「AI for All」プロジェクトを通じて開発された一般向けサービスも提供する予定だ。SKテレコムのデータセンター運用、モデル、サービスは、両社が「フルスタックの主権型AI戦略」と呼ぶものを完成させるものであり、この取り組みは、7月に開催された韓国AIサミットで発表されたSKとNVIDIAのより広範なパートナーシップに基づいている。
韓国科学技術情報通信部は、NVIDIAと韓国のNPU企業との連携を支援しており、RebellionsとSK Telecomを皮切りに、物理AIとGPU供給を含むより広範な協力関係を構築していくとしている。その目的は、韓国の言語、産業、そして官民両セクターにおける優先事項に合わせたAIサービスを提供することだ。
利用状況
Rebellions社のR200システムは、2028年に配備準備が整う予定です。サンプル提供スケジュール、早期アクセスプログラム、一般提供開始日、価格については、現時点では発表されていません。




Amazon