SambaNovaとSupermicroは、NVIDIA GPUとSambaNovaのSN50再構成可能データフローユニット(RDU)を組み合わせた、分離型推論システムを構築・販売する予定で、Supermicroは当初10,000万個のSN50チップを予定している。これらのラックはSupermicroのデータセンタービルディングブロックソリューション(DCBBS)カタログに追加され、Supermicroが統合、テスト、納品、サポートを行う。両社とも、10,000万個のチップは段階的な展開のための計画値であり、購入契約、価格、出荷日についてはまだ明らかにしていない。
NVIDIA GPU はプリフィルを実行し、SN50 RDU はデコードを実行します。
この分割は、LLM推論の2つのフェーズに基づいています。Prefillはプロンプトを処理し、計算処理にバウンドするため、SambaNovaはこれをNVIDIA GPUに割り当てます。decodeは応答をトークンごとに生成し、メモリ処理にバウンドするため、SN50に割り当てます。SambaNovaがこの組み合わせを採用した理由は、エージェントワークロードは時間のほとんどをdecodeに費やしているためです。エージェントは数千回のモデル呼び出しを行い、各応答によって次のアクションが制御されるため、decodeステージを高速化することでループ全体を短縮できるからです。
SN50はSambaNovaの第5世代RDUで、同社によれば、ラックの電力密度を極端に高くすることなく、最大規模のモデルを高スループットで処理できるため、事業者は既存の施設に推論能力を追加し、既に所有しているGPUをプリフィル用途に維持できるとのことです。SambaNovaは、SambaRack SN50について、アクセラレータあたりの演算能力が前世代の5倍、ネットワーク帯域幅が4倍であると主張しており、空冷式で最大256個のアクセラレータまで拡張可能です。
SambaRack SN50はラックあたり16個のRDUを搭載するため、Supermicroがこの密度を維持すれば、当初の10,000チップ計画は約625ラックに相当します。SambaNovaは、GPUとRDUを組み合わせたシステムのスループット、レイテンシ、消費電力の数値を公表しておらず、Supermicroもサーバー構成、GPUモデル、相互接続、各システムに搭載されるGPUとRDUの数を明示していません。SupermicroのDCBBSカタログには、エージェントサンドボックス向けに位置付けているNVIDIA Vera Rubin NVL72ラックとVera CPUラックが既に掲載されています。
Supermicroがシステム統合とオンサイトサポートを担当
Supermicroは、システム統合、テスト、納品、およびオンサイトサービスを含む顧客サポートを担当し、SambaNovaのエンジニアはSN50にモデルを移植し、ハードウェアに合わせて調整し、Supermicroの導入を支援します。購入者にとっての変更点は販売チャネルにあります。SN50 RDUは、ラック内の他の機器と同様にSupermicroからGPUと同時に注文でき、システム全体の責任は1つのベンダーが負います。
「エージェント型AIは推論の次世代であり、あらゆる場所で動作する必要があります」と、SambaNovaの共同創業者兼CEOであるロドリゴ・リャン氏は述べています。「Supermicroは世界中のデータセンター向けにAIインフラストラクチャを構築しています。お客様は、信頼できる世界有数のパートナーから、GPUと併せてSN50 RDUを注文できるようになりました。これこそが、高速かつ効率的な推論を大規模に展開する方法です。」
「SambaNovaとの協業により、GPUコンピューティングと特殊な推論アクセラレーションを統合した異種アーキテクチャを実現することで、当社の幅広いDCBBSポートフォリオがさらに拡大し、お客様が効率的で拡張性の高いAIソリューションを展開できるようになります」と、Supermicroの社長兼CEOであるチャールズ・リャンは述べています。
ネオクラウドとソブリンクラウドが最初のターゲットです
両社はまずNeoCloudsとソブリンクラウドから始め、その後オンプレミスでAIを実行する企業へと拡大していく予定だ。SambaNovaは、この提携により、単独で実現できるよりもはるかに多くの高性能推論能力を2027年に提供できると見込んでいるが、顧客名や1万個のチップのスケジュールは明らかにしていない。今回の契約は、SambaNovaが7月1日に110億ドルの評価額で10億ドルの資金調達を完了したことに続くもので、その資金調達ではJPMorganChaseがオンプレミス推論用にSN40とSN50システムを導入し、Intelと異種推論で協力している。




Amazon