StorageReview.com

Supermicroは、GPUペアの推論ラック向けに10,000台のSambaNova SN50 RDUを計画しており、GPUはプリフィルに、RDUはデコードに使用される。

AI  ◇  Enterprise

SambaNovaとSupermicroは、NVIDIA GPUとSambaNovaのSN50再構成可能データフローユニット(RDU)を組み合わせた、分離型推論システムを構築・販売する予定で、Supermicroは当初10,000万個のSN50チップを予定している。これらのラックはSupermicroのデータセンタービルディングブロックソリューション(DCBBS)カタログに追加され、Supermicroが統合、テスト、納品、サポートを行う。両社とも、10,000万個のチップは段階的な展開のための計画値であり、購入契約、価格、出荷日についてはまだ明らかにしていない。

SambaNovaとSupermicroのロゴが点線の地球儀の上に表示されている。これはSambaNovaがSN50推論ラックのコラボレーションを発表した際の画像である。

NVIDIA GPU はプリフィルを実行し、SN50 RDU はデコードを実行します。

この分割は、LLM推論の2つのフェーズに基づいています。Prefillはプロンプトを処理し、計算処理にバウンドするため、SambaNovaはこれをNVIDIA GPUに割り当てます。decodeは応答をトークンごとに生成し、メモリ処理にバウンドするため、SN50に割り当てます。SambaNovaがこの組み合わせを採用した理由は、エージェントワークロードは時間のほとんどをdecodeに費やしているためです。エージェントは数千回のモデル呼び出しを行い、各応答によって次のアクションが制御されるため、decodeステージを高速化することでループ全体を短縮できるからです。

SN50はSambaNovaの第5世代RDUで、同社によれば、ラックの電力密度を極端に高くすることなく、最大規模のモデルを高スループットで処理できるため、事業者は既存の施設に推論能力を追加し、既に所有しているGPUをプリフィル用途に維持できるとのことです。SambaNovaは、SambaRack SN50について、アクセラレータあたりの演算能力が前世代の5倍、ネットワーク帯域幅が4倍であると主張しており、空冷式で最大256個のアクセラレータまで拡張可能です。

SambaRack SN50はラックあたり16個のRDUを搭載するため、Supermicroがこの密度を維持すれば、当初の10,000チップ計画は約625ラックに相当します。SambaNovaは、GPUとRDUを組み合わせたシステムのスループット、レイテンシ、消費電力の数値を公表しておらず、Supermicroもサーバー構成、GPUモデル、相互接続、各システムに搭載されるGPUとRDUの数を明示していません。SupermicroのDCBBSカタログには、エージェントサンドボックス向けに位置付けているNVIDIA Vera Rubin NVL72ラックとVera CPUラックが既に掲載されています。

Supermicroがシステム統合とオンサイトサポートを担当

Supermicroは、システム統合、テスト、納品、およびオンサイトサービスを含む顧客サポートを担当し、SambaNovaのエンジニアはSN50にモデルを移植し、ハードウェアに合わせて調整し、Supermicroの導入を支援します。購入者にとっての変更点は販売チャネルにあります。SN50 RDUは、ラック内の他の機器と同様にSupermicroからGPUと同時に注文でき、システム全体の責任は1つのベンダーが負います。

「エージェント型AIは推論の次世代であり、あらゆる場所で動作する必要があります」と、SambaNovaの共同創業者兼CEOであるロドリゴ・リャン氏は述べています。「Supermicroは世界中のデータセンター向けにAIインフラストラクチャを構築しています。お客様は、信頼できる世界有数のパートナーから、GPUと併せてSN50 RDUを注文できるようになりました。これこそが、高速かつ効率的な推論を大規模に展開する方法です。」

「SambaNovaとの協業により、GPUコンピューティングと特殊な推論アクセラレーションを統合した異種アーキテクチャを実現することで、当社の幅広いDCBBSポートフォリオがさらに拡大し、お客様が効率的で拡張性の高いAIソリューションを展開できるようになります」と、Supermicroの社長兼CEOであるチャールズ・リャンは述べています。

ネオクラウドとソブリンクラウドが最初のターゲットです

両社はまずNeoCloudsとソブリンクラウドから始め、その後オンプレミスでAIを実行する企業へと拡大していく予定だ。SambaNovaは、この提携により、単独で実現できるよりもはるかに多くの高性能推論能力を2027年に提供できると見込んでいるが、顧客名や1万個のチップのスケジュールは明らかにしていない。今回の契約は、SambaNovaが7月1日に110億ドルの評価額で10億ドルの資金調達を完了したことに続くもので、その資金調達ではJPMorganChaseがオンプレミス推論用にSN40とSN50システムを導入し、Intelと異種推論で協力している。

サンバノバ サンバラック SN50

Supermicroのデータセンター構築ブロックソリューション

StorageReview と連携する

ニュースレター| YouTube | ポッドキャスト(iTunes / Spotify) | Instagram | Twitter | TikTok | RSSフィード

ハロルド・フリッツ

IBM が Selectric を設立して以来、私はテクノロジー業界に携わってきました。しかし、私のバックグラウンドは執筆です。そこで私はプリセールスの仕事から抜け出し、自分のルーツに戻り、少し執筆活動をしながらもテクノロジーに携わることにしました。