VAST Data は、NVIDIA 推論コンテキスト メモリ ストレージ プラットフォームをサポートする新しい推論アーキテクチャを発表しました。このシステムは、継続的なマルチターンのエージェント駆動型セッションを伴う AI アプリケーションに重点を置いています。VAST はこのプラットフォームを AI 向けに設計されたストレージ クラスとして提供し、キーバリュー (KV) キャッシュへのアクセスを強化し、ノード間で推論コンテキストを高速に共有し、電力効率を向上させます。この設計では、NVIDIA BlueField-4 DPU と Spectrum-X Ethernet ネットワークが活用され、VAST AI オペレーティング システム (AI OS) は、この共有インフラストラクチャ リソースを効果的に管理するために必要なソフトウェアを提供します。
KVキャッシュの重要性についてさらに詳しく知りたい場合は、Pliopsと共同で実施したこちらの詳細な分析記事をご覧ください。
この発表は、現実世界のアプリケーションにおける推論パフォーマンスを制限する要因の変化を示唆しています。推論が単純なプロンプトから複数のエージェントやユーザーにわたる継続的な推論へと移行するにつれ、コンテキストが単一のGPUサーバー内に留まるという考え方は時代遅れになりつつあります。このような状況では、全体的なパフォーマンスは、進行中の操作中に推論履歴がどれだけ適切に保存、復元、再利用、拡張、共有されるかにますます依存するようになります。KVキャッシュは内部最適化から主要なデータパスへと進化し、最初のトークン生成までの時間（TTFT）、GPU使用率、そしてクラスター効率に影響を与えます。
DPU を中心とした推論データパスの再構築
VASTの戦略は、VAST AI OSソフトウェアをNVIDIA BlueField-4 DPU上で直接実行することです。ストレージサービスとコンテキストサービスを、一般的なクライアントサーバーモデルを介してアクセスされる外部コンポーネントとして扱うのではなく、このアーキテクチャはこれらのデータサービスを推論が行われるGPUサーバーに直接統合し、専用のデータノード構成もサポートします。このアプローチは、ボトルネックを最小限に抑え、同時実行性の向上に伴うパフォーマンス低下の原因となる不要なコピーや遅延を排除することを目指しています。
このDPUネイティブ設計は、大規模推論システムの実用的なニーズに明確に対応しています。数百または数千のセッションが同時に実行される場合、KVキャッシュの管理は継続的な入出力（I/O）作業になります。システムは、セッションを継続するためにコンテキストを迅速に読み取り、それを長期使用のために保存し、インフラストラクチャが低速な経路に操作を集中させたり、広範な調整を必要としたりする際に重複処理を防ぐためにワーカー間でコンテキストを共有する必要があります。TTFTが増加し、GPUは処理ではなく待機状態になります。VASTは、データプレーンをBlueField-4経由でサーバーに移動することで、コンテキストトラフィックの効率化、スループットの向上、レイテンシの信頼性の向上がGPU処理ループに近づくと主張しています。
VASTは、RDMAファブリックを用いたGPUメモリから永続NVMeストレージへの効率的な経路にも重点を置いています。これにより、GPUサーバーとストレージ間でコンテキストをスムーズに転送できるようになり、従来のシステムで一般的に発生していた反復的なデータ処理を削減できます。その目的は、CPUの関与とクライアント側のオーバーヘッドを最小限に抑えながら、高性能ネットワークにおいてコンテキストの移動を「帯域内」に保つことです。
大規模に共有された一貫したコンテキスト
この新しいアーキテクチャは、VASTの並列Disaggregated Shared Everything（DASE）設計と連携して動作します。VASTによると、これにより各ホストは、大規模環境で一般的に発生する調整コストなしに、グローバルに一貫性のある共有コンテキスト名前空間にアクセスできるとのことです。長期にわたるエージェント駆動型推論においては、この詳細が極めて重要になります。コンテキストは規模が大きいだけでなく、共有もますます進んでいます。
エージェントシステムは、ツールの同時使用、複数エージェント間のハンドオフ、そしてインタラクション中のメモリのような動作を必要とすることがよくあります。そのため、コンテキストを再作成するのではなく再利用し、単一のノードに縛り付けるのではなく推論ワーカー間で共有する必要があります。スケジューリング、エビクション、または障害回復のためにシステムがコンテキストの局所性を維持できない場合、長いプロンプト履歴を再処理することなく、セッションを迅速に復元して継続する必要があります。このように、KVキャッシュは重要なクラスタリソースへと変貌を遂げ、同期のボトルネックとならずに広くアクセスできるようにするという課題へと移行します。
VASTの視点は、DPUベースのデータサービスとShared-Everythingストレージを組み合わせることで、同時セッション数の増加に応じて効率性を維持する、グローバルにアクセス可能なコンテキストレイヤーを構築するというものです。独立したコンテキストセクションを追加してスケーリングするのではなく、このプラットフォームは、再利用と共有のメリットを維持しながらクラスターを拡張することを可能にします。
新たなパフォーマンスの枠組みとしてのコンテキスト
VASTのエグゼクティブであるジョン・マオ氏は、大規模推論システムにおける競争優位性が、純粋なコンピューティング能力からメモリとコンテキストシステムへと移行しつつあると指摘しました。マオ氏は、最も効果的なクラスターとは、単にピークFLOPSが最も高いクラスターではなく、リアルタイムのコンテキスト共有と管理が可能なクラスターであるとまとめました。また、コンテキストへの即時かつオンデマンドのアクセスが重要なパフォーマンス領域として重要であることを強調し、迅速なコンテキストの取得と再利用がなければGPUはアイドル状態になり、効率が低下すると警告しました。
この見解は、モデルのスケールとセッション長の増加に伴う多くのオペレーターの経験と一致しています。推論フリートはトークン生成を最大化するように構成されることがよくありますが、実際のエクスペリエンスはテールレイテンシとストレス下のTTFTによって左右されます。プロンプトが長くなり、セッションが継続するにつれて、コンテキスト管理に費やされる時間が増加します。コンテキストを迅速に復元または再利用できない場合、GPUサイクルは状態の再確立やデータの移動の待機に無駄に費やされます。VASTのアーキテクチャアプローチは、KVキャッシュを共有インフラストラクチャとして扱うことで、これらの問題を軽減し、クラスター全体の効率を向上させます。
実験から統制された生産推論への移行
VASTは、このプラットフォームを試験的な導入から、規制対象環境を含む本番環境対応の推論サービスへの移行として提示しています。推論が特定のセキュリティとコンプライアンス要件を伴う収益を生み出すサービスになるにつれ、KVキャッシュの管理にはスピードだけでなく、監視も必要になります。
長時間セッションでは、コンテキストには機密性の高いプロンプト、推論手順、ツールの出力、ユーザー提供情報などが含まれる場合があります。企業は、こうしたコンテキストに対するポリシー制御、分離対策、監査証跡、ライフサイクル管理の必要性が高まっています。VASTは、これらのAIネイティブデータサービスがAI OSに組み込まれているため、組織はKVキャッシュを一時的な状態ではなく、管理可能なリソースとして扱うことができると主張しています。
運用の観点から、VASTは大規模推論環境における一般的な課題、すなわちキャッシュの喪失や共有不能時に発生するコンテキスト再構築の急増、そして計算ではなくコンテキストがボトルネックとなることで発生するGPU時間の浪費といった課題に対処することを目指しています。同社は、コンテキストの永続性と再利用性を強化することで再計算を削減し、利用率を向上させることで、コンテキストサイズとセッションの同時実行性の向上に伴うワット当たりスループットとドル当たりスループットの両方の向上が期待できると考えています。
NVIDIA: コンテキスト管理が経済のスケーリングを推進
NVIDIAのネットワーク担当シニアバイスプレジデント、ケビン・デイリング氏は、AIにおけるコンテキストの重要性を、人間の記憶に例えて強調しました。デイリング氏は、コンテキストを効果的に管理することが、マルチターンおよびマルチユーザー推論のスケーリングに不可欠であり、それが大規模なコンテキストメモリの取り扱い方を変えると述べました。デイリング氏は、VAST Data AI OSとNVIDIA BlueField-4の組み合わせが、ワークロードの増加に応じて高スループットで安定したデータパスを提供することで、これをサポートすると指摘しました。このパートナーシップが重要なのは、プライマリストレージアクセスやネットワークだけでなく、DPUとイーサネットファブリックをコア推論コンテキストに統合するためです。重要なのは、コンテキストがGPUの問題であるだけでなく、ネットワークとストレージの両方にとって課題となっていることです。そして、現代の推論設定では、GPUを効率的に動作させるために、集中的なアクセラレーションと信頼性の高いデータ移動が必要になります。
VASTのアーキテクチャが約束されたメリットを実現すれば、真の効果はピークベンチマークスコアではなく、サービスパフォーマンスの一貫性に大きく依存することになります。例えば、多くのセッションがアクティブである際のTTFTの低減、コンテキストの増加に伴うパフォーマンス低下の低減、コンテキスト再構築の削減による利用率の向上、そしてコンテキスト共有がデメリットではなくメリットとなるマルチノード推論へのより容易なパスの実現などです。また、推論インフラストラクチャをより「AIネイティブ」なモデルへと推し進め、KVキャッシュを永続NVMeでサポートされ、厳しいレイテンシ制限を持つノード間で共有されるマネージドメモリ層として扱います。
VASTフォワードカンファレンス
VAST Dataは、2026年2月24日～26日にユタ州ソルトレイクシティで開催される第1回VAST Forwardユーザーカンファレンスで、同社の戦略を発表する予定です。カンファレンスでは、VASTの経営陣、顧客、パートナー企業を招き、詳細な技術セッション、実践的なラボ演習、認定プログラムなどを実施する予定です。
Amazon