VAST Dataは、クラウドプロバイダーや企業がトレーニング、推論、検索拡張型生成、エージェント型AIサービスを展開するためのAIインフラストラクチャに関して、AMDとの協業を拡大しました。この取り組みでは、VAST AIオペレーティングシステムと第6世代AMD EPYCプロセッサ、AMD Instinct GPU、AMDネットワークハードウェア、およびROCmソフトウェアが組み合わされています。
今回の連携は、トレーニングに特化したAIクラスタから、永続的なコンテキスト、高並行推論、および複数ターンにわたるエージェントワークフローもサポートする必要のある環境へと移行する、より広範なインフラストラクチャの転換を反映している。これらの導入事例では、データ移動、KVキャッシュ管理、GPU利用率、および大規模なモデルデータセットとコンテキストデータセットへの低遅延アクセスを実現する能力がより重視される。
VASTは、これらの環境における共有データレイヤーとして、独自の「Disaggregated Shared Everything（DASE）」アーキテクチャを位置付けています。このプラットフォームは、ファイルおよびオブジェクトストレージ、データベース、イベントストリーミング、データサービスを、統一されたグローバルネームスペースの下に統合します。また、顧客ワークロードとアプリケーションワークロードを同時に実行するAIクラウド向けに、マルチテナント機能とワークロード分離機能も提供します。
VAST CBoxおよびEBoxシステム向けEPYC 9006プラットフォーム
VASTは、次世代プラットフォームであるCBoxおよびEBox向けに、旧コードネーム「Venice」として知られる第6世代AMD EPYCプロセッサを選定した。同社は、VAST AIオペレーティングシステムの基盤となる第6世代CBoxシステムと第3世代EBoxシステムに、これらのプロセッサを採用する予定だ。
AMD EPYC 9006のサポートにより、VASTハードウェアプラットフォームにPCIe Gen6接続が導入されました。VASTによると、この新しいインターフェースは世代間のI/O帯域幅を2倍にし、ファイルおよびオブジェクトのストレージスループットを向上させるとともに、VAST DataBaseおよびDataEngineを介して提供されるデータベース、データウェアハウス、イベントストリーミングワークロードなどのデータサービスのレイテンシを低減します。
AIインフラストラクチャにおいては、I/O帯域幅の向上は、コンピューティング、ネットワーク、NVMeストレージリソース間のボトルネックを軽減するのに役立ちます。これは、モデルのロード、取得パイプライン、チェックポイントアクセス、外部化されたKVキャッシュワークフローなど、GPUメモリ容量だけではアクティブなコンテキストを維持するのに不十分な場合に特に重要です。
リファレンスアーキテクチャは、Helios、VAST、およびDriveNetsを組み合わせたものです。
VAST、AMD、およびDriveNetsは、AMD HeliosラックスケールAIインフラストラクチャ、VAST AIオペレーティングシステム、およびDriveNets AIファブリックネットワークを基盤としたAIインフラストラクチャのリファレンスアーキテクチャも開発している。
このリファレンスアーキテクチャは、モデルトレーニング、推論、強化学習、およびKVキャッシュワークロードの導入に関するガイダンスを提供することを目的としています。GPUコンピューティングに加え、共有データインフラストラクチャと高性能ネットワークを必要とするAIファクトリーを構築する組織向けに、サイジングと可用性に関する考慮事項が含まれています。
VASTはまた、推論ソフトウェアプロバイダーであるTensorMeshおよびEmbeddedLLMとの連携拡大についても言及した。このエコシステム構築の取り組みは、エージェント型AIアプリケーション向けのプロダクション推論アーキテクチャに重点を置いているが、具体的な製品統合や提供状況の詳細は明らかにされていない。
KVキャッシュオフロードは高並行推論をターゲットとする
今回の発表の中心的な要素は、AMD Instinct GPU、AMD Infinity Context、ROCmソフトウェア、およびVAST AIオペレーティングシステムを使用したKVキャッシュサポートの拡張です。
KVキャッシュデータには、推論中に生成された中間的なアテンション状態情報が格納されます。このデータを保持することで、複数ターンにわたるインタラクションや長コンテキストのワークロードのパフォーマンスが向上しますが、キャッシュのフットプリントが大きいため、GPUメモリを大量に消費する可能性があります。KVキャッシュを高性能ストレージプラットフォームに外部化または階層化することで、アクティブなワークロードのためにGPUメモリを解放しつつ、後続の推論要求のためのコンテキストを保持できます。
VASTは、AMD Instinct MI355X GPUを用いた初期テストの結果、高並列処理のエージェント型AIワークロードにおいて、VASTをKVキャッシュオフロードに使用した場合、最初のトークン取得までの時間が9倍短縮され、トークンスループットが9.7倍向上したと報告した。同社は、これらの結果はハードウェアのベースライン、ワークロードの特性、およびストレージ構成によって異なると指摘した。
この統合により、VASTライフサイクルポリシーがKVキャッシュデータにも適用されます。この機能は、キャッシュされた情報を自動的に期限切れにして削除することを目的としており、推論コンテキストに機密データ、個人情報、または規制対象データが含まれている場合に有効です。
Pensando Pollara 400はGPUを共有ストレージに接続します
このアーキテクチャでは、AMD Pensando Pollara 400 AI NICを使用して、AMD Instinct GPUとVASTストレージクラスタを接続します。VASTによると、このNICはTCPおよびRDMA経由のNFSによるGPUからストレージへのデータ転送をサポートしており、KVキャッシュやより広範な推論データ要件に対応するために、NVMe SSDベースのVASTクラスタへのアクセスを可能にします。
結果として得られた設計は、GPUメモリとは独立してコンテキスト管理を拡張する必要のあるAI環境をサポートすることを目的としています。VASTは、ストレージを独立した永続化レイヤーとして扱うのではなく、分散インフラストラクチャ全体でモデル、データベース、ストリーミングデータ、ファイルデータ、およびAIコンテキストを管理できるデータおよび実行レイヤーとしてプラットフォームを位置付けています。
AIクラウドプロバイダーにとって、このアプローチは、GPUレンタルやバッチトレーニングから、永続的な推論やエージェント型AIサービスへと展開が進むにつれて、GPU利用率の向上と運用効率の改善を目指すものです。
Amazon