ScaleFluxは、 NVIDIA CMXをはじめとする、GPU HBMやホストDRAMに加えてSSDを共有KVキャッシュ層として使用する推論アーキテクチャ向けに設計された、AI最適化SSDプラットフォームを発表しました。このプラットフォームは、高耐久性SSDハードウェア、フレキシブルデータ配置（FDP）サポート、ワークロードテレメトリを組み合わせることで、データ配置の改善、書き込み増幅の低減、高頻度な推論環境における実効耐久性の向上を実現します。
このプラットフォームは、オフロードKVキャッシュによって、実際のワークロード動作の特性把握、ライフサイクルごとのデータ分離、書き込みを吸収するための過剰なフラッシュ容量を使用せずに大量の書き込みアクティビティを維持するという、3つのストレージ課題に対処します。
ロングコンテキスト推論、共有プレフィックスの再利用、エージェント型アプリケーションフロー、および保持されるアイドルセッションにより、GPUメモリ外に保存される再利用可能なランタイム状態の量が増加します。従来のエンタープライズワークロードとは異なり、KVキャッシュブロックは頻繁に書き込まれ、さまざまな期間保持され、非アクティブ状態後に再アクティブ化され、セッション、ワーカー、およびテナント間で非同期的に無効化される場合があります。これらのパターンは、互換性のないライフサイクルを持つデータが同じフラッシュブロックを共有する場合に、ガベージコレクションのアクティビティと書き込み増幅を増加させます。
ScaleFluxの高耐久性アーキテクチャは、KVキャッシュワークロードにおいて、5年間で1日あたり7回から10回以上の実効ドライブ書き込みを実現するように設計されています。ただし、実効耐久性はワークロード特性、FDP利用率、およびデバイス構成によって異なると同社は述べています。実効耐久性の向上により、書き込みトラフィックを吸収するためだけに事業者が導入しなければならないフラッシュ容量が削減され、アクティブなKVキャッシュやその他のAIランタイム状態を保持するための設置容量が増えます。ScaleFluxはこのオーバーヘッドを「耐久性税」と呼んでおり、このオーバーヘッドの削減こそがプラットフォームの経済的な強みとなっています。
SSDプラットフォームは、ドライブあたり200を超えるFDP書き込みストリームをサポートしています。これにより、推論ソフトウェアは、データをフラッシュメディアに配置する前に、ライフサイクル、セッション、テナント、共有プレフィックス分類、所有権、または再利用動作に基づいてデータをグループ化できます。目的は、無効化パターンが類似するデータをまとめて書き込むことで、ガベージコレクション中の内部データ移動を削減し、データクラス間の干渉を制限することです。
予備的な制御テストにおいて、ScaleFluxは、ライフサイクルを考慮したFDP配置を用いることで、ベースライン配置構成と比較して書き込み増幅率が2倍以上低減されることを測定した。同社は、実際の結果はワークロード特性、ライフサイクル分類、ソフトウェア統合、およびデバイス構成によって異なると述べている。
「AI推論インフラストラクチャには、単なる容量増加以上の機能を提供するSSDが必要です」と、ScaleFluxのCEO兼共同創設者であるHao Zhong氏は述べています。「インフラストラクチャチームは、KVワークロードがドライブにどのような影響を与えるかを理解し、ライフサイクルに応じてデータを分離し、書き込みを希釈するためだけに過剰な容量を導入することなく、高い書き込みレートを維持する必要があります。ScaleFluxは、ワークロードインテリジェンス、スケーラブルなFDP配置、そして7～10以上の実効DWPDを、AIに最適化された単一のSSDプラットフォームに統合しています。」
ソフトウェアおよびテレメトリ層において、ScaleFlux Context-Insight SSDは、KVキャッシュポリシーがSSDの動作にどのように影響するかを示します。このプラットフォームは、レイテンシ、キュー深度、スループット、リクエストサイズ分布、データ経過時間、書き込みから初回読み取りまでの間隔、読み取り再利用、NAND書き込み量、ガベージコレクションの移動、および書き込み増幅を捕捉します。
Context-Insightは、上位ソフトウェアレイヤーを変更することなく、初期ワークロード分析のためにSSD専用モードで動作できます。より深い統合により、SSDテレメトリをセッションID、ワーカーまたはテナント識別子、共有プレフィックスID、KVブロックの所有権、ライフサイクル状態、キーとブロックのマッピングなどのアプリケーションメタデータと関連付けます。これにより、オペレーターはSSDを不透明な共有リソースとして扱うのではなく、レイテンシ、耐久性消費、書き込み増幅を特定のワークロードクラスに関連付けることができます。
ScaleFluxは、NVIDIAが最近発表したCMXコンテキストメモリストレージプラットフォームを補完するプラットフォームとして位置付けています。CMXは、高速なKVキャッシュへのアクセスと再利用を可能にする、共有型のポッドレベルのコンテキスト層を提供します。この提案は、AIファクトリーのオペレーターを対象としています。CMXがコンテキスト層を担い、ScaleFluxは基盤となるSSD特有の耐久性、データ配置、書き込み増幅といった課題に対応します。
「AI推論システムがGPUメモリやDRAMを超えてKVキャッシュを拡張するにつれ、SSD層の動作と要件を理解することがますます重要になってきています」と、NVIDIAのストレージ技術担当副社長であるジェイソン・ハーディ氏は述べています。「ScaleFluxとの連携により、KVキャッシュのオフロードがレイテンシー、耐久性、書き込み増幅といったストレージ要件にどのような影響を与えるかを明らかにすることができ、NVIDIA CMXを中心としたより広範なストレージエコシステムに貢献しています。」
同社は、GPU HBM、ホストメモリ、SSDの各階層におけるKVキャッシュの移動をモデル化するトレース駆動型シミュレータを開発している。このシミュレータは、再現可能なSSDトレースを生成し、制御された条件下で配置、削除、ライフサイクルグループ化のポリシーを評価する。
ScaleFluxは、FMSでプラットフォームを展示する予定で、Context-Insightワークロード分析、KVメタデータ相関、ライフサイクルを考慮したFDP配置、書き込み増幅の削減、書き込み負荷の高いKVキャッシュワークロード向けの高耐久性動作などを網羅する予定です。同社はFMSで大規模な展示を行う予定で、ScaleFluxは7月に、AIデータパイプラインのスケーリングのためのメモリソリューションに関するNVIDIAとの共同基調講演を含む7つのプレゼンテーションを専門家が担当すると発表しました。
このプラットフォームの発表は、シリコン関連のニュースが目白押しだった時期の締めくくりとなる。その2日前には、ScaleFlux社が同じ展示会で発表する2つのPCIe Gen6製品、FC6116 NVMe SSDコントローラとMC600 CXL 3.2 Type 3メモリコントローラを発表した。ScaleFlux社は、FC6116の性能を、最大28 GB/sのシーケンシャル読み出しと25 GB/sのシーケンシャル書き込み、最大700万の4Kランダム読み出しIOPS、100万を超える持続的な4Kランダム書き込みIOPS、9W以下のアクティブコントローラ電力、E1.S/L、E3.S/L、U.2/3で最大256TBのTLC、QLC、SLC NANDをサポートしていると評価している。 MC600は、Gen6 x8構成で標準9W以下の消費電力で動作し、クアッドチャネルDDR5またはデュアルチャネルDDR4に対応、最大2TBのDDR5メモリを搭載可能。ScaleFluxはこのデュアルジェネレーション機能を、既存のDDR4メモリをCXL環境に導入するための手段として位置付けている。両製品とも、2026年第4四半期に主要顧客へのサンプル出荷を開始する予定だ。
Amazon