IBMは、AIデータ処理をストレージ層に直接統合するコンテンツ認識型ストレージ（CAS）アーキテクチャを発表しました。このアプローチは、ドキュメントのベクトル化をストレージシステムに組み込むことで、検索拡張生成（RAG）ワークフローを対象とし、外部の前処理パイプラインの必要性を低減します。
CASは、大規模言語モデルベースの手法を用いたドキュメント埋め込みという、RAGの中核機能をストレージインフラストラクチャに移行します。これにより、企業はデータをその場で処理およびインデックス化できるようになり、ストレージシステムをAI駆動型ワークロードに整合させ、インフラストラクチャ階層間でのデータ移動を削減できます。IBMは、これをAIアプリケーションのパフォーマンスとデータ局所性を向上させながら、導入を簡素化する方法として位置付けています。
大規模ベクターデータベース
IBMのCAS実装の中核を成すのは、セマンティック検索に最適化されたベクトルデータベースです。ベクトルデータベースは近似最近傍検索をサポートしており、AIシステムはコサイン類似度やL2距離などの類似度指標に基づいて関連データチャンクを取得できます。この機能はRAGの基盤となっており、ユーザーのクエリはベクトルに変換され、インデックス化された企業データと照合されることで、コンテキストを考慮した応答が提供されます。
出典：IBM
IBMリサーチは、サムスンおよびNVIDIAと共同で、単一サーバー上で100億ベクトルまで拡張可能なプロトタイプシステムを実証した。このシステムは、90%を超える再現率と精度を達成し、平均クエリ遅延は700ミリ秒未満だった。この規模は、データセットが数十億のファイルに及び、完全にインデックス化されると数百億ベクトルに達する可能性のある企業環境を対象としている。
RAGパイプライン統合
RAGは、モデルの再学習を必要とせずに出力精度を向上させるため、企業向けAIの有力なアプローチとして注目を集めている。RAGは、ベクトルデータベースから取得した企業固有のデータを用いてプロンプトを拡張することで機能する。
パイプラインはデータ取り込みから始まります。PDFやプレゼンテーションなどのドキュメントは解析され、チャンク化され、埋め込みに変換されます。これらの埋め込みは、効率的な類似性検索のためにデータを整理するベクトルデータベースに保存されます。クエリ実行時には、ユーザー入力が埋め込まれ、保存されたベクトルと照合されます。関連コンテンツはコンテキストとして言語モデルに渡されます。このグラウンディングメカニズムにより、誤検出が軽減され、AI生成出力への信頼性が向上します。
IBMのCASは、このパイプラインをストレージに直接統合することで、データの取り込み、インデックス作成、および検索をデータにより近い場所で一元化します。
規模とコストの課題への対応
エンタープライズストレージシステムは既にペタバイト規模で運用されている。これをCASに拡張すると、各ファイルから数百ものベクトルが生成され、データセットのサイズが急速に増大する。従来のベクトルデータベースは通常、複数のサーバーにスケールアウトするため、コストと運用上の複雑さが増す。また、大規模なデータセットのインデックス作成と再インデックス作成にも時間がかかる。
IBMのアプローチは、ベクター密度の向上とインデックス作成オーバーヘッドの削減に重点を置き、インフラストラクチャの拡大を抑制することを目的としています。このアーキテクチャは、ベクターストレージとインデックスストレージをクエリ処理から分離することで、ストレージと処理リソースを個別にスケーリングできるようにします。これは、IBM Storage Scaleとその高性能並列ファイルシステムによって実現されています。
ストレージとハードウェアアーキテクチャ
CASの実装では、AIおよびハイパフォーマンスワークロード向けに設計されたオールフラッシュプラットフォームであるIBM Storage Scale System 6000（ESS 6000）を活用しています。このシステムは、4Uエンクロージャあたり最大48台のNVMeドライブをサポートし、ドライブ1台あたりの容量は7TBから60TBまでです。PCIe Gen5、400Gb InfiniBand、または200Gb Ethernet接続を統合し、ノードあたり最大340GB/秒の読み取りスループットと175GB/秒の書き込みスループット、最大700万IOPSを実現します。
このプラットフォームは、ストレージとGPU間の直接的なデータパスを可能にするNVIDIA GPUDirect Storageに加え、ネットワークおよびデータ処理のオフロードを実現するBlueField-3 DPUもサポートしています。
Samsung PM9D3a PCIe Gen5 NVMe SSDは、高スループットかつ高密度なストレージを提供します。第8世代TLC V-NANDをベースとしたこれらのドライブは、デバイスあたり最大30.72TBの容量を実現し、シーケンシャル読み出し速度は最大12GB/秒、書き込み速度は最大6.8GB/秒です。市販のエンタープライズ向けSSDを使用することで、標準コンポーネントを用いてアーキテクチャを拡張できます。
階層型インデックス作成とGPUアクセラレーション
大規模なインデックス作成に対応するため、IBMは複数のサブインデックスから構成される階層型インデックスモデルを開発しました。これらのサブインデックスは個別に最適化できます。この構造により、データセット全体に影響を与えることなく、増分更新や局所的な再インデックス作成が可能になり、可用性と運用効率の両方が向上します。
GPUアクセラレーションは、CPUのみのアプローチと比較してインデックス作成時間を大幅に短縮します。CPUでは数時間かかるタスクも、NVIDIA GPUを使用すれば数分で完了します。テストでは、6基のNVIDIA H200 GPUを使用して100億個のベクトルのインデックスを作成するのに4日間かかりましたが、デュアルソケットCPUシステムでは推定120日かかりました。
ベクトルとインデックスを含むデータセット全体で、約153 TiBのストレージ容量を消費しました。初期データのロードとパーティショニングには9日間を要しました。その結果、総当たり法による正解データとの検証において、平均クエリレイテンシ694ms、再現率90%という優れた性能を実現しました。
ロードマップ
IBMとNVIDIAは、インデックス作成とクエリのレイテンシ削減に重点を置き、プラットフォームの最適化を継続しています。現在の目標は、1日で1,000億個以上のベクトルをインデックス化すること、データ取り込み時間を9日から1日に短縮すること、そして90%の再現率を維持しながらクエリのレイテンシを50～100ミリ秒の範囲にまで低減することです。
ベクターインデックスを標準ファイルシステムに統合することで、導入の簡素化と企業におけるAI導入の障壁低減を目指します。IBMはRAG機能をストレージに直接組み込むことで、CASをAI対応インフラストラクチャの基盤レイヤーとして位置づけています。
Amazon