PEAK:AIOは、大規模AIワークロードのニーズに対応するため、KVCacheアクセラレーションとGPUメモリ拡張を統合した革新的なソリューションを発表しました。この新しいプラットフォームは、AIアプリケーションが静的なプロンプトから動的なコンテキストストリームや長時間実行されるエージェントへと移行する中で、推論、エージェントシステム、モデル作成といったニーズに対応します。AIワークロードの複雑化に伴い、インフラストラクチャもそれに合わせて進化する必要があり、PEAK:AIOの最新ソリューションは、こうした課題に正面から取り組むように設計されています。
PEAK:AIOの共同創業者兼チーフAIストラテジストであるエヤル・レンバーガー氏は、トークン履歴を従来のストレージではなくメモリとして扱うことの重要性を強調しています。レンバーガー氏は、最新のAIモデルではインスタンスあたり500GB以上のメモリが必要になる場合があり、メモリの拡張はコンピューティングの進歩に追いつく必要があると指摘しています。さらに、トランスフォーマーモデルが成長し複雑化するにつれて、ストレージスタックの改造やNVMeの過剰な拡張といった従来のアプローチではもはや十分ではないと指摘しています。PEAK:AIOの新しい1Uトークンメモリプラットフォームは、ファイルストレージではなくメモリ中心の運用に特化した設計となっており、従来のアーキテクチャからの大きな転換点となっています。
スケーラブルなAIのためのトークン中心のアーキテクチャ
PEAK:AIO プラットフォームは、CXL メモリ、Gen5 NVMe、GPUDirect RDMA を活用したトークン中心のアーキテクチャを実装した初のプラットフォームであり、150 マイクロ秒未満のレイテンシで最大 5 GB/秒の持続スループットを実現します。
このプラットフォームは、セッション、モデル、ノード間でのKVCacheの再利用をサポートし、メモリ利用効率の向上とコンテキスト切り替えの高速化を実現します。また、より長いLLM履歴の維持と、より複雑なAIインタラクションのサポートに不可欠なコンテキストウィンドウの拡張も可能にします。真のCXL階層化によってGPUメモリをオフロードすることで、大規模AI展開でよくあるボトルネックであるGPUメモリの飽和状態を軽減します。RDMA over NVMe-oFを使用することで超低レイテンシアクセスを実現し、トークンメモリをメモリクラスの速度で確実に利用できるようにします。
従来のNVMeベースのストレージソリューションとは異なり、PEAK:AIOのアーキテクチャは真のメモリインフラストラクチャとして機能するように設計されています。これにより、トークン履歴、アテンションマップ、ストリーミングデータをファイルとして扱うのではなく、RAMの速度と効率でキャッシュできます。このプラットフォームはNVIDIAのKVCache再利用およびメモリ回収モデルに完全に準拠しており、TensorRT-LLMまたはTritonを使用するチームにシームレスな統合を提供します。このプラグイン互換性により推論が高速化され、統合オーバーヘッドが削減され、大幅なパフォーマンス向上が実現します。
レンバーガー氏は、他のベンダーがファイルシステムをメモリのように動作させようとしているのに対し、PEAK:AIOは本質的にメモリとして動作するインフラストラクチャを開発していると強調しています。この違いは、ファイルストレージだけでなく、あらゆるトークンへの高速でメモリクラスのアクセスが優先される現代のAIにとって非常に重要です。
PEAK:AIOの共同創設者兼最高戦略責任者であるマーク・クラージンスキー氏は、CXLテクノロジーの活用を重要な差別化要因として強調しています。同氏は、このプラットフォームを、NVMeデバイスを積み重ねる競合他社とは異なり、真のAI向けメモリファブリックと表現しています。クラージンスキー氏は、このイノベーションが真のメモリ機能を大規模に提供し、次世代のAIワークロードをサポートするために不可欠であると指摘しています。
このソリューションは完全にソフトウェア定義であり、市販のサーバー上で実行されるため、様々なエンタープライズ環境やクラウド環境でアクセスと拡張性を実現します。PEAK:AIOは、このプラットフォームが第3四半期までに実稼働を開始すると予想しており、AIインフラストラクチャの将来性を確保したいと考えている技術営業、エンジニアリングチーム、そして経営幹部にとって、このプラットフォームを変革的なテクノロジーとして位置付けています。
Amazon