パリで開催されたRAISEサミットにおいて、DDNは、大規模AI推論展開の効率向上に重点を置く欧州のソブリンハイブリッドクラウドプロバイダーであるNebulとの継続的な協業について強調した。先週発表されたこの取り組みは、Nebulの推論プラットフォーム、DDNのInfiniaデータインテリジェンスアーキテクチャ、およびNVIDIAのアクセラレーテッドコンピューティングを組み合わせることで、AIの運用における増大する制約、すなわち推論中のデータ移動に伴うコストとパフォーマンスへの影響に対処するものである。
DDNは、GPU利用率、トークンスループット、トークンあたりのコスト、レイテンシといった主要な生産指標を中心に作業を進めます。その前提は、モデルのトレーニングによってAI資産の価値が確立され、推論によってその運用面および商業面での収益が決定されるというものです。エージェント型AI、検索拡張型生成、高並列推論が普及するにつれ、ストレージとデータインフラストラクチャはアクセラレータの利用率と応答時間に直接影響を与える可能性があります。
この取り組みは継続的な概念実証プロジェクトであり、DDNはこれまでの結果を有望な初期データと評価しています。両社は、KVキャッシュを有効にすることで最初のトークン取得までの時間が測定可能なほど改善されたと報告しており、RoCEベースのインフラストラクチャ検証を完了しました。Infiniaプラットフォーム内でさらなる最適化の機会を特定するため、より長い推論シーケンス長でのベンチマークテストを継続しています。また、このプロジェクトはNVIDIAとの協力も含むまでに拡大し、ベンチマーク手法、スケーラビリティ検証、および今後の技術文書作成に取り組んでいます。
このプラットフォームは、分散型KVキャッシュサービス、GPUネイティブのデータ移動、データオーケストレーション、および高性能ストレージアーキテクチャを採用しています。KVキャッシュアクセラレーションは、以前に計算されたアテンション状態を保持して迅速に取得できるため、推論において特に重要です。これにより、繰り返し計算が削減され、GPUがアイドル状態になる原因となるデータ配信の遅延が制限されます。
DDN、Nebul、NVIDIAのリーダーシップは、GPUの調達から運用効率への根本的な業界シフトを示し、導入済みのアクセラレータからの価値の最大化に重点が置かれている。DDNのCEOであるAlex Bouzari氏とNebulのCEOであるArnold Juffer氏は、モデル規模がこれまで優先事項であったが、現在の課題は推論の経済性とトークンコストの削減による実用的AIの商業的実現可能性にあると強調した。NVIDIAのクラウドインフラストラクチャ担当副社長であるRod Evans氏は、組織が大規模なエージェントワークロードに移行するにつれて、インフラストラクチャの成功は、生の計算能力ではなく、GPUの使用率とレイテンシによってますます評価されるようになっていると付け加えた。
DDNは、AIインフラストラクチャは従来のストレージ運用を超え、AI実行に積極的に関与する存在へと進化する必要があると主張している。同社によれば、同社のプラットフォームはハイパースケーラー、クラウド構築企業、一般企業、政府機関、研究機関など、世界中で100万台以上のGPUをサポートしているという。
インフラストラクチャチームにとって、関連するプロダクションメトリクスには、ますます以下のものが含まれるようになっている。
- GPU 使用率高価なアクセラレータが推論中にどれだけ効果的にアクティブ状態を維持できるかを測定する。
- トークンあたりのコストインフラ効率とモデル出力のコストを結びつける。
- 1ワットあたりのトークン数出力効率を消費電力に対して測定する。
- 最初のトークンまでの時間これは、インタラクティブなAIアプリケーションの応答性に対する認識に影響を与える。
- 本番稼働までの時間は、AIサービスをテスト段階から本番稼働に移行するために必要な運用上の労力を反映しています。 拡張性の高いデプロイメント。
推論がAIの主要な運用ワークロードとなるにつれ、キャッシュされたコンテキストデータや企業データを低遅延かつ予測可能なレイテンシでGPUに配信する能力は、利用率の維持とコスト管理においてますます重要になるだろう。
Amazon