ClouderaとVAST Dataは、継続的なAIトレーニング、推論、分析ワークロードを実行する企業向けに、統合されたAIファクトリーアーキテクチャを構築するためのパートナーシップを締結しました。この共同ソリューションは、Clouderaのコンテナ化されたデータサービスとVAST AIオペレーティングシステムを組み合わせたもので、企業におけるAI導入でますます一般的になっている問題、すなわち、データ待ちの間、高価なGPUクラスタがアイドル状態になっているという問題を解決することを目的としています。
GPUのアイドル状態、いわゆるGPU飢餓問題は、現代のAIパイプラインの継続的かつ高スループットな要求に対応して設計されていないデータアーキテクチャにAIワークロードを無理やり組み込んだ場合に発生しやすい。データ準備、トレーニング、推論、分析といった処理がすべて同じインフラストラクチャを競合するため、データレイヤーの処理能力が追いつかず、アクセラレータが停止してしまう。ClouderaとVASTは、このボトルネックを解消するソリューションとして、両社が共同開発したスタックを位置づけ、AIライフサイクル全体を通してGPUに低遅延データを供給し続けることを目指している。
建築物はどのように構築されるのか
Cloudera側では、データエンジニアリング、ストリーミング、分析、機械学習、AIサービスをポータブルコンテナにパッケージ化した独自のLakehouseアーキテクチャを採用しており、ハイブリッドクラウド環境やマルチクラウド環境でも実行可能です。これにより、ワークロードの実行場所に関係なく、顧客は一貫した運用モデルを利用できます。
VASTは、基盤となるデータインフラストラクチャとして、分散型共有エブリシング（DASE）アーキテクチャを提供し、エクサバイト規模まで拡張可能でありながら、GPUアクセラレーションによるベクトルインデックス作成と検索のために、ベクトルデータベースサービスをNVIDIA cuVSと統合しています。VAST AI OSは、NVIDIA AIデータプラットフォームのリファレンスデザインに基づいて構築されており、潜在的な企業データを、トレーニングおよび推論パイプラインで直接利用できるAI対応の状態に変換するように設計されています。Clouderaは、この基盤の上に、データエンジニアリング、ガバナンス、およびAIサービスを重ね合わせています。
この統合スタックは、生データの取り込みからモデルの展開までの全パスを網羅し、データセンター、プライベートクラウド、パブリッククラウド全体で一貫した運用を実現することを目的としています。ClouderaとVASTによると、このアーキテクチャは高帯域幅かつ低遅延のデータパイプラインによってGPUのリソース不足を解消し、結果としてGPUの持続的な利用率と計算効率を向上させるとのことです。また、このプラットフォームは、構造化データ、非構造化データ、マルチモーダルデータセットを大規模に処理できるように構築されており、プライベートおよび国家レベルのAI展開向けにエンタープライズレベルのガバナンスとコンプライアンス制御機能を備えています。
NVIDIAの統合と推論
このパートナーシップは、NVIDIAの技術スタックに大きく依存している。VASTのAI OSを支えるAIデータプラットフォームのリファレンスデザインに加え、両社はNVIDIA AI Enterpriseソフトウェアを共同アーキテクチャに統合している。ClouderaのAI推論サービスは、NVIDIA NIMマイクロサービスを利用して、組織がNVIDIAの最新のNemotronオープンモデルを含む自社データ上でモデルを直接デプロイおよび拡張できるようにする。
データエンジニアリングの面では、顧客はNVIDIA cuDFを使用してApache Sparkワークロードを高速化できます。これはCloudera Data Engineeringと透過的に統合されます。これにより、SparkジョブはGPUアクセラレーション処理によってVASTの高スループットデータサービスを利用できるようになり、トレーニングや推論だけでなく、AIパイプラインのデータ量の多い段階でも効果を発揮します。
特に規制の厳しい業界向けに、ClouderaとVASTはこれを「シリコンからアプリケーションまで」のソリューションとして位置づけており、基盤となるNVIDIAのハードウェアとソフトウェアから、本番環境向けのAIアプリケーションまでを網羅し、データの所在地やコンプライアンス要件に応じてオンプレミスまたはクラウドに展開できる。
利用状況
両社によると、今回の提携により、両社の導入済み顧客基盤全体で60エクサバイトもの顧客管理データが統合され、プライベートAIインフラへの需要が高まる中で、両ベンダーは既存の大企業顧客をターゲットにできるという。
ClouderaとVASTが共同開発したAIファクトリーソリューションは、両社の法人向け営業チームおよびパートナーネットワークを通じて現在入手可能です。ClouderaとVASTは、2026年までに、追加のリファレンスアーキテクチャ、検証済みの導入パターン、および業界特化型ソリューションを提供することで、ポートフォリオを拡大していく予定です。
Amazon