Clouderaは、パブリッククラウド、ソブリン環境、プライベートオンプレミスインフラストラクチャ全体で、本番環境レベルのワークロードを構築、デプロイ、拡張できるように設計されたハイブリッドデータおよびAIプラットフォームであるCloudera Anywhere Cloudを発表しました。このプラットフォームは、スタンドアロンのデプロイメントとして機能することも、既存のエンタープライズデータレイクに直接統合することもできます。ローカルストレージ層からのデータ移行を必要とせずに、自動管理、モジュール式のサービスプロビジョニング、および統一されたデータガバナンスを提供する集中制御プレーンを備えています。
アーキテクチャの概要とワークロードのモビリティ
Cloudera Anywhere Cloudは、コンピューティングサービスと基盤となるストレージインフラストラクチャを分離する、モジュール式で疎結合なアーキテクチャを採用しています。この設計により、技術チームは、Apache Spark、Apache Kafka、Trinoなどの独立した分析エンジンを、セルフサービス型のマーケットプレイスブループリントを介して、カスタムのオープンソースエンジンやサードパーティ製エンジンと並行してデプロイできます。このシステムは、標準API、Apache Icebergオープンテーブルフォーマット、Polarisカタログを使用して、これらの分散コンピューティングエンジンを異種混在のインフラストラクチャ間で接続し、独自のデータフォーマットやカスタム統合のオーバーヘッドを排除します。
インフラストラクチャのパフォーマンス上のボトルネックや複雑なデータ所在地の要件は、エンタープライズAIパイプラインがパイロット段階から本番環境へ移行する際に、しばしばボトルネックとなります。Clouderaは、ITリーダーの73%がインフラストラクチャのパフォーマンス上の制約が運用上の取り組みを阻害していると考えているという最近の調査結果を引用しています。Cloudera Anywhere Cloudは、ワークロードのローカル配置を容易にすることで、この運用上の遅延を解消します。アプリケーションは、ビジネス要件、規制要件、またはハードウェア要件に応じて実行され、異なる環境間で大規模なデータセットを複製または転送する必要がなくなります。
ガバナンス、エージェントによる自動化、および制御
このプラットフォームは、分散ストレージおよびコンピューティングノード全体にわたって、ネイティブなゼロトラストセキュリティ制御を組み込んでいます。このフレームワークは、ソブリンクラウド、プライベートクラウド、パブリッククラウドの各階層において、データリネージ、アクセス境界、および継続的なコンプライアンスを維持します。デプロイメントは、データ主権と知的財産権を保護するために、既存のエンタープライズガバナンスポリシーを自動的に継承します。
日々の運用を簡素化するため、Clouderaは制御インターフェースにエージェント型コパイロットを統合しました。このコパイロットは、自然言語による指示を、コンピューティングエンジンの起動、インフラストラクチャリソースの設定、接続された環境全体にわたるエンドツーエンドのデータパイプラインのオーケストレーションといった実行可能な運用タスクに変換します。
「エンタープライズAIは、パブリッククラウドのみのモデルでは対応しきれなくなりました」と、Clouderaの最高製品責任者であるレオ・ブルニック氏は述べています。「企業はイノベーションとコントロールのどちらかを選択する必要はありません。Cloudera Anywhere Cloudは、クラウドのスピードと柔軟性をエンタープライズデータに直接もたらします。これにより、企業はデータと知的財産の完全な所有権を維持しながらAIイニシアチブを加速させ、インフラストラクチャ、トークン、ビジネスモデルのコストを最適化することができます。」
今回の発表は、VAST Dataとの共同開発によるAIファクトリースタックなど、Clouderaが最近推進しているインフラストラクチャ強化策をさらに拡大するものです。Clouderaは今週、シンガポールで開催されるEVOLVEイベントでCloudera Anywhere Cloudのデモを行っています。
NVIDIA cuDFによるGPUアクセラレーションSpark
プラットフォームのローンチと同時に、ClouderaはNVIDIAのcuDF CUDA-Xライブラリをベースにした、Cloudera Data EngineeringにおけるApache Spark 4.1のネイティブGPUアクセラレーションを発表しました。cuDFプラグインは、PySparkやSQLコードを変更することなく既存のSparkパイプラインを高速化し、クラウドコンピューティングのコストを削減しながらAI対応データをより迅速に準備する方法としてClouderaは位置付けています。このプラグインは、Anywhere Cloudの一部としてCloudera Data Engineeringに同梱されます。
Amazon