CTERAは、エンタープライズファイルシステムとオブジェクトストレージ間の長年のギャップを解消するために設計された、統合データアーキテクチャであるFusion Directを発表しました。この新しい製品は、既にCTERA Fusion Gatewayを含むCTERA Fusionファミリーを拡張するものであり、CTERAインテリジェントデータプラットフォームの中核コンポーネントとして位置づけられています。その目的は、データの重複やアプリケーションのリファクタリングを行うことなく、人間中心のファイルワークロードと機械学習によるAIパイプラインの両方に対応できる、単一の高性能データファブリックを提供することです。
ファイルとオブジェクトを単一の名前空間に統合する
従来、企業のITチームは2つの独立したストレージドメインを運用せざるを得ませんでした。NASシステムは、ユーザーコラボレーションやレガシーアプリケーション、基幹業務アプリケーション向けにSMBおよびNFSアクセスを提供します。一方、S3経由でアクセスされるオブジェクトストレージは、大規模なクラウドネイティブワークロードや分析ワークロードに使用されます。これらの環境を連携させるには、多くの場合、並列インフラストラクチャを構築し、それらの間でデータをコピーするか、ファイル呼び出しをオブジェクトAPIに変換するゲートウェイを利用する必要がありました。これらの変換レイヤーは、特に大規模な環境では、レイテンシ、複雑さ、運用リスクを増加させる可能性があります。
Fusion Directは、ファイルとオブジェクトがネイティブに共存する単一の統合グローバルネームスペースを公開することで、この問題を解決します。データは、ファイルとしてプラットフォームに書き込まれ、オブジェクトとして読み戻されることも、オブジェクトとして書き込まれ、ファイルとして読み込まれることも可能です。このシステムは、ファイルを独自のオブジェクトチャンクに変換したり、別の変換ゲートウェイを介してアクセスをルーティングしたりすることなく、双方向の読み書き動作を完全にサポートします。CTERAは、ファイルからオブジェクトへの変換にボトルネックはなく、独自のカプセル化スキームも使用されていないことを明言しています。
アクセスという観点から見ると、既存のエンタープライズアプリケーションとユーザーは、これまでと同様にSMBとNFS上で引き続き動作します。同時に、AIトレーニングクラスタ、HPC環境、クラウドネイティブサービスは、S3およびS3 over RDMAを介して同じデータセットにアクセスできます。S3 over RDMAは、GPUクラスタやその他の高性能コンピューティング環境にラインレートのスループットを提供するように設計されています。
既存のオブジェクトストアと分散エッジを活用する
重要な設計上のポイントは、既存のS3バケットをFusion Directデータファブリックに直接接続できる機能です。オブジェクトデータを新しいシステムに移行したり再構築したりする代わりに、組織は既存のオブジェクトストレージネームスペースをグローバルなファイル/オブジェクトスペースの一部として提供できます。接続が完了すると、これらのバケット内のオブジェクトは、エッジロケーションやマルチクラウド環境全体で標準ファイルとしてアクセスできるようになります。
このアプローチにより、ITチームはオブジェクトデータをファイルとして世界中のユーザーやアプリケーションに公開できると同時に、AIや分析ワークロードに対してはS3としてネイティブに提供できます。また、データのステージングや再フォーマットのために複数のリージョンやエッジサイトに展開されるはずだった重複したインフラストラクチャの必要性も軽減されます。結果として、複数の地域にまたがる分散データセットのストレージフットプリントが簡素化されます。
AI時代のパフォーマンスのためのアーキテクチャ
CTERA Fusion Directは、CTERAの既存のインテリジェントデータプラットフォームスタックを活用しており、米国特許第12,007,9521号によって裏付けられています。このアーキテクチャは、共同ファイルワークロードと高スループットのマシン規模のデータ消費を同時にサポートすることに重点を置いています。
主要な機能の一つは、ネイティブなゼロコピーアクセスです。CTERAプラットフォームにファイルとして書き込まれたデータは、二次コピーやバックグラウンド変換を経ることなく、標準のS3オブジェクトとして即座に利用可能になります。逆に、S3バケットをその場で接続すると、その内容はグローバル名前空間内のファイルとして即座にアクセス可能になります。これは、重複コピーや中間キャッシュに伴うレイテンシとストレージオーバーヘッドの両方を回避することを目的としています。
高速ファイルストリーミングも、もう一つの重点分野です。大容量のメディアアセット、トレーニングデータセット、その他の容量を多く消費するコンテンツを、オブジェクトストレージからファイルベースのアプリケーションに直接ストリーミングできます。このアプローチにより、ワークフローの遅延やエッジコンピューティング環境またはコンピューティングクラスタにおけるストレージ容量の消費につながる可能性のある、大量のローカルダウンロードやステージング処理が不要になります。
パフォーマンス面では、Fusion DirectはS3 over RDMAとGPUダイレクトアクセスパターンをサポートする形でネイティブオブジェクトを公開します。AIクラスタの場合、これはGPUがデータパスで追加のプロトコル変換を行うことなく、オブジェクトベースのデータセットからワイヤースピードに近い速度でデータを読み書きできることを意味します。これは、生の計算能力よりもI/Oスループットによって制約されるトレーニングや推論ジョブにとって特に重要です。
CTERAはデータ主権に関する考慮事項も指摘しています。データは、独自のラッパーやメタデータを所有するゲートウェイを使用せずに、標準のS3バケットに格納されるため、組織はオンプレミス環境とパブリッククラウド環境の両方で情報に対する制御を維持できます。このアーキテクチャは、データレイヤーのベンダーロックインを最小限に抑え、インフラストラクチャ戦略の進化に合わせて柔軟性を維持することを目的としています。
人間と機械のデータサイロの解消
CTERAのCEO、オデッド・ナーゲル氏は、企業におけるAI導入の主な障壁はデータ不足ではなく、データの効果的な活用にあると述べています。同氏は、人間が利用するデータと機械分析用のデータを分離することが摩擦を生むと指摘しています。別々の環境とデータセットを維持することは、AIの導入を遅らせる要因となります。ナーゲル氏は、SMB/NFSとRDMA経由のS3をサポートする単一のプラットフォームにこれらを統合することを提案しており、企業は生データからAI対応データセットへ直接アクセスできる道筋を得ることができます。統合プラットフォームは、組織がデータをより効果的に活用し、機械学習と自動化が牽引する市場で競争力を維持するのに役立ちます。
利用状況
CTERA Fusion Directは、CTERAインテリジェントデータプラットフォームの一部として現在提供されており、ファイルとオブジェクトの統合を実現するCTERA Fusionファミリーの中核コンポーネントとして位置づけられています。詳細については、CTERAのウェブサイトをご覧ください。
Amazon