MinIOは、MinIO AIStorの新機能であるAIStor Table Sharingをリリースしました。この機能により、企業はDelta Sharingオープンプロトコルを介してオンプレミスデータをDatabricksプラットフォームに直接アクセスできるようになります。この機能により、Databricksは従来のデータ移動やレプリケーションを行うことなく、分析やAIタスクのために既存のオンプレミスデータセットに即座にアクセスできるようになります。
Databricksにおけるオンプレミスデータの重大性への対処
多くの企業が分析やAIにDatabricksを利用していますが、拡張性、パフォーマンス、コスト、コンプライアンスといった理由から、最も重要なデータのほとんどはオンプレミスに保存されたままです。
従来、オンプレミスのデータをDatabricksに接続するには、複雑なETLパイプライン、クラウドストレージにおけるデータの重複、および個別のガバナンスが必要であり、その結果、分析結果の把握が遅くなり、コストが増加し、運用リスクが高まり、保守上の課題が生じていた。
AIStor Table Sharingは、Delta Sharingをオブジェクトストアに統合することで、プラットフォーム、クラウド、リージョンをまたいだシームレスで安全なデータ共有を実現します。MinIOは、Databricksのオープンソースプロトコルを組み込むことで、データの重複やフォーマットの制限なしに、ライブデータに対するフェデレーション分析を可能にします。
MinIOの共同創業者兼共同CEOであるAB Periasamy氏は、企業は分析のために大規模なデータセットを転送する必要はないと強調しました。同氏は、AI技術がオンプレミス環境とクラウド環境の両方に広がるにつれて、「データグラビティ」が継続的な課題になると述べました。Periasamy氏は、Delta Sharingを搭載したAIStor Table Sharingにより、データが保存されている場所からデータにアクセスできるため、ハイブリッドAI導入における洞察のスピード向上、リスクの軽減、運用効率化が図れると述べました。
Databricksの製品エコシステム＆パートナーシップ担当上級副社長であるStephen Orban氏は、顧客からクラウドとオンプレミスの両方でデータを管理・共有する方法を求める声が多いと指摘しました。同氏は、DatabricksとMinIOの提携はオープンデータエコシステム戦略の一環であると述べました。MinIOのDelta Sharingの統合は、複雑なレプリケーションを行うことなく、オンプレミスのデータをDatabricksに安全にリンクできるようにすることを目的としており、ハイブリッドワークロードに関するインサイトの取得を迅速化します。
AIStorテーブルとApache Icebergをベースに構築されています。
AIStor Table Sharingは、オンプレミス環境およびハイブリッド環境でエンタープライズ規模で動作する最新のデータレイクハウスアーキテクチャ向けにMinIOが開発したApache Iceberg v3ネイティブ基盤であるAIStor Tablesに基づいています。AIStor Tablesには以下が含まれます。
– 高性能でS3互換のMinIOオブジェクトストレージ
– Icebergテーブルのカタログとメタデータを統合
– テーブル操作のためのREST API
– オープンデータ共有標準への組み込みサポート
テーブル定義、ガバナンスポリシー、共有プロトコルはすべて同じデータストレージシステム内で管理されるため、企業は外部カタログや共有レイヤーを必要とせずに、AIStorから直接テーブル共有を定義して公開できます。
このプラットフォームは、構造化データと非構造化データを単一のストレージおよびメタデータ環境に統合します。AIStorはAIデータストアとして機能し、単一のデータレイヤー上で分析やGPUベースのAIタスクを可能にします。その目的は、アーキテクチャを簡素化し、データの重複を防ぎ、運用上の複雑さを軽減することです。
AIStorテーブル共有は、このフレームワークをDatabricks環境に拡張し、パフォーマンス、コスト効率、およびローカル管理制御を維持しながら、ユーザーがオンプレミスのAIStorデータを第一級のテーブルとしてアクセスできるようにします。
他社とのちがい
AIStorテーブル共有は、オープンプロトコルとハイブリッドアーキテクチャを重視しています。主な機能は以下のとおりです。
- オープンな共有をネイティブに実装： AIStorはMinIOのDelta Sharing 1.0を利用して標準規格に基づいたデータ共有を実現し、互換性を向上させ、ベンダーロックインを軽減します。
- オンプレミスデータに対するインプレース分析： Databricksは、レプリケーションを行わずにデルタ共有を介してAIStor内のオンプレミスデータにアクセスすることで、パフォーマンス、セキュリティ、コンプライアンスを維持しながらコストを削減します。
- 複数形式の表のサポート： AIStorテーブル共有は、DeltaテーブルとApache Icebergテーブルの両方をサポートしているため、企業は共有方法を変更することなく、時間の経過とともに異なるオープンフォーマットを採用したり、共存させたりすることができます。
- Databricksとのネイティブ統合： AIStor Table Sharingは、Delta Sharingをベースとしており、Databricksワークスペースからオンプレミスのテーブルに直接アクセスできます。クラスターはこれらの共有テーブルをネイティブテーブルとして扱うことができ、追加のデータ取り込みやコネクタなしでクラウド分析をオンプレミスデータに拡張できます。
- ハイブリッドおよびマルチクラウド設計： この機能は、オンプレミス、ハイブリッド、マルチクラウド環境をサポートし、データをローカルに保持しながら、Databricksから地域を問わずアクセスできるようにします。
企業に焦点を当てる
MinIOとDatabricksは、製造業、金融サービス業、エネルギー業、小売業、物流業など、幅広い業界にわたる共通の企業顧客基盤にサービスを提供しています。これらの企業は通常、オンプレミス環境で大量の運用データを生成しています。規制、レイテンシの問題、コスト面を考慮すると、すべてのデータをクラウドに移行することは現実的ではありません。
AIStor Table Sharingは、顧客がDatabricksの分析機能とAI機能を、単に選択的に複製されたサブセットだけでなく、既存のデータセットに直接活用したいシナリオを対象としています。データをローカルに保持しつつ、オープンな共有プロトコルを通じてアクセスを可能にすることで、企業は既存のコンプライアンス、監査、および主権に関する要件を維持しながら、Databricks上で分析およびAIプロセスを統合できます。
柔軟性と拡張性
AIStorテーブル共有は、大規模組織が複数のフォーマットとプラットフォームにわたる多様なデータを大規模に管理する方法を示す好例でもあります。MinIOはDeltaテーブルとApache Icebergテーブルの両方をサポートすることで、顧客が単一のLakehouseフレームワークや独自の共有方法に縛られることを防ぎます。
MinIO AIStorのすべてのエディションは、同じバイナリとコアアーキテクチャを共有しており、違いはライセンス機能、拡張性の制約、およびサポートレベルに限られています。この構造により、組織は適切な導入段階でAIStorテーブル共有を導入し、基盤となるソフトウェアを変更することなく、ニーズの拡大に合わせて容量、パフォーマンス、および機能を拡張できます。
利用状況
MinIO AIStorでAIStorテーブル共有機能が一般提供開始されました。
Amazon