存儲評論網

MinIO推出AIStor表共享功能,可直接從Databricks存取本地數據

AI  ◇  企業

MinIO 推出了 AIStor 表共享功能,這是 MinIO AIStor 的一項新功能,它允許企業透過 Delta Sharing 開放協議將本地資料直接提供給 Databricks 平台。此功能使 Databricks 能夠立即存取當前的本機資料集以執行分析和 AI 任務,而無需傳統的資料移動或複製操作。

解決 Databricks 本地部署資料引力問題

許多公司使用 Databricks 進行分析和人工智慧,但由於可擴展性、效能、成本和合規性方面的原因,大多數關鍵資料仍然儲存在本地。

MinIO AIStor 圖

傳統上,將本地資料連接到 Databricks 涉及複雜的 ETL 管道、雲端儲存中的資料重複以及單獨的治理,這會導致洞察速度變慢、成本更高、營運風險更大以及維護挑戰更大。

Databricks 函數圖形

AIStor 表共用將增量共用整合到物件儲存中,從而實現跨平台、雲端和區域的無縫、安全的資料共用。透過嵌入 Databricks 的開源協議,MinIO 能夠對即時資料進行聯合分析,而無需複製資料或限制資料格式。

MinIO 聯合創辦人兼聯合執行長 AB Periasamy 強調,企業不應為了分析而傳輸大型資料集。他指出,隨著人工智慧技術在本地和雲端環境的擴展,「數據引力」始終是一個挑戰。 Periasamy 表示,基於 Delta Sharing 的 AIStor 表共享功能,能夠讓使用者在數據儲存位置直接存取數據,旨在提高洞察速度、降低風險並簡化混合人工智慧部署的維運。

Databricks產品生態系統與合作夥伴關係資深副總裁Stephen Orban指出,客戶經常需要管理和分享雲端及本地資料的方法。他將Databricks與MinIO的合作視為開放資料生態系統策略的一部分。 MinIO的Delta Sharing整合旨在幫助企業安全地將本地資料連結到Databricks,無需複雜的資料複製,從而加快混合工作負載的洞察速度。

基於 AIStor Tables 和 Apache Iceberg 構建

AIStor Table Sharing 是基於 AIStor Tables,後者是 MinIO 的 Apache Iceberg v3 原生基礎架構,適用於可在本地和混合環境中大規模運行的現代資料湖屋架構。 AIStor Tables 包括:

– 高效能、相容 S3 的 MinIO 物件存儲

– 整合 Iceberg 表格目錄和元數據

– 用於表格操作的 REST API

– 內建對開放資料共享標準的支持

由於表格定義、治理策略和共享協定都在同一個資料儲存系統中進行管理,企業可以直接從 AIStor 定義和發布表共用,而無需外部目錄或共用層。

該平台將結構化和非結構化資料整合到單一的儲存和元資料環境中。 AIStor 作為一個 AI 資料儲存平台,支援在單一資料層上進行分析和基於 GPU 的 AI 任務。其目的是簡化架構、防止資料重複並降低維運複雜性。

AIStor 表共享將此框架擴展到 Databricks 環境,允許使用者以一流表的形式存取本地 AIStor 數據,同時保持效能、成本效益和本地管理控制。

主要特色

AIStor 表共享強調開放協議和混合架構。主要特性包括:

  • 開放共享,原生實作: AIStor 使用 MinIO 中的 Delta Sharing 1.0 來實現基於標準的資料共享,從而提高相容性並減少供應商鎖定。
  • 對本地部署資料進行就地分析: Databricks 透過增量共享存取 AIStor 中的本機數據,無需複製,從而降低成本,同時保持效能、安全性和合規性。
  • 支援多種表格格式: AIStor 表共享同時支援 Delta 表和 Apache Iceberg 表,允許公司隨著時間的推移採用或與不同的開放格式共存,而無需更改共享方法。
  • 原生 Databricks 整合: AIStor Table Sharing 是基於增量共用,支援從 Databricks 工作區直接存取本機表。叢集可以將這些共用表視為原生表,無需額外的資料擷取或連接器即可將雲端分析擴展到本地資料。
  • 混合雲和多雲設計: 此功能支援本地、混合和多雲環境,使資料能夠保留在本地,同時可從 Databricks 跨區域存取。

專注於企業

MinIO 和 Databricks 服務於眾多行業的企業客戶,例如製造業、金融服務業、能源業、零售業和物流業。這些企業通常會在本地環境中產生大量營運數據。由於法規限制、延遲問題以及成本方面的考慮,將所有資料遷移到雲端並不現實。

AIStor 表共享旨在滿足客戶直接在本機資料集(而非僅選擇性複製的子集)上利用 Databricks 分析和 AI 功能的場景。透過將資料保留在本地,並允許透過開放的共享協議進行訪問,企業可以在滿足現有合規性、稽核和主權要求的同時,將分析和 AI 流程整合到 Databricks 平台。

靈活性和規模

AIStor 表共享也展示了大型組織如何大規模地管理跨多種格式和平台的多樣化資料。透過同時支援 Delta 表和 Apache Iceberg 表,MinIO 避免了客戶被單一的 Lakehouse 框架或專有共享方法所束縛。

所有 MinIO AIStor 版本均採用相同的二進位和核心架構,差異僅在於授權功能、規模限制和支援等級。這種架構允許組織在適當的切入點採用 AIStor 表共享功能,並隨著需求的成長擴展容量、效能和功能,而無需更改底層軟體。

庫存情況

AIStor 表格共享功能現已在 MinIO AIStor 中全面推出。

參與 StorageReview

電子報| YouTube | PodcastiTunes / Spotify | Instagram | Twitter | TikTok | RSS訂閱

哈羅德弗里茨

自 IBM 創建 Selectric 以來,我一直在科技行業工作。 不過,我的背景是寫作。 因此,我決定退出售前業務,回歸本源,從事一些寫作工作,但仍從事技術工作。