存储评论网

MinIO推出AIStor表共享功能,可直接从Databricks访问本地数据

AI  ◇  企业版

MinIO 推出了 AIStor 表共享功能,这是 MinIO AIStor 的一项新功能,它允许企业通过 Delta Sharing 开放协议将本地数据直接提供给 Databricks 平台。此功能使 Databricks 能够立即访问当前的本地数据集以执行分析和 AI 任务,而无需传统的数据移动或复制操作。

解决 Databricks 本地部署数据引力问题

许多公司使用 Databricks 进行分析和人工智能,但由于可扩展性、性能、成本和合规性方面的原因,大多数关键数据仍然存储在本地。

MinIO AIStor 图

传统上,将本地数据连接到 Databricks 涉及复杂的 ETL 管道、云存储中的数据重复以及单独的治理,这会导致洞察速度变慢、成本更高、运营风险更大以及维护挑战。

Databricks 函数图形

AIStor 表共享将增量共享集成到对象存储中,从而实现跨平台、云和区域的无缝、安全的数据共享。通过嵌入 Databricks 的开源协议,MinIO 能够对实时数据进行联合分析,而无需复制数据或限制数据格式。

MinIO 联合创始人兼联合首席执行官 AB Periasamy 强调,企业不应为了分析而传输大型数据集。他指出,随着人工智能技术在本地和云端环境的扩展,“数据引力”始终是一个挑战。Periasamy 表示,基于 Delta Sharing 的 AIStor 表共享功能,能够让用户在数据存储位置直接访问数据,旨在提高洞察速度、降低风险并简化混合人工智能部署的运维。

Databricks产品生态系统与合作伙伴关系高级副总裁Stephen Orban指出,客户经常需要管理和共享云端及本地数据的方法。他将Databricks与MinIO的合作视为开放数据生态系统战略的一部分。MinIO的Delta Sharing集成旨在帮助企业安全地将本地数据链接到Databricks,无需复杂的数据复制,从而加快混合工作负载的洞察速度。

基于 AIStor Tables 和 Apache Iceberg 构建

AIStor Table Sharing 基于 AIStor Tables,后者是 MinIO 的 Apache Iceberg v3 原生基础架构,适用于可在本地和混合环境中大规模运行的现代数据湖屋架构。AIStor Tables 包括:

– 高性能、兼容 S3 的 MinIO 对象存储

– 集成 Iceberg 表格目录和元数据

– 用于表操作的 REST API

– 内置对开放数据共享标准的支持

由于表定义、治理策略和共享协议都在同一个数据存储系统中进行管理,企业可以直接从 AIStor 定义和发布表共享,而无需外部目录或共享层。

该平台将结构化和非结构化数据整合到单一的存储和元数据环境中。AIStor 作为一个 AI 数据存储平台,支持在单一数据层上进行分析和基于 GPU 的 AI 任务。其目的是简化架构、防止数据重复并降低运维复杂性。

AIStor 表共享将此框架扩展到 Databricks 环境,允许用户以一流表的形式访问本地 AIStor 数据,同时保持性能、成本效益和本地管理控制。

主要功能

AIStor 表共享强调开放协议和混合架构。主要特性包括:

  • 开放共享,原生实现: AIStor 使用 MinIO 中的 Delta Sharing 1.0 来实现基于标准的数据共享,从而提高兼容性并减少供应商锁定。
  • 对本地部署数据进行就地分析: Databricks 通过增量共享访问 AIStor 中的本地数据,无需复制,从而降低成本,同时保持性能、安全性和合规性。
  • 支持多种表格格式: AIStor 表共享同时支持 Delta 表和 Apache Iceberg 表,允许公司随着时间的推移采用或与不同的开放格式共存,而无需更改共享方法。
  • 原生 Databricks 集成: AIStor Table Sharing 基于增量共享,支持从 Databricks 工作区直接访问本地表。集群可以将这些共享表视为原生表,无需额外的数据摄取或连接器即可将云分析扩展到本地数据。
  • 混合云和多云设计: 此功能支持本地、混合和多云环境,使数据能够保留在本地,同时可从 Databricks 跨区域访问。

专注于企业

MinIO 和 Databricks 服务于众多行业的企业客户,例如制造业、金融服务业、能源业、零售业和物流业。这些企业通常会在本地环境中生成大量运营数据。由于法规限制、延迟问题以及成本方面的考量,将所有数据迁移到云端并不现实。

AIStor 表共享旨在满足客户直接在本地数据集(而非仅选择性复制的子集)上利用 Databricks 分析和 AI 功能的场景。通过将数据保留在本地,同时通过开放的共享协议实现访问,企业可以在满足现有合规性、审计和主权要求的同时,将分析和 AI 流程整合到 Databricks 平台。

灵活性和规模

AIStor 表共享还展示了大型组织如何大规模地管理跨多种格式和平台的多样化数据。通过同时支持 Delta 表和 Apache Iceberg 表,MinIO 避免了客户被单一的 Lakehouse 框架或专有共享方法所束缚。

所有 MinIO AIStor 版本均采用相同的二进制文件和核心架构,区别仅在于授权功能、规模限制和支持级别。这种架构允许组织在合适的切入点采用 AIStor 表共享功能,并随着需求的增长扩展容量、性能和功能,而无需更改底层软件。

可用性

AIStor 表共享功能现已在 MinIO AIStor 中全面推出。

参与 StorageReview

资讯订阅 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter(现为X) | TikTok | RSS订阅

哈罗德弗里茨

自 IBM 创建 Selectric 以来,我一直在科技行业工作。 不过,我的背景是写作。 因此,我决定退出售前业务,回归本源,从事一些写作工作,但仍从事技术工作。