MinIO hat AIStor Table Sharing eingeführt, eine neue Funktion in MinIO AIStor, die es Unternehmen ermöglicht, lokale Daten über das offene Delta-Sharing-Protokoll direkt für die Databricks-Plattform zugänglich zu machen. Dadurch kann Databricks sofort auf vorhandene lokale Datensätze für Analyse- und KI-Aufgaben zugreifen, ohne dass herkömmliche Datenverschiebungen oder -replikationen erforderlich sind.
Bewältigung der Datengravitation vor Ort für Databricks
Viele Unternehmen nutzen Databricks für Analysen und KI, aber die meisten kritischen Daten bleiben aus Gründen der Skalierbarkeit, Leistung, Kosten und Compliance lokal gespeichert.
Die Anbindung von On-Premise-Daten an Databricks erforderte traditionell komplexe ETL-Pipelines, Datenduplizierung in der Cloud und eine separate Governance, was zu langsameren Erkenntnissen, höheren Kosten, operativen Risiken und Wartungsherausforderungen führte.
AIStor Table Sharing integriert Delta Sharing in den Objektspeicher und ermöglicht so die nahtlose und sichere gemeinsame Nutzung von Daten über Plattformen, Clouds und Regionen hinweg. Durch die Einbettung des Open-Source-Protokolls von Databricks ermöglicht MinIO die föderierte Analyse von Live-Daten, ohne Daten zu duplizieren oder Formate einzuschränken.
AB Periasamy, Mitgründer und Co-CEO von MinIO, betonte, dass Unternehmen große Datensätze nicht erst übertragen müssen, um sie zu analysieren. Er beschrieb die „Datengravitation“ als ständige Herausforderung, da KI-Technologien sowohl in On-Premise- als auch in Cloud-Umgebungen immer weiter verbreitet werden. Periasamy erklärte, dass AIStor Table Sharing, basierend auf Delta Sharing, den Zugriff auf Daten dort ermöglicht, wo sie gespeichert sind. Ziel ist es, die Erkenntnisgewinnung zu beschleunigen, Risiken zu minimieren und den Betrieb hybrider KI-Implementierungen zu optimieren.
Stephen Orban, SVP für Produktökosystem und Partnerschaften bei Databricks, betonte, dass Kunden häufig nach Möglichkeiten fragen, Daten sowohl in der Cloud als auch lokal zu verwalten und zu teilen. Er bezeichnete die Partnerschaft zwischen Databricks und MinIO als Teil einer Strategie für ein offenes Datenökosystem. Die Integration von MinIOs Delta Sharing soll Unternehmen dabei helfen, lokale Daten sicher und ohne komplexe Replikation mit Databricks zu verknüpfen, was die Gewinnung von Erkenntnissen für hybride Workloads beschleunigt.
Basierend auf AIStor Tables und Apache Iceberg
AIStor Table Sharing basiert auf AIStor Tables, der nativen Apache Iceberg v3-Grundlage von MinIO für moderne Data-Lakehouse-Architekturen, die im Unternehmensmaßstab in On-Premise- und Hybridumgebungen eingesetzt werden können. AIStor Tables umfassen:
– Leistungsstarker, S3-kompatibler MinIO-Objektspeicher
– Integrierte Iceberg-Tabellenkataloge und Metadaten
– Eine REST-API für Tabellenoperationen
– Integrierte Unterstützung für offene Datenaustauschstandards
Da Tabellendefinitionen, Governance-Richtlinien und Freigabeprotokolle alle innerhalb desselben Datenspeichersystems verwaltet werden, können Unternehmen Tabellenfreigaben direkt aus AIStor definieren und veröffentlichen, ohne dass ein externer Katalog oder Freigabeschichten erforderlich sind.
Die Plattform konsolidiert strukturierte und unstrukturierte Daten in einer zentralen Speicher- und Metadatenumgebung. AIStor fungiert als KI-Datenspeicher und ermöglicht Analysen sowie GPU-basierte KI-Aufgaben auf einer einzigen Datenebene. Ziel ist es, die Architektur zu vereinfachen, Datenredundanz zu vermeiden und die operative Komplexität zu reduzieren.
AIStor Table Sharing erweitert dieses Framework auf Databricks-Umgebungen und ermöglicht Benutzern den Zugriff auf lokale AIStor-Daten als erstklassige Tabellen, wobei Leistung, Kosteneffizienz und lokale administrative Kontrolle erhalten bleiben.
Hauptfunktionen
AIStor Table Sharing setzt auf offene Protokolle und hybride Architekturen. Zu den wichtigsten Funktionen gehören:
- Offene Freigabe, nativ implementiert: AIStor nutzt Delta Sharing 1.0 in MinIO, um standardbasierte Datenfreigabe zu ermöglichen, die Kompatibilität zu erhöhen und die Abhängigkeit von einem bestimmten Anbieter zu verringern.
- In-Place-Analyse von On-Premises-Daten: Databricks greift über Delta Sharing ohne Replikation auf lokale Daten in AIStor zu, wodurch Kosten gesenkt und gleichzeitig Leistung, Sicherheit und Compliance erhalten bleiben.
- Unterstützung für Tabellen in mehreren Formaten: AIStor Table Sharing unterstützt sowohl Delta- als auch Apache Iceberg-Tabellen, sodass Unternehmen im Laufe der Zeit verschiedene offene Formate einführen oder parallel nutzen können, ohne die Freigabemethode ändern zu müssen.
- Native Databricks-Integration: AIStor Table Sharing, basierend auf Delta Sharing, ermöglicht den direkten Zugriff auf lokale Tabellen aus Databricks-Arbeitsbereichen. Cluster können diese freigegebenen Tabellen wie native Tabellen behandeln und so Cloud-Analysen auf lokale Daten ausweiten, ohne dass zusätzliche Datenerfassung oder Konnektoren erforderlich sind.
- Hybrid- und Multi-Cloud-Design: Diese Funktion unterstützt lokale, hybride und Multi-Cloud-Umgebungen und ermöglicht es, dass Daten lokal bleiben, aber über Databricks regionsübergreifend zugänglich sind.
Fokus auf Unternehmen
MinIO und Databricks bedienen einen gemeinsamen Kundenstamm aus Unternehmen verschiedenster Branchen, darunter Fertigung, Finanzdienstleistungen, Energie, Einzelhandel und Logistik. Diese Organisationen generieren üblicherweise große Mengen an Betriebsdaten in On-Premise-Umgebungen. Aufgrund von Vorschriften, Latenzproblemen und Kostenüberlegungen ist es nicht praktikabel, alle Daten in die Cloud zu verlagern.
AIStor Table Sharing ist für Szenarien gedacht, in denen Kunden die Analyse- und KI-Funktionen von Databricks direkt auf vorhandenen Datensätzen nutzen möchten, nicht nur auf selektiv replizierten Teilmengen. Indem Daten lokal gespeichert und gleichzeitig der Zugriff über ein offenes Freigabeprotokoll ermöglicht wird, können Unternehmen bestehende Compliance-, Prüfungs- und Datensouveränitätsanforderungen erfüllen und gleichzeitig Analyse- und KI-Prozesse auf Databricks konsolidieren.
Flexibilität und Skalierbarkeit
Die AIStor-Tabellenfreigabe veranschaulicht zudem, wie große Organisationen diverse Daten über verschiedene Formate und Plattformen hinweg in großem Umfang verwalten. Durch die Unterstützung von Delta- und Apache-Iceberg-Tabellen verhindert MinIO, dass Kunden an ein einzelnes Lakehouse-Framework oder eine proprietäre Freigabemethode gebunden sind.
Alle MinIO AIStor-Editionen basieren auf derselben Binär- und Kernarchitektur. Die Unterschiede beschränken sich auf lizenzierte Funktionen, Skalierungsbeschränkungen und Support-Level. Dank dieser Struktur können Unternehmen AIStor Table Sharing an einem geeigneten Einstiegspunkt einführen und Kapazität, Leistung und Funktionen mit ihren wachsenden Anforderungen skalieren, ohne die zugrundeliegende Software ändern zu müssen.
Verfügbarkeit
Die gemeinsame Nutzung von AIStor-Tabellen ist jetzt allgemein mit MinIO AIStor verfügbar.
Amazon