MinIO heeft AIStor Table Sharing gelanceerd, een nieuwe functie in MinIO AIStor waarmee bedrijven on-premises data rechtstreeks toegankelijk kunnen maken voor het Databricks-platform via het open protocol Delta Sharing. Deze functie stelt Databricks in staat om direct toegang te krijgen tot actuele on-premises datasets voor analyses en AI-taken, zonder dat traditionele dataverplaatsing of -replicatie nodig is.
Het aanpakken van de datagravitatie op locatie voor Databricks
Veel bedrijven gebruiken Databricks voor analyses en AI, maar de meeste cruciale data blijven lokaal opgeslagen vanwege schaalbaarheid, prestaties, kosten en naleving van regelgeving.
Het koppelen van on-premises data aan Databricks omvatte traditioneel complexe ETL-pipelines, dataduplicatie in cloudopslag en afzonderlijk beheer, wat leidde tot tragere inzichten, hogere kosten, operationele risico's en onderhoudsproblemen.
AIStor Table Sharing integreert Delta Sharing in de objectopslag, waardoor naadloze en veilige gegevensdeling mogelijk is tussen platforms, clouds en regio's. Door het open-source protocol van Databricks in te bedden, maakt MinIO federatieve analyses op live data mogelijk zonder gegevens te dupliceren of formaten te beperken.
AB Periasamy, medeoprichter en co-CEO van MinIO, benadrukte dat bedrijven geen grote datasets hoeven over te dragen om ze te analyseren. Hij beschreef 'datagravitatie' als een voortdurende uitdaging nu AI-technologie zich uitbreidt naar zowel on-premises als cloudomgevingen. Periasamy stelde dat AIStor Table Sharing, mogelijk gemaakt door Delta Sharing, toegang biedt tot data waar deze is opgeslagen. Dit is bedoeld om de snelheid waarmee inzichten worden verkregen te verbeteren, risico's te verminderen en de operationele processen voor hybride AI-implementaties te stroomlijnen.
Stephen Orban, SVP Product Ecosystem & Partnerships bij Databricks, gaf aan dat klanten vaak vragen om manieren om data te beheren en te delen, zowel in de cloud als on-premises. Hij omschreef de samenwerking tussen Databricks en MinIO als onderdeel van een strategie voor een open data-ecosysteem. De integratie van MinIO's Delta Sharing is bedoeld om bedrijven te helpen on-premises data veilig te koppelen aan Databricks zonder complexe replicatie, wat het verkrijgen van inzichten voor hybride workloads versnelt.
Gebouwd op AIStor-tabellen en Apache Iceberg.
AIStor Table Sharing is gebaseerd op AIStor Tables, MinIO's Apache Iceberg v3-native basis voor moderne data lakehouse-architecturen die op bedrijfsniveau opereren in on-premises en hybride omgevingen. AIStor Tables omvatten:
– Krachtige, S3-compatibele MinIO-objectopslag
– Geïntegreerde Iceberg-tabelcatalogi en metadata
– Een REST API voor tabelbewerkingen
– Ingebouwde ondersteuning voor open standaarden voor het delen van gegevens
Omdat tabeldefinities, governancebeleid en deelprotocollen allemaal binnen hetzelfde gegevensopslagsysteem worden beheerd, kunnen bedrijven rechtstreeks vanuit AIStor tabelshares definiëren en publiceren zonder dat een externe catalogus of deellagen nodig zijn.
Het platform consolideert gestructureerde en ongestructureerde data in één opslag- en metadataomgeving. AIStor fungeert als een AI-datastore, waardoor analyses en GPU-gebaseerde AI-taken mogelijk zijn binnen één enkele datalaag. Het doel is om de architectuur te vereenvoudigen, dataduplicatie te voorkomen en de operationele complexiteit te verminderen.
AIStor Table Sharing breidt dit raamwerk uit naar Databricks-omgevingen, waardoor gebruikers toegang krijgen tot on-premises AIStor-gegevens als volwaardige tabellen, met behoud van prestaties, kostenefficiëntie en lokale beheersbaarheid.
BELANGRIJKSTE KENMERKEN
AIStor Table Sharing legt de nadruk op open protocollen en hybride architecturen. Belangrijke kenmerken zijn onder meer:
- Open delen, native geïmplementeerd: AIStor gebruikt Delta Sharing 1.0 in MinIO om op standaarden gebaseerde gegevensdeling mogelijk te maken, waardoor de compatibiliteit wordt verbeterd en de afhankelijkheid van één leverancier wordt verminderd.
- In-place analyses van on-premises data: Databricks heeft via Delta Sharing, zonder replicatie, toegang tot on-premises data in AIStor. Dit verlaagt de kosten en zorgt tegelijkertijd voor behoud van prestaties, beveiliging en compliance.
- Ondersteuning voor tabellen in meerdere formaten: AIStor Table Sharing ondersteunt zowel Delta- als Apache Iceberg-tabellen, waardoor bedrijven in de loop der tijd verschillende open formaten kunnen gebruiken of naast elkaar kunnen blijven bestaan zonder de deelmethode te hoeven wijzigen.
- Native Databricks-integratie: AIStor Table Sharing, gebaseerd op Delta Sharing, maakt directe toegang tot on-premises tabellen vanuit Databricks-werkruimten mogelijk. Clusters kunnen deze gedeelde tabellen als native behandelen, waardoor cloudanalyses worden uitgebreid naar on-premises data zonder extra import of connectors.
- Hybride en multi-cloud ontwerp: Deze functie ondersteunt on-premises, hybride en multi-cloudomgevingen, waardoor gegevens lokaal kunnen blijven en toch toegankelijk zijn vanuit Databricks in alle regio's.
Focus op Enterprise
MinIO en Databricks bedienen een gemeenschappelijke klantenkring in diverse sectoren, zoals de productie, financiële dienstverlening, energie, detailhandel en logistiek. Deze organisaties genereren doorgaans grote hoeveelheden operationele data in hun eigen systemen. Regelgeving, latentieproblemen en kostenoverwegingen maken het onpraktisch om alle data naar de cloud te verplaatsen.
AIStor Table Sharing is bedoeld voor scenario's waarin klanten de analyse- en AI-functies van Databricks rechtstreeks willen gebruiken op datasets die lokaal zijn opgeslagen, en niet alleen op selectief gerepliceerde subsets. Door data lokaal te bewaren en tegelijkertijd toegang te bieden via een open deelprotocol, kunnen bedrijven voldoen aan bestaande compliance-, audit- en soevereiniteitsvereisten en tegelijkertijd analyse- en AI-processen consolideren op Databricks.
Flexibiliteit en schaalbaarheid
AIStor Table Sharing laat ook zien hoe grote organisaties op grote schaal diverse data beheren in meerdere formaten en op verschillende platforms. Door zowel Delta- als Apache Iceberg-tabellen te ondersteunen, voorkomt MinIO dat klanten vastzitten aan één enkel lakehouse-framework of een eigen methode voor het delen van data.
Alle MinIO AIStor-edities delen dezelfde binaire en kernarchitectuur, waarbij de verschillen beperkt zijn tot gelicentieerde functies, schaalbeperkingen en ondersteuningsniveaus. Deze structuur stelt organisaties in staat om AIStor Table Sharing op een geschikt instapmoment te implementeren en de capaciteit, prestaties en functies te schalen naarmate hun behoeften groeien, zonder de onderliggende software te hoeven wijzigen.
Beschikbaarheid
AIStor-tabeldeling is nu algemeen beschikbaar met MinIO AIStor.
Amazon