MinIO har lanserat AIStor Table Sharing, en ny funktion i MinIO AIStor som gör det möjligt för företag att göra lokala data direkt tillgängliga för Databricks-plattformen via det öppna protokollet Delta Sharing. Den här funktionen gör det möjligt för Databricks att omedelbart få åtkomst till aktuella lokala datamängder för analys och AI-uppgifter, utan behov av traditionell dataförflyttning eller replikering.
Att hantera lokal datagravitet för Databricks
Många företag använder Databricks för analys och AI, men de flesta kritiska data lagras lokalt på grund av skalbarhets-, prestanda-, kostnads- och efterlevnadsskäl.
Att ansluta lokala data till Databricks innebar traditionellt komplexa ETL-pipelines, dataduplicering i molnlagring och separat styrning, vilket ledde till långsammare insikter, högre kostnader, operativa risker och underhållsutmaningar.
AIStor Table Sharing integrerar Delta Sharing i objektlagret, vilket möjliggör sömlös och säker datadelning mellan plattformar, moln och regioner. Genom att bädda in Databricks protokoll med öppen källkod möjliggör MinIO federerad analys av livedata utan att duplicera data eller begränsa format.
MinIOs medgrundare och VD AB Periasamy betonade att företag inte borde behöva överföra stora datamängder för att analysera dem. Han beskrev "datagravitation" som en ständig utmaning eftersom AI-tekniken omfattar både lokala och molnbaserade miljöer. Periasamy uppgav att AIStor Table Sharing, som drivs av Delta Sharing, möjliggör åtkomst till data där de lagras, med syftet att förbättra insiktshastigheten, minska risker och effektivisera verksamheten för hybrid AI-implementeringar.
Stephen Orban, SVP för Product Ecosystem & Partnerships på Databricks, påpekade att kunder ofta frågar efter sätt att hantera och dela data både i molnet och lokalt. Han karakteriserade partnerskapet mellan Databricks och MinIO som en del av en strategi för öppna data-ekosystem. Integreringen av MinIOs Delta Sharing är avsedd att hjälpa företag att säkert länka lokala data till Databricks utan komplex replikering, vilket snabbar upp insikter för hybridarbetsbelastningar.
Byggt på AIStor-tabeller och Apache Iceberg
AIStor-tabelldelning är baserad på AIStor-tabeller, MinIOs Apache Iceberg v3-baserade grund för moderna data lakehouse-arkitekturer som fungerar i företagsskala i lokala och hybridmiljöer. AIStor-tabeller inkluderar:
– Högpresterande, S3-kompatibel MinIO-objektlagring
– Integrerade isbergstabellkataloger och metadata
– Ett REST API för tabelloperationer
– Inbyggt stöd för öppna datadelningsstandarder
Eftersom tabelldefinitioner, styrningspolicyer och delningsprotokoll hanteras inom samma datalagringssystem kan företag direkt definiera och publicera tabelldelningar från AIStor utan att behöva en extern katalog eller delningslager.
Plattformen konsoliderar strukturerad och ostrukturerad data till en enda lagrings- och metadatamiljö. AIStor fungerar som ett AI-datalager, vilket möjliggör analys och GPU-baserade AI-uppgifter över ett enda datalager. Syftet är att förenkla arkitekturen, förhindra dataduplicering och minska driftskomplexiteten.
AIStor-tabelldelning utökar detta ramverk till Databricks-miljöer, vilket gör det möjligt för användare att få åtkomst till lokala AIStor-data som förstklassiga tabeller samtidigt som prestanda, kostnadseffektivitet och lokal administrativ kontroll bibehålls.
VIKTIGA FUNKTIONER
AIStor-tabelldelning betonar öppna protokoll och hybridarkitekturer. Viktiga funktioner inkluderar:
- Öppen delning, nativt implementerad: AIStor använder Delta Sharing 1.0 i MinIO för att möjliggöra standardbaserad datadelning, vilket ökar kompatibiliteten och minskar leverantörsbindning.
- Analys på plats på lokala data: Databricks får åtkomst till lokala data i AIStor via Delta Sharing utan replikering, vilket minskar kostnaderna samtidigt som prestanda, säkerhet och efterlevnad bibehålls.
- Stöd för tabeller i flera format: AIStor-tabelldelning stöder både Delta- och Apache Iceberg-tabeller, vilket gör det möjligt för företag att använda eller samexistera med olika öppna format över tid utan att ändra delningsmetoden.
- Inbyggd Databricks-integration: AIStor-tabelldelning, baserat på Delta-delning, möjliggör direkt åtkomst till lokala tabeller från Databricks-arbetsytor. Kluster kan behandla dessa delade tabeller som inbyggda, vilket utökar molnanalys till lokala data utan extra inmatning eller kopplingar.
- Hybrid- och multimolndesign: Den här funktionen stöder lokala, hybrid- och multimolnmiljöer, vilket gör att data kan förbli lokala samtidigt som de är tillgängliga från Databricks över olika regioner.
Fokus på företagande
MinIO och Databricks betjänar en gemensam kundbas inom branscher som tillverkning, finansiella tjänster, energi, detaljhandel och logistik. Dessa organisationer genererar vanligtvis stora mängder operativ data i lokala miljöer. Regler, latensutmaningar och kostnadsöverväganden gör det opraktiskt att flytta all data till molnet.
AIStor Table Sharing riktar sig till scenarier där kunder vill utnyttja Databricks analys- och AI-funktioner direkt på dataset på plats, inte bara selektivt replikerade delmängder. Genom att hålla data lokalt samtidigt som åtkomst möjliggörs via ett öppet delningsprotokoll kan företag upprätthålla befintliga krav på efterlevnad, granskning och suveränitet samtidigt som de konsoliderar analys- och AI-processer på Databricks.
Flexibilitet och skalbarhet
AIStor-tabelldelning illustrerar också hur stora organisationer hanterar olika data i flera format och plattformar i stor skala. Genom att stödja både Delta- och Apache Iceberg-tabeller förhindrar MinIO att kunder låses till ett enda Lakehouse-ramverk eller en proprietär delningsmetod.
Alla MinIO AIStor-utgåvor delar samma binära och kärnarkitektur, med skillnader begränsade till licensierade funktioner, skalbegränsningar och supportnivåer. Denna struktur gör det möjligt för organisationer att anta AIStor-tabelldelning vid en lämplig startpunkt och skala kapacitet, prestanda och funktioner allt eftersom deras behov växer, utan att ändra den underliggande programvaran.
Tillgänglighet
AIStor-tabelldelning är nu allmänt tillgängligt med MinIO AIStor.
Amazon