Společnost MinIO spustila sdílení tabulek AIStor, novou funkci v platformě MinIO AIStor, která umožňuje firmám zpřístupnit místní data přímo platformě Databricks prostřednictvím otevřeného protokolu Delta Sharing. Tato funkce umožňuje platformě Databricks okamžitý přístup k aktuálním místním datovým sadám pro analytické účely a úlohy umělé inteligence, bez nutnosti tradičního přesunu nebo replikace dat.
Řešení datové gravitace v místních systémech pro databricky
Mnoho společností používá Databricks pro analytiku a umělou inteligenci, ale většina kritických dat zůstává uložena lokálně kvůli škálovatelnosti, výkonu, nákladům a dodržování předpisů.
Propojení místních dat s Databricky tradičně zahrnovalo složité ETL kanály, duplikaci dat v cloudovém úložišti a oddělenou správu a řízení, což vedlo k pomalejšímu získávání poznatků, vyšším nákladům, provozním rizikům a problémům s údržbou.
Sdílení tabulek AIStor integruje sdílení Delta do úložiště objektů, což umožňuje bezproblémové a bezpečné sdílení dat napříč platformami, cloudy a regiony. Díky integraci open-source protokolu Databricks umožňuje MinIO federovanou analýzu živých dat bez duplikace dat nebo omezování formátů.
Spoluzakladatel a generální ředitel společnosti MinIO, AB Periasamy, zdůraznil, že firmy by neměly muset přenášet velké datové sady k jejich analýze. Popsal „datovou gravitaci“ jako neustálou výzvu, jelikož se technologie umělé inteligence rozšiřuje jak na lokální, tak na cloudová prostředí. Periasamy uvedl, že sdílení tabulek AIStor, poháněné technologií Delta Sharing, umožňuje přístup k datům tam, kde jsou uložena, s cílem zvýšit rychlost analýzy, snížit riziko a zefektivnit operace pro hybridní nasazení umělé inteligence.
Stephen Orban, senior viceprezident pro ekosystém produktů a partnerství ve společnosti Databricks, poukázal na to, že zákazníci se často ptají na způsoby, jak spravovat a sdílet data jak v cloudu, tak i v místních prostředích. Partnerství mezi Databricks a MinIO charakterizoval jako součást strategie otevřeného ekosystému dat. Integrace sdílení Delta od MinIO má firmám pomoci bezpečně propojit místní data s Databricks bez složité replikace, což urychluje analýzu hybridních úloh.
Postaveno na tabulkách AIStor a Apache Iceberg
Sdílení tabulek AIStor je založeno na tabulkách AIStor, nativní platformě MinIO Apache Iceberg v3 pro moderní architektury datových jezer, které fungují v podnikovém měřítku v lokálních i hybridních prostředích. Tabulky AIStor zahrnují:
– Vysoce výkonné, s S3 kompatibilní objektové úložiště MinIO
– Integrované katalogy a metadata tabulek Iceberg
– REST API pro operace s tabulkami
– Vestavěná podpora pro standardy sdílení otevřených dat
Vzhledem k tomu, že definice tabulek, zásady správy a protokoly sdílení jsou spravovány v rámci stejného systému pro ukládání dat, mohou firmy přímo definovat a publikovat sdílené složky tabulek z AIStoru, aniž by vyžadovaly externí katalog nebo vrstvy sdílení.
Platforma konsoliduje strukturovaná a nestrukturovaná data do jednoho úložného a metadatového prostředí. AIStor funguje jako úložiště dat umělé inteligence, které umožňuje analytické a úkoly umělé inteligence založené na GPU v rámci jedné datové vrstvy. Jeho účelem je zjednodušit architekturu, zabránit duplicitě dat a snížit provozní složitost.
Sdílení tabulek AIStor rozšiřuje tento rámec na prostředí Databricks a umožňuje uživatelům přístup k místním datům AIStor jako k prvotřídním tabulkám a zároveň zachovává výkon, nákladovou efektivitu a lokální administrativní kontrolu.
KLÍČOVÉ VLASTNOSTI
Sdílení tabulek AIStor klade důraz na otevřené protokoly a hybridní architektury. Mezi klíčové vlastnosti patří:
- Otevřené sdílení, nativně implementováno: AIStor využívá v MinIO technologii Delta Sharing 1.0, která umožňuje sdílení dat na základě standardů, zvyšuje kompatibilitu a snižuje závislost na dodavateli.
- Analýza na místě pro místní data: Databricks přistupuje k místním datům v AIStoru prostřednictvím sdílení Delta bez replikace, což snižuje náklady a zároveň zachovává výkon, zabezpečení a dodržování předpisů.
- Podpora víceformátových tabulek: Sdílení tabulek AIStor podporuje tabulky Delta i Apache Iceberg, což umožňuje firmám v průběhu času přijímat nebo koexistovat s různými otevřenými formáty bez nutnosti měnit metodu sdílení.
- Nativní integrace s Databricks: Sdílení tabulek AIStor, založené na sdílení Delta, umožňuje přímý přístup k místním tabulkám z pracovních prostorů Databricks. Klastry mohou tyto sdílené tabulky považovat za nativní, čímž rozšiřují cloudovou analytiku na místní data bez nutnosti dalšího ingestování nebo konektorů.
- Hybridní a multicloudový design: Tato funkce podporuje místní, hybridní a multicloudová prostředí, což umožňuje, aby data zůstala lokální a zároveň dostupná z Databricks napříč regiony.
Zaměření na podnikání
MinIO a Databricks slouží sdílené zákaznické základně podniků napříč odvětvími, jako je výroba, finanční služby, energetika, maloobchod a logistika. Tyto organizace obvykle generují velké množství provozních dat v místních prostředích. Předpisy, problémy s latencí a náklady znemožňují přesun všech dat do cloudu.
Sdílení tabulek AIStor se zaměřuje na scénáře, kde zákazníci chtějí využívat analytické funkce a funkce umělé inteligence od Databricks přímo na místních datových sadách, nikoli pouze na selektivně replikovaných podmnožinách. Díky lokálnímu uchovávání dat a zároveň umožnění přístupu prostřednictvím otevřeného protokolu sdílení mohou firmy dodržovat stávající požadavky na dodržování předpisů, auditování a suverenitu a zároveň konsolidovat analytické procesy a procesy umělé inteligence na Databricks.
Flexibilita a škálovatelnost
Sdílení tabulek AIStor také ilustruje, jak velké organizace spravují různorodá data v různých formátech a platformách ve velkém měřítku. Podporou tabulek Delta i Apache Iceberg zabraňuje MinIO tomu, aby byli zákazníci vázáni na jeden framework Lakehouse nebo proprietární metodu sdílení.
Všechny edice MinIO AIStor sdílejí stejnou binární a základní architekturu, s rozdíly omezenými na licencované funkce, omezení škálování a úrovně podpory. Tato struktura umožňuje organizacím zavést sdílení tabulek AIStor ve vhodném vstupním bodě a škálovat kapacitu, výkon a funkce podle rostoucích potřeb, aniž by se měnil podkladový software.
dostupnost
Sdílení tabulek AIStor je nyní obecně dostupné s MinIO AIStor.
Amazon