Firma MinIO wprowadziła AIStor Table Sharing, nową funkcję w MinIO AIStor, która umożliwia firmom bezpośredni dostęp do danych lokalnych na platformie Databricks za pośrednictwem otwartego protokołu Delta Sharing. Funkcja ta umożliwia Databricks natychmiastowy dostęp do bieżących lokalnych zestawów danych w celu realizacji zadań analitycznych i związanych ze sztuczną inteligencją, bez konieczności tradycyjnego przenoszenia lub replikacji danych.
Rozwiązywanie problemu ciężaru danych lokalnych w Databricks
Wiele firm wykorzystuje Databricks do celów analitycznych i sztucznej inteligencji, ale większość krytycznych danych nadal jest przechowywana lokalnie ze względu na skalowalność, wydajność, koszty i zgodność z przepisami.
Łączenie danych lokalnych z Databricks tradycyjnie wiązało się ze złożonymi procesami ETL, duplikacją danych w pamięci masowej w chmurze i oddzielnym zarządzaniem, co skutkowało wolniejszym uzyskiwaniem analiz, wyższymi kosztami, ryzykiem operacyjnym i problemami z konserwacją.
AIStor Table Sharing integruje technologię Delta Sharing z magazynem obiektów, umożliwiając bezproblemowe i bezpieczne udostępnianie danych między platformami, chmurami i regionami. Dzięki wbudowaniu protokołu open source Databricks, MinIO umożliwia federacyjną analizę danych na żywo bez duplikowania danych i ograniczania formatów.
Współzałożyciel i współprezes MinIO, AB Periasamy, podkreślił, że firmy nie powinny musieć przesyłać dużych zbiorów danych w celu ich analizy. Opisał „grawitację danych” jako ciągłe wyzwanie, ponieważ technologia sztucznej inteligencji (AI) rozszerza się zarówno na środowisko lokalne, jak i chmurowe. Periasamy stwierdził, że AIStor Table Sharing, oparty na technologii Delta Sharing, umożliwia dostęp do danych w miejscu ich przechowywania, co ma na celu przyspieszenie analizy, zmniejszenie ryzyka i usprawnienie operacji w przypadku hybrydowych wdrożeń AI.
Stephen Orban, wiceprezes ds. ekosystemu produktów i partnerstw w Databricks, zwrócił uwagę, że klienci często pytają o sposoby zarządzania i udostępniania danych zarówno w chmurze, jak i lokalnie. Partnerstwo między Databricks a MinIO określił jako element strategii otwartego ekosystemu danych. Integracja funkcji Delta Sharing w MinIO ma pomóc firmom w bezpiecznym łączeniu danych lokalnych z Databricks bez konieczności skomplikowanej replikacji, co przyspiesza analizę danych w środowiskach hybrydowych.
Zbudowany na tabelach AIStor i Apache Iceberg
Usługa AIStor Table Sharing opiera się na AIStor Tables, natywnej platformie Apache Iceberg v3 firmy MinIO, przeznaczonej dla nowoczesnych architektur data lakehouse, działających w skali korporacyjnej w środowiskach lokalnych i hybrydowych. AIStor Tables obejmuje:
– Wydajna, zgodna ze standardem S3 pamięć masowa obiektów MinIO
– Zintegrowane katalogi tabel Iceberg i metadane
– Interfejs API REST dla operacji tabelarycznych
– Wbudowane wsparcie dla otwartych standardów udostępniania danych
Ponieważ definicje tabel, zasady zarządzania i protokoły udostępniania są zarządzane w ramach tego samego systemu przechowywania danych, przedsiębiorstwa mogą bezpośrednio definiować i publikować udziały tabel z poziomu AIStor bez konieczności korzystania z zewnętrznego katalogu lub warstw udostępniania.
Platforma konsoliduje ustrukturyzowane i nieustrukturyzowane dane w jednym środowisku pamięci masowej i metadanych. AIStor działa jako magazyn danych AI, umożliwiając analitykę i zadania AI oparte na GPU w ramach jednej warstwy danych. Jego celem jest uproszczenie architektury, zapobieganie duplikacji danych i zmniejszenie złożoności operacyjnej.
Funkcja AIStor Table Sharing rozszerza tę strukturę na środowiska Databricks, umożliwiając użytkownikom dostęp do lokalnych danych AIStor w formie tabel pierwszej klasy, przy jednoczesnym zachowaniu wydajności, efektywności kosztowej i lokalnej kontroli administracyjnej.
Kluczowe funkcje
AIStor Table Sharing kładzie nacisk na otwarte protokoły i architekturę hybrydową. Kluczowe funkcje obejmują:
- Otwarte udostępnianie, implementacja natywna: AIStor wykorzystuje technologię Delta Sharing 1.0 w MinIO, aby umożliwić udostępnianie danych zgodne ze standardami, zwiększając kompatybilność i zmniejszając uzależnienie od dostawcy.
- Analityka na miejscu w oparciu o dane lokalne: Databricks uzyskuje dostęp do danych lokalnych w AIStor za pośrednictwem funkcji Delta Sharing bez replikacji, co pozwala obniżyć koszty przy jednoczesnym zachowaniu wydajności, bezpieczeństwa i zgodności z przepisami.
- Obsługa tabel wieloformatowych: Usługa AIStor Table Sharing obsługuje tabele Delta i Apache Iceberg, dzięki czemu firmy mogą wdrażać lub współistnieć z różnymi otwartymi formatami na przestrzeni czasu bez konieczności zmiany metody udostępniania.
- Natywna integracja Databricks: Funkcja AIStor Table Sharing, oparta na technologii Delta Sharing, umożliwia bezpośredni dostęp do tabel lokalnych z poziomu przestrzeni roboczych Databricks. Klastry mogą traktować te współdzielone tabele jako natywne, rozszerzając analitykę chmurową na dane lokalne bez konieczności dodatkowego pobierania danych i stosowania łączników.
- Projektowanie hybrydowe i wielochmurowe: Funkcja ta obsługuje środowiska lokalne, hybrydowe i wielochmurowe, umożliwiając przechowywanie danych lokalnie i dostęp do nich z poziomu Databricks w różnych regionach.
Skupienie się na przedsiębiorstwie
MinIO i Databricks obsługują wspólną bazę klientów korporacyjnych z branż takich jak produkcja, usługi finansowe, energetyka, handel detaliczny i logistyka. Organizacje te zazwyczaj generują duże ilości danych operacyjnych w środowisku lokalnym. Przepisy, problemy z opóźnieniami i koszty sprawiają, że przeniesienie wszystkich danych do chmury jest niepraktyczne.
Usługa AIStor Table Sharing jest przeznaczona dla scenariuszy, w których klienci chcą korzystać z funkcji analitycznych i sztucznej inteligencji Databricks bezpośrednio na lokalnych zestawach danych, a nie tylko na selektywnie replikowanych podzbiorach. Dzięki lokalnemu przechowywaniu danych i umożliwieniu dostępu za pośrednictwem otwartego protokołu udostępniania, firmy mogą zachować istniejące wymogi dotyczące zgodności, audytu i suwerenności, jednocześnie konsolidując procesy analityczne i sztucznej inteligencji w Databricks.
Elastyczność i skala
AIStor Table Sharing ilustruje również, jak duże organizacje zarządzają zróżnicowanymi danymi w wielu formatach i na wielu platformach na dużą skalę. Dzięki obsłudze tabel Delta i Apache Iceberg, MinIO zapobiega uzależnieniu klientów od pojedynczej infrastruktury typu lakehouse lub zastrzeżonej metody udostępniania.
Wszystkie edycje MinIO AIStor korzystają z tej samej architektury binarnej i rdzeniowej, a różnice ograniczają się do licencjonowanych funkcji, ograniczeń skalowalności i poziomów wsparcia. Taka struktura pozwala organizacjom wdrożyć AIStor Table Sharing w odpowiednim momencie oraz skalować pojemność, wydajność i funkcje w miarę wzrostu potrzeb, bez konieczności zmiany oprogramowania bazowego.
Dostępność:
Współdzielenie tabeli AIStor jest teraz ogólnie dostępne z MinIO AIStor.
Amazon