MinIO ha lanciato AIStor Table Sharing, una nuova funzionalità di MinIO AIStor che consente alle aziende di rendere i dati on-premise direttamente accessibili alla piattaforma Databricks tramite il protocollo aperto Delta Sharing. Questa funzionalità permette a Databricks di accedere immediatamente ai dataset on-premise esistenti per attività di analisi e intelligenza artificiale, senza la necessità di tradizionali trasferimenti o repliche di dati.
Gestione della densità di dati on-premise per Databricks
Molte aziende utilizzano Databricks per l'analisi dei dati e l'intelligenza artificiale, ma la maggior parte dei dati critici rimane archiviata in locale per motivi di scalabilità, prestazioni, costi e conformità.
Tradizionalmente, la connessione dei dati on-premise a Databricks implicava complesse pipeline ETL, duplicazione dei dati nell'archiviazione cloud e una governance separata, con conseguenti tempi di analisi più lunghi, costi più elevati, rischi operativi e difficoltà di manutenzione.
AIStor Table Sharing integra Delta Sharing nell'archivio oggetti, consentendo una condivisione dei dati sicura e senza interruzioni tra piattaforme, cloud e regioni. Grazie all'integrazione del protocollo open-source di Databricks, MinIO abilita l'analisi federata su dati in tempo reale senza duplicare i dati o limitare i formati.
AB Periasamy, co-fondatore e co-CEO di MinIO, ha sottolineato che le aziende non dovrebbero essere costrette a trasferire grandi quantità di dati per analizzarli. Ha descritto la "gravità dei dati" come una sfida continua, dato che la tecnologia AI si sta estendendo sia agli ambienti on-premise che a quelli cloud. Periasamy ha affermato che AIStor Table Sharing, basato su Delta Sharing, consente di accedere ai dati ovunque siano archiviati, con l'obiettivo di migliorare la velocità di acquisizione delle informazioni, ridurre i rischi e semplificare le operazioni per le implementazioni ibride di AI.
Stephen Orban, SVP of Product Ecosystem & Partnerships di Databricks, ha sottolineato che i clienti spesso chiedono soluzioni per gestire e condividere i dati sia nel cloud che on-premise. Ha descritto la partnership tra Databricks e MinIO come parte di una strategia per un ecosistema di dati aperto. L'integrazione di Delta Sharing di MinIO ha lo scopo di aiutare le aziende a collegare in modo sicuro i dati on-premise a Databricks senza complesse procedure di replica, velocizzando così l'ottenimento di informazioni utili per i carichi di lavoro ibridi.
Basato su tabelle AIStor e Apache Iceberg
La condivisione delle tabelle AIStor si basa su AIStor Tables, la piattaforma nativa di Apache Iceberg v3 di MinIO per le moderne architetture di data lakehouse che operano su scala aziendale in ambienti on-premise e ibridi. Le tabelle AIStor includono:
– Archiviazione di oggetti MinIO ad alte prestazioni e compatibile con S3.
– Cataloghi e metadati integrati delle tabelle Iceberg
– Un'API REST per le operazioni sulle tabelle
– Supporto integrato per gli standard di condivisione dati aperti
Poiché le definizioni delle tabelle, le politiche di governance e i protocolli di condivisione sono tutti gestiti all'interno dello stesso sistema di archiviazione dati, le aziende possono definire e pubblicare direttamente le condivisioni delle tabelle da AIStor senza bisogno di un catalogo esterno o di livelli di condivisione.
La piattaforma consolida dati strutturati e non strutturati in un unico ambiente di archiviazione e metadati. AIStor funziona come archivio dati per l'IA, consentendo analisi e attività di IA basate su GPU su un unico livello di dati. Il suo scopo è semplificare l'architettura, prevenire la duplicazione dei dati e ridurre la complessità operativa.
AIStor Table Sharing estende questo framework agli ambienti Databricks, consentendo agli utenti di accedere ai dati AIStor on-premise come tabelle di primaria importanza, preservando al contempo prestazioni, efficienza dei costi e controllo amministrativo locale.
Funzionalità principali
AIStor Table Sharing si basa su protocolli aperti e architetture ibride. Le caratteristiche principali includono:
- Condivisione aperta, implementata nativamente: AIStor utilizza Delta Sharing 1.0 in MinIO per abilitare la condivisione dei dati basata su standard, migliorando la compatibilità e riducendo la dipendenza da un singolo fornitore.
- Analisi in loco su dati locali: Databricks accede ai dati on-premise in AIStor tramite Delta Sharing senza replica, riducendo i costi e preservando al contempo prestazioni, sicurezza e conformità.
- Supporto per tabelle multiformato: AIStor Table Sharing supporta sia le tabelle Delta che quelle Apache Iceberg, consentendo alle aziende di adottare o coesistere con diversi formati aperti nel tempo senza dover modificare il metodo di condivisione.
- Integrazione nativa con Databricks: AIStor Table Sharing, basato su Delta Sharing, consente l'accesso diretto alle tabelle locali dagli spazi di lavoro di Databricks. I cluster possono trattare queste tabelle condivise come native, estendendo l'analisi cloud ai dati locali senza necessità di acquisizione o connettori aggiuntivi.
- Progettazione ibrida e multi-cloud: Questa funzionalità supporta ambienti on-premise, ibridi e multi-cloud, consentendo ai dati di rimanere locali pur essendo accessibili da Databricks in diverse regioni.
Focus sulle imprese
MinIO e Databricks servono una base clienti aziendale comune in diversi settori come la produzione, i servizi finanziari, l'energia, la vendita al dettaglio e la logistica. Queste organizzazioni generano solitamente grandi quantità di dati operativi in ambienti on-premise. Normative, problemi di latenza e considerazioni sui costi rendono impraticabile il trasferimento di tutti i dati sul cloud.
AIStor Table Sharing è pensato per scenari in cui i clienti desiderano sfruttare le funzionalità di analisi e intelligenza artificiale di Databricks direttamente sui set di dati esistenti, e non solo su sottoinsiemi replicati in modo selettivo. Mantenendo i dati in locale e consentendo l'accesso tramite un protocollo di condivisione aperto, le aziende possono rispettare i requisiti di conformità, audit e sovranità esistenti, consolidando al contempo i processi di analisi e intelligenza artificiale su Databricks.
Flessibilità e scalabilità
AIStor Table Sharing illustra anche come le grandi organizzazioni gestiscono dati eterogenei su più formati e piattaforme su larga scala. Grazie al supporto sia per le tabelle Delta che per le tabelle Apache Iceberg, MinIO impedisce ai clienti di essere vincolati a un singolo framework lakehouse o a un metodo di condivisione proprietario.
Tutte le edizioni di MinIO AIStor condividono la stessa architettura binaria e di base, con differenze limitate alle funzionalità con licenza, ai vincoli di scalabilità e ai livelli di supporto. Questa struttura consente alle organizzazioni di adottare AIStor Table Sharing partendo da un livello di ingresso appropriato e di scalare capacità, prestazioni e funzionalità in base alle proprie esigenze, senza dover modificare il software sottostante.
Disponibilità
La condivisione delle tabelle AIStor è ora generalmente disponibile con MinIO AIStor.
Amazon