MinIO a lancé AIStor Table Sharing, une nouvelle fonctionnalité de MinIO AIStor qui permet aux entreprises de rendre leurs données sur site directement accessibles à la plateforme Databricks via le protocole ouvert Delta Sharing. Grâce à cette fonctionnalité, Databricks peut accéder immédiatement aux ensembles de données sur site pour les analyses et les tâches d'IA, sans nécessiter de déplacement ni de réplication de données.
Gestion de la gravité des données sur site pour Databricks
De nombreuses entreprises utilisent Databricks pour l'analyse et l'IA, mais la plupart des données critiques restent stockées sur site pour des raisons d'évolutivité, de performance, de coût et de conformité.
La connexion des données sur site à Databricks impliquait traditionnellement des pipelines ETL complexes, une duplication des données dans le stockage cloud et une gouvernance séparée, ce qui entraînait des analyses plus lentes, des coûts plus élevés, des risques opérationnels et des difficultés de maintenance.
AIStor Table Sharing intègre le partage delta au sein du système de stockage d'objets, permettant ainsi un partage de données fluide et sécurisé entre les plateformes, les clouds et les régions. Grâce à l'intégration du protocole open source de Databricks, MinIO permet l'analyse fédérée de données en temps réel sans duplication ni restriction de format.
AB Periasamy, cofondateur et codirecteur général de MinIO, a souligné que les entreprises ne devraient pas avoir à transférer d'importants volumes de données pour les analyser. Il a décrit la « gravité des données » comme un défi permanent, à mesure que l'IA se déploie sur site et dans le cloud. M. Periasamy a indiqué que le partage de tables AIStor, optimisé par le partage delta, permet d'accéder aux données là où elles sont stockées, afin d'accélérer l'obtention d'informations, de réduire les risques et de simplifier les opérations pour les déploiements d'IA hybrides.
Stephen Orban, vice-président senior de l'écosystème produit et des partenariats chez Databricks, a souligné que les clients demandent souvent des solutions pour gérer et partager leurs données, aussi bien dans le cloud que sur site. Il a décrit le partenariat entre Databricks et MinIO comme s'inscrivant dans une stratégie d'écosystème de données ouvert. L'intégration de Delta Sharing de MinIO vise à aider les entreprises à connecter en toute sécurité leurs données sur site à Databricks sans réplication complexe, ce qui accélère l'analyse des données pour les environnements hybrides.
Construit sur les tables AIStor et Apache Iceberg
Le partage de tables AIStor repose sur les tables AIStor, la plateforme native Apache Iceberg v3 de MinIO pour les architectures modernes de lac de données fonctionnant à l'échelle de l'entreprise dans des environnements sur site et hybrides. Les tables AIStor comprennent :
– Stockage d'objets MinIO hautes performances, compatible S3
– Catalogues et métadonnées intégrés des tables Iceberg
– Une API REST pour les opérations sur les tables
– Prise en charge intégrée des normes de partage de données ouvertes
Étant donné que les définitions de tables, les politiques de gouvernance et les protocoles de partage sont tous gérés au sein du même système de stockage de données, les entreprises peuvent définir et publier directement des partages de tables à partir d'AIStor sans avoir besoin d'un catalogue externe ni de couches de partage.
La plateforme consolide les données structurées et non structurées dans un environnement unique de stockage et de métadonnées. AIStor fonctionne comme un entrepôt de données pour l'IA, permettant l'analyse et les tâches d'IA basées sur GPU au sein d'une seule couche de données. Son objectif est de simplifier l'architecture, d'éviter la duplication des données et de réduire la complexité opérationnelle.
AIStor Table Sharing étend ce cadre aux environnements Databricks, permettant aux utilisateurs d'accéder aux données AIStor sur site sous forme de tables de premier ordre tout en préservant les performances, l'efficacité des coûts et le contrôle administratif local.
Fonctionnalités clés
AIStor Table Sharing privilégie les protocoles ouverts et les architectures hybrides. Ses principales caractéristiques sont les suivantes :
- Partage ouvert, implémenté nativement : AIStor utilise Delta Sharing 1.0 dans MinIO pour permettre le partage de données basé sur des normes, améliorant ainsi la compatibilité et réduisant la dépendance vis-à-vis du fournisseur.
- Analyses sur site des données locales : Databricks accède aux données sur site dans AIStor via Delta Sharing sans réplication, réduisant ainsi les coûts tout en préservant les performances, la sécurité et la conformité.
- Prise en charge des tableaux multiformats : AIStor Table Sharing prend en charge les tables Delta et Apache Iceberg, permettant aux entreprises d'adopter ou de faire coexister différents formats ouverts au fil du temps sans modifier la méthode de partage.
- Intégration native de Databricks : AIStor Table Sharing, basé sur le partage delta, permet un accès direct aux tables locales depuis les espaces de travail Databricks. Les clusters peuvent traiter ces tables partagées comme des données natives, étendant ainsi l'analyse cloud aux données locales sans ingestion ni connecteurs supplémentaires.
- Conception hybride et multicloud : Cette fonctionnalité prend en charge les environnements sur site, hybrides et multicloud, permettant aux données de rester locales tout en étant accessibles depuis Databricks dans différentes régions.
Priorité à l'entreprise
MinIO et Databricks desservent une clientèle d'entreprises commune, répartie dans des secteurs tels que l'industrie manufacturière, les services financiers, l'énergie, la distribution et la logistique. Ces organisations génèrent généralement d'importants volumes de données opérationnelles sur site. Les contraintes réglementaires, les problèmes de latence et les considérations de coûts rendent difficile le transfert de l'ensemble des données vers le cloud.
AIStor Table Sharing s'adresse aux clients souhaitant exploiter les fonctionnalités d'analyse et d'IA de Databricks directement sur leurs données existantes, et non sur des sous-ensembles répliqués de manière sélective. En conservant les données en local tout en permettant l'accès via un protocole de partage ouvert, les entreprises peuvent respecter leurs exigences actuelles en matière de conformité, d'audit et de souveraineté, tout en consolidant leurs processus d'analyse et d'IA sur Databricks.
Flexibilité et échelle
Le partage de tables AIStor illustre également comment les grandes organisations gèrent des données hétérogènes sur de multiples formats et plateformes à grande échelle. En prenant en charge les tables Delta et Apache Iceberg, MinIO évite à ses clients d'être prisonniers d'un seul framework de gestion de données ou d'une méthode de partage propriétaire.
Toutes les éditions MinIO AIStor partagent la même architecture binaire et de base, les différences se limitant aux fonctionnalités sous licence, aux contraintes d'évolutivité et aux niveaux de support. Cette structure permet aux organisations d'adopter le partage de tables AIStor à un niveau adapté à leurs besoins et d'adapter la capacité, les performances et les fonctionnalités en fonction de l'évolution de ces besoins, sans modifier le logiciel sous-jacent.
Disponibilité
Le partage de tables AIStor est désormais disponible pour tous avec MinIO AIStor.
Amazon