MinIO ha lanzado AIStor Table Sharing, una nueva función de MinIO AIStor que permite a las empresas acceder directamente a los datos locales desde la plataforma Databricks mediante el protocolo abierto Delta Sharing. Esta función permite a Databricks acceder de inmediato a los conjuntos de datos locales para realizar análisis y tareas de IA, sin necesidad de la migración o replicación de datos tradicionales.
Cómo abordar la gravedad de los datos locales para Databricks
Muchas empresas utilizan Databricks para análisis e inteligencia artificial, pero la mayor parte de los datos críticos siguen almacenándose en sus propias instalaciones por motivos de escalabilidad, rendimiento, coste y cumplimiento normativo.
Tradicionalmente, conectar los datos locales con Databricks implicaba complejos procesos ETL, duplicación de datos en el almacenamiento en la nube y una gobernanza independiente, lo que conllevaba una obtención de información más lenta, mayores costes, riesgos operativos y dificultades de mantenimiento.
AIStor Table Sharing integra Delta Sharing en el almacenamiento de objetos, lo que permite compartir datos de forma segura y sin interrupciones entre plataformas, nubes y regiones. Al incorporar el protocolo de código abierto de Databricks, MinIO habilita el análisis federado de datos en tiempo real sin duplicar datos ni restringir formatos.
AB Periasamy, cofundador y codirector ejecutivo de MinIO, destacó que las empresas no deberían tener que transferir grandes conjuntos de datos para analizarlos. Describió la "gravedad de los datos" como un desafío constante a medida que la tecnología de IA se extiende tanto a entornos locales como en la nube. Periasamy afirmó que AIStor Table Sharing, impulsado por Delta Sharing, permite acceder a los datos donde están almacenados, con el objetivo de mejorar la velocidad de obtención de información, reducir el riesgo y optimizar las operaciones en implementaciones híbridas de IA.
Stephen Orban, vicepresidente sénior de Ecosistema de Productos y Alianzas en Databricks, señaló que los clientes suelen solicitar formas de gestionar y compartir datos tanto en la nube como en sus propias instalaciones. Describió la alianza entre Databricks y MinIO como parte de una estrategia de ecosistema de datos abiertos. La integración de Delta Sharing de MinIO tiene como objetivo ayudar a las empresas a vincular de forma segura los datos locales con Databricks sin necesidad de una replicación compleja, lo que acelera la obtención de información valiosa para cargas de trabajo híbridas.
Construido sobre tablas AIStor y Apache Iceberg.
AIStor Table Sharing se basa en AIStor Tables, la plataforma nativa de Apache Iceberg v3 de MinIO para arquitecturas modernas de almacenamiento de datos que operan a escala empresarial en entornos locales e híbridos. AIStor Tables incluye:
– Almacenamiento de objetos MinIO de alto rendimiento y compatible con S3
– Catálogos de tablas Iceberg integrados y metadatos
– Una API REST para operaciones de tabla
– Compatibilidad integrada con estándares abiertos para compartir datos.
Dado que las definiciones de tablas, las políticas de gobernanza y los protocolos de uso compartido se gestionan dentro del mismo sistema de almacenamiento de datos, las empresas pueden definir y publicar directamente los recursos compartidos de tablas desde AIStor sin necesidad de un catálogo externo ni capas de uso compartido.
La plataforma consolida datos estructurados y no estructurados en un único entorno de almacenamiento y metadatos. AIStor funciona como un repositorio de datos para IA, lo que permite realizar análisis y tareas de IA basadas en GPU en una sola capa de datos. Su objetivo es simplificar la arquitectura, evitar la duplicación de datos y reducir la complejidad operativa.
La función AIStor Table Sharing extiende este marco a los entornos de Databricks, lo que permite a los usuarios acceder a los datos de AIStor locales como tablas de primera clase, al tiempo que se conserva el rendimiento, la rentabilidad y el control administrativo local.
Características principales
AIStor Table Sharing hace hincapié en los protocolos abiertos y las arquitecturas híbridas. Las características clave incluyen:
- Compartir de forma abierta, implementado de forma nativa: AIStor utiliza Delta Sharing 1.0 en MinIO para permitir el intercambio de datos basado en estándares, lo que aumenta la compatibilidad y reduce la dependencia de un proveedor específico.
- Análisis in situ de datos locales: Databricks accede a los datos locales en AIStor mediante Delta Sharing sin replicación, lo que reduce los costes a la vez que preserva el rendimiento, la seguridad y el cumplimiento normativo.
- Compatibilidad con tablas en múltiples formatos: AIStor Table Sharing admite tablas Delta y Apache Iceberg, lo que permite a las empresas adoptar o coexistir con diferentes formatos abiertos a lo largo del tiempo sin cambiar el método de compartición.
- Integración nativa con Databricks: AIStor Table Sharing, basado en Delta Sharing, permite el acceso directo a tablas locales desde espacios de trabajo de Databricks. Los clústeres pueden tratar estas tablas compartidas como nativas, extendiendo el análisis en la nube a los datos locales sin necesidad de ingesta ni conectores adicionales.
- Diseño híbrido y multinube: Esta función es compatible con entornos locales, híbridos y multinube, lo que permite que los datos permanezcan locales a la vez que sean accesibles desde Databricks en todas las regiones.
Enfoque en la empresa
MinIO y Databricks prestan servicios a una base de clientes empresariales compartida en sectores como la manufactura, los servicios financieros, la energía, el comercio minorista y la logística. Estas organizaciones suelen generar grandes cantidades de datos operativos en entornos locales. Las regulaciones, los problemas de latencia y las consideraciones de costos hacen que no sea práctico trasladar todos los datos a la nube.
AIStor Table Sharing está diseñado para escenarios en los que los clientes desean aprovechar las funciones de análisis e IA de Databricks directamente en conjuntos de datos locales, y no solo en subconjuntos replicados selectivamente. Al mantener los datos localmente y permitir el acceso mediante un protocolo de intercambio abierto, las empresas pueden cumplir con los requisitos de cumplimiento, auditoría y soberanía existentes, al tiempo que consolidan los procesos de análisis e IA en Databricks.
Flexibilidad y escala
AIStor Table Sharing también ilustra cómo las grandes organizaciones gestionan datos diversos en múltiples formatos y plataformas a gran escala. Al ser compatible con tablas Delta y Apache Iceberg, MinIO evita que los clientes queden limitados a un único framework de almacenamiento en la nube o a un método de compartición propietario.
Todas las ediciones de MinIO AIStor comparten la misma arquitectura binaria y central, con diferencias limitadas a las funciones con licencia, las restricciones de escalabilidad y los niveles de soporte. Esta estructura permite a las organizaciones adoptar AIStor Table Sharing en un punto de entrada adecuado y escalar la capacidad, el rendimiento y las funciones a medida que crecen sus necesidades, sin modificar el software subyacente.
Disponibilidad
La función de uso compartido de tablas de AIStor ya está disponible de forma general con MinIO AIStor.
Amazon