A MinIO lançou o AIStor Table Sharing, um novo recurso do MinIO AIStor que permite às empresas tornar os dados locais diretamente acessíveis à plataforma Databricks por meio do protocolo aberto Delta Sharing. Esse recurso permite que o Databricks acesse imediatamente os conjuntos de dados locais para tarefas de análise e IA, sem a necessidade de movimentação ou replicação de dados tradicionais.
Abordando a gravidade dos dados locais para o Databricks
Muitas empresas usam o Databricks para análises e IA, mas a maioria dos dados críticos permanece armazenada localmente devido a questões de escalabilidade, desempenho, custo e conformidade.
Tradicionalmente, conectar dados locais ao Databricks envolvia pipelines ETL complexos, duplicação de dados no armazenamento em nuvem e governança separada, resultando em insights mais lentos, custos mais altos, riscos operacionais e desafios de manutenção.
O compartilhamento de tabelas AIStor integra o compartilhamento delta ao armazenamento de objetos, permitindo o compartilhamento de dados contínuo e seguro entre plataformas, nuvens e regiões. Ao incorporar o protocolo de código aberto da Databricks, o MinIO possibilita análises federadas em dados em tempo real sem duplicar dados ou restringir formatos.
AB Periasamy, cofundador e co-CEO da MinIO, destacou que as empresas não deveriam precisar transferir grandes conjuntos de dados para analisá-los. Ele descreveu a "gravidade dos dados" como um desafio constante, à medida que a tecnologia de IA se expande tanto para ambientes locais quanto para a nuvem. Periasamy afirmou que o AIStor Table Sharing, com tecnologia Delta Sharing, permite o acesso aos dados onde eles estão armazenados, visando melhorar a velocidade de obtenção de insights, reduzir riscos e otimizar as operações para implantações híbridas de IA.
Stephen Orban, vice-presidente sênior de Ecossistema de Produtos e Parcerias da Databricks, destacou que os clientes frequentemente solicitam maneiras de gerenciar e compartilhar dados tanto na nuvem quanto em infraestruturas locais. Ele caracterizou a parceria entre a Databricks e a MinIO como parte de uma estratégia de ecossistema de dados abertos. A integração do Delta Sharing da MinIO visa ajudar as empresas a conectar dados locais à Databricks de forma segura, sem a necessidade de replicação complexa, o que acelera a obtenção de insights para cargas de trabalho híbridas.
Construído sobre as tabelas AIStor e o Apache Iceberg.
O compartilhamento de tabelas AIStor é baseado em tabelas AIStor, a base nativa do Apache Iceberg v3 da MinIO para arquiteturas modernas de data lake que operam em escala empresarial em ambientes locais e híbridos. As tabelas AIStor incluem:
– Armazenamento de objetos MinIO de alto desempenho e compatível com S3
– Catálogos e metadados integrados da tabela Iceberg
– Uma API REST para operações de tabela
– Suporte integrado para padrões de compartilhamento de dados abertos
Como as definições de tabelas, as políticas de governança e os protocolos de compartilhamento são gerenciados dentro do mesmo sistema de armazenamento de dados, as empresas podem definir e publicar compartilhamentos de tabelas diretamente do AIStor, sem a necessidade de um catálogo externo ou camadas de compartilhamento.
A plataforma consolida dados estruturados e não estruturados em um único ambiente de armazenamento e metadados. O AIStor funciona como um repositório de dados de IA, permitindo análises e tarefas de IA baseadas em GPU em uma única camada de dados. Seu objetivo é simplificar a arquitetura, evitar a duplicação de dados e diminuir a complexidade operacional.
O compartilhamento de tabelas do AIStor estende essa estrutura para ambientes Databricks, permitindo que os usuários acessem dados do AIStor locais como tabelas de primeira classe, preservando o desempenho, a relação custo-benefício e o controle administrativo local.
Principais funcionalidades
O compartilhamento de tabelas AIStor enfatiza protocolos abertos e arquiteturas híbridas. Os principais recursos incluem:
- Compartilhamento aberto, implementado nativamente: O AIStor utiliza o Delta Sharing 1.0 no MinIO para permitir o compartilhamento de dados baseado em padrões, aumentando a compatibilidade e reduzindo a dependência de fornecedores.
- Análise in-place de dados locais: O Databricks acessa dados locais no AIStor por meio do Compartilhamento Delta sem replicação, reduzindo custos e, ao mesmo tempo, preservando o desempenho, a segurança e a conformidade.
- Suporte a tabelas em múltiplos formatos: O compartilhamento de tabelas AIStor oferece suporte a tabelas Delta e Apache Iceberg, permitindo que as empresas adotem ou coexistam com diferentes formatos abertos ao longo do tempo sem alterar o método de compartilhamento.
- Integração nativa com Databricks: O compartilhamento de tabelas AIStor, baseado no compartilhamento delta, permite o acesso direto a tabelas locais a partir de espaços de trabalho do Databricks. Os clusters podem tratar essas tabelas compartilhadas como nativas, estendendo a análise na nuvem para dados locais sem ingestão ou conectores adicionais.
- Design híbrido e multicloud: Este recurso é compatível com ambientes locais, híbridos e multicloud, permitindo que os dados permaneçam locais, mas acessíveis a partir do Databricks em diferentes regiões.
Foco nas Empresas
A MinIO e a Databricks atendem a uma base de clientes corporativos em comum em diversos setores, como manufatura, serviços financeiros, energia, varejo e logística. Essas organizações geralmente geram grandes quantidades de dados operacionais em ambientes locais. Regulamentações, desafios de latência e considerações de custo tornam inviável a migração de todos os dados para a nuvem.
O compartilhamento de tabelas AIStor visa cenários em que os clientes desejam aproveitar os recursos de análise e IA do Databricks diretamente em conjuntos de dados locais, e não apenas em subconjuntos replicados seletivamente. Ao manter os dados locais e permitir o acesso por meio de um protocolo de compartilhamento aberto, as empresas podem atender aos requisitos de conformidade, auditoria e soberania existentes, consolidando os processos de análise e IA no Databricks.
Flexibilidade e escala
O compartilhamento de tabelas AIStor também ilustra como grandes organizações gerenciam dados diversos em vários formatos e plataformas em escala. Ao oferecer suporte a tabelas Delta e Apache Iceberg, o MinIO evita que os clientes fiquem presos a uma única estrutura de lakehouse ou a um método de compartilhamento proprietário.
Todas as edições do MinIO AIStor compartilham a mesma arquitetura binária e central, com diferenças limitadas a recursos licenciados, restrições de escala e níveis de suporte. Essa estrutura permite que as organizações adotem o compartilhamento de tabelas do AIStor em um ponto de entrada apropriado e escalem a capacidade, o desempenho e os recursos à medida que suas necessidades crescem, sem alterar o software subjacente.
Disponibilidade
O compartilhamento de tabelas AIStor agora está disponível para todos os usuários do MinIO AIStor.
Amazon