A Cloudera lançou o Cloudera Anywhere Cloud , uma plataforma híbrida de dados e IA projetada para criar, implantar e dimensionar cargas de trabalho de nível de produção em nuvens públicas, ambientes soberanos e infraestrutura privada local. A plataforma pode funcionar como uma implantação independente ou integrar-se diretamente a data lakes corporativos existentes. Ela fornece um plano de controle centralizado que oferece gerenciamento automatizado, provisionamento modular de serviços e governança de dados uniforme, sem exigir a migração de dados das camadas de armazenamento locais.
Visão geral da arquitetura e mobilidade da carga de trabalho
O Cloudera Anywhere Cloud utiliza uma arquitetura modular e desacoplada que separa os serviços de computação da infraestrutura de armazenamento subjacente. Esse design permite que as equipes técnicas implementem mecanismos analíticos independentes, incluindo Apache Spark, Apache Kafka e Trino, juntamente com mecanismos personalizados de código aberto ou de terceiros por meio de modelos de marketplace de autoatendimento. O sistema conecta esses mecanismos de computação distribuídos em infraestruturas heterogêneas usando APIs padrão, formatos de tabela aberta do Apache Iceberg e o catálogo Polaris, eliminando formatos de dados proprietários e sobrecarga de integração personalizada.
Gargalos de desempenho na infraestrutura e exigências complexas de residência de dados frequentemente paralisam os pipelines de IA corporativos durante a transição das fases piloto para a produção. A Cloudera cita uma pesquisa recente que revela que 73% dos líderes de TI acreditam que as restrições de desempenho da infraestrutura têm prejudicado as iniciativas operacionais. O Cloudera Anywhere Cloud resolve essa latência operacional facilitando a alocação localizada de cargas de trabalho. Os aplicativos são executados onde os requisitos de negócios, regulatórios ou de hardware assim o determinam, eliminando a necessidade de replicar ou transferir grandes conjuntos de dados entre ambientes distintos.
Governança, Automação Agencial e Controle
A plataforma incorpora controles de segurança nativos de confiança zero em nós de armazenamento e computação distribuídos. Essa estrutura mantém a linhagem de dados, os limites de acesso e a conformidade contínua em camadas de nuvem soberana, privada e pública. As implantações herdam automaticamente as políticas de governança corporativa existentes para preservar a soberania dos dados e os direitos de propriedade intelectual.
Para simplificar as operações diárias, a Cloudera integrou um copiloto agente à interface de controle. O copiloto traduz instruções em linguagem natural em tarefas operacionais executáveis, como inicializar servidores computacionais, configurar recursos de infraestrutura e orquestrar pipelines de dados de ponta a ponta em ambientes conectados.
“A IA empresarial ultrapassou os limites do modelo exclusivo de nuvem pública”, disse Leo Brunnick, Diretor de Produtos da Cloudera. “As organizações não deveriam ter que escolher entre inovação e controle. O Cloudera Anywhere Cloud traz a velocidade e a flexibilidade da nuvem diretamente para os dados corporativos. Isso permite que as empresas acelerem suas iniciativas de IA, mantendo a propriedade total de seus dados e propriedade intelectual, ao mesmo tempo que otimizam o custo de sua infraestrutura, tokens e modelos de negócios.”
O lançamento amplia o recente investimento da Cloudera em infraestrutura, incluindo sua plataforma conjunta de IA para fábricas com a VAST Data . A Cloudera está demonstrando o Cloudera Anywhere Cloud esta semana em seu evento EVOLVE em Singapura.
Spark acelerado por GPU via NVIDIA cuDF
Juntamente com o lançamento da plataforma, a Cloudera anunciou a aceleração nativa por GPU para o Apache Spark 4.1 no Cloudera Data Engineering, baseada na biblioteca cuDF CUDA-X da NVIDIA. O plug-in cuDF acelera os pipelines Spark existentes sem alterações no código PySpark ou SQL, o que a Cloudera apresenta como uma forma de preparar dados prontos para IA mais rapidamente, reduzindo os gastos com computação em nuvem. Ele é distribuído no Cloudera Data Engineering como parte do Anywhere Cloud.
Amazon