O Google anunciou mais uma nova tecnologia em nuvem para sua linha Cloud Platform: o Google Cloud Dataproc. Essa nova tecnologia visa facilitar a implantação e o gerenciamento do Hadoop e do Spark dentro do Google Cloud Platform. Assim como os anúncios recentes da Dell e da Cloudera , essa tecnologia permite o uso do Hadoop sem os altos custos de treinamento envolvidos.
À medida que os conjuntos de dados continuam a crescer em tamanho e complexidade, serão necessárias ferramentas mais poderosas para analisar esses conjuntos de dados. Embora as ferramentas existam, muitas vezes adicionam outra camada de complexidade e podem ser caros para treinar administradores em novas tecnologias ou contratar consultores. O Google está apresentando o Dataproc, um serviço automático e gerenciado para Hadoop e Spark. Com o Dataproc, os usuários podem aproveitar as ferramentas de dados de código aberto para processamento em lote, consulta, streaming e aprendizado de máquina enquanto usam sua automação para criar e gerenciar clusters rapidamente. O Dataproc também permite que os clusters sejam desativados quando não estiverem em uso, ajudando a economizar custos, pois o faturamento é minuto a minuto.
Os benefícios incluem:
- O preço do Cloud Dataproc é de apenas 1 centavo por CPU virtual no cluster de um cliente por hora, além dos outros recursos do Cloud Platform usados. Os clusters do Cloud Dataproc podem incluir instâncias preemptivas com preços de computação mais baixos, reduzindo ainda mais os custos. Em vez de arredondar o uso para a hora mais próxima, o Cloud Dataproc cobra dos clientes apenas pelo que é usado com cobrança minuto a minuto e um período de cobrança mínimo de dez minutos.
- Sem usar o Dataproc, pode levar de 5 a 30 minutos para criar clusters Spark e Hadoop no local ou por meio de provedores de IaaS. Em comparação, os clusters do Cloud Dataproc são rápidos para iniciar, escalonar e desligar, com cada uma dessas operações levando 90 segundos ou menos, em média. Isso significa que os usuários podem gastar menos tempo esperando por clusters e mais tempo trabalhando com seus dados.
- O Cloud Dataproc tem integração integrada com outros serviços do Google Cloud Platform, como BigQuery, Armazenamento na núvem, Nuvem Bigtable, Cloud Logging e Cloud Monitoring, para que os clientes tenham mais do que apenas um cluster Spark ou Hadoop - eles têm uma plataforma de dados completa. Por exemplo, eles podem usar o Cloud Dataproc para ETL facilmente terabytes de dados brutos de registro diretamente no BigQuery para relatórios de negócios.
- Os clientes podem interagir facilmente com clusters e tarefas Spark ou Hadoop por meio do Google Developers Console, Google Cloud SDK ou Cloud Dataproc REST API. Quando eles terminam com um cluster, eles podem simplesmente desligá-lo para que o dinheiro não seja desperdiçado em um cluster ocioso. Não se preocupe com a perda de dados, porque o Cloud Dataproc é integrado ao Cloud Storage, BigQuery e Cloud Bigtable.
- Não há necessidade de aprender novas ferramentas ou APIs para usar o Cloud Dataproc, facilitando a migração de projetos existentes para o Cloud Dataproc sem redesenvolvê-los. Spark, Hadoop, Pig e Hive são atualizados com frequência, para que os usuários possam ser produtivos mais rapidamente.
Disponibilidade e preços
O Google Cloud Dataproc já está disponível como um serviço beta a partir de US$ 0.01 por CPU virtual.
Amazon