Google a annoncé une nouvelle technologie cloud pour sa plateforme Google Cloud : Google Cloud Dataproc. Cette technologie vise à simplifier le déploiement et la gestion de Hadoop et Spark au sein de Google Cloud Platform. À l'instar des récentes annonces de Dell et Cloudera , elle permet d'utiliser Hadoop sans les coûts élevés de formation habituellement associés.
À mesure que les ensembles de données continuent de croître en taille et en complexité, des outils plus puissants seront nécessaires pour analyser ces ensembles de données. Bien que les outils existent, ils ajoutent souvent une autre couche de complexité et peuvent être coûteux pour former les administrateurs sur les nouvelles technologies ou faire appel à des consultants. Google présente Dataproc, un service automatique et géré pour Hadoop et Spark. Avec Dataproc, les utilisateurs peuvent tirer parti d'outils de données open source pour le traitement par lots, l'interrogation, la diffusion en continu et l'apprentissage automatique tout en utilisant son automatisation pour créer et gérer rapidement des clusters. Dataproc permet également de désactiver les clusters lorsqu'ils ne sont pas utilisés, ce qui permet de réduire les coûts car la facturation est minute par minute.
Les avantages comprennent:
- Cloud Dataproc est tarifé à seulement 1 centime par processeur virtuel dans le cluster d'un client et par heure, en plus des autres ressources Cloud Platform utilisées. Les clusters Cloud Dataproc peuvent inclure des instances préemptives qui ont des prix de calcul inférieurs, ce qui réduit encore les coûts. Au lieu d'arrondir l'utilisation à l'heure la plus proche, Cloud Dataproc ne facture aux clients que ce qui est utilisé avec une facturation minute par minute et une période de facturation minimale de dix minutes.
- Sans utiliser Dataproc, la création de clusters Spark et Hadoop sur site ou via des fournisseurs IaaS peut prendre entre 5 et 30 minutes. En comparaison, les clusters Cloud Dataproc démarrent, évoluent et s'arrêtent rapidement, chacune de ces opérations prenant en moyenne 90 secondes ou moins. Cela signifie que les utilisateurs peuvent passer moins de temps à attendre les clusters et plus de temps à travailler avec leurs données.
- Cloud Dataproc est intégré à d'autres services Google Cloud Platform, tels que BigQuery, Stockage en ligne, Cloud Big Table, Cloud Logging et Cloud Monitoring, afin que les clients disposent de plus qu'un simple cluster Spark ou Hadoop, ils disposent d'une plate-forme de données complète. Par exemple, ils peuvent utiliser Cloud Dataproc pour transférer sans effort des téraoctets de données brutes de journaux directement dans BigQuery pour les rapports d'entreprise.
- Les clients peuvent facilement interagir avec les clusters et les tâches Spark ou Hadoop via la Google Developers Console, le SDK Google Cloud ou l'API REST Cloud Dataproc. Lorsqu'ils en ont terminé avec un cluster, ils peuvent simplement le désactiver pour ne pas gaspiller d'argent sur un cluster inactif. Ne craignez pas de perdre des données, car Cloud Dataproc est intégré à Cloud Storage, BigQuery et Cloud Bigtable.
- Il n'est pas nécessaire d'apprendre de nouveaux outils ou API pour utiliser Cloud Dataproc, ce qui facilite le déplacement de projets existants vers Cloud Dataproc sans redéveloppement. Spark, Hadoop, Pig et Hive sont fréquemment mis à jour, afin que les utilisateurs puissent être productifs plus rapidement.
Disponibilité et prix
Google Cloud Dataproc est désormais disponible en tant que service bêta à partir de 0.01 USD par processeur virtuel.
Amazon