Hoy, Google Cloud Platform anunció la disponibilidad general de dos nuevos productos de análisis de datos, Google Cloud Dataflow y Google Cloud Pub/Sub. Estos productos proporcionarán un modelo de programación unificado para el análisis de datos, eliminando la necesidad de fuentes de datos por lotes y secuencias mientras integran aplicaciones y servicios y analizan secuencias de datos en tiempo real. Google también anuncia el lanzamiento de Cloudera Director 1.5.
Google ha completado la incorporación de toda su línea de herramientas de big data con la disponibilidad general de Google Cloud Dataflow y Google Cloud Pub/Sub, siendo BigQuery el primer paso . Google está eliminando la etiqueta de beta y espera que miles de terabytes de datos se analicen con estos nuevos productos de inmediato. Google Cloud Dataflow y Google Cloud Pub/Sub permitirán el procesamiento de datos sin la carga operativa que suelen presentar estos sistemas. Además, permiten a los clientes crear aplicaciones en una plataforma que se adapta a sus necesidades con baja latencia y alta fiabilidad.
Google Cloud Dataflow elimina la complejidad de desarrollar sistemas separados para fuentes de datos por lotes y de transmisión al proporcionar un modelo de programación unificado. Cloud Dataflow elimina los gastos generales relacionados con la administración y optimización de clústeres a gran escala.
Sus beneficios incluyen:
- Un servicio totalmente administrado, tolerante a fallas, altamente disponible y respaldado por SLA para el procesamiento por lotes y secuencias.
- Un modelo integral para equilibrar la corrección, la latencia y el costo cuando se trata de datos desordenados a gran escala. Estos conceptos impulsan elementos clave del modelo de programación de Cloud Dataflow.
- Cloud Dataflow es 2 o 3 veces más rápido y económico que Hadoop cuando se evalúan canalizaciones clásicas basadas en MapReduce, como PageRank y WordCount. Y con el reequilibrio dinámico del trabajo, Cloud Dataflow optimiza de manera efectiva la utilización de recursos que proporciona ganancias de rendimiento adicionales sin necesidad de intervención manual.
- Un SDK extensible. Google ha ampliado sus esfuerzos de integración de socios tecnológicos, conectores de terceros y proveedores de servicios, incluidos Tamr, Salesforce, Clearstory, springML, Cloudera y Data Artisans. Google también continúa admitiendo la habilitación de ejecutores alternativos para Apache Spark y Apache Flink.
- Integración nativa de Google Cloud Platform para Cloud Storage, Cloud Datastore, BigQuery y Cloud Pub/Sub.
Google Cloud Pub/Sub es el resultado de una década de innovación. Puede integrar aplicaciones y servicios de forma fiable, así como analizar grandes flujos de datos en tiempo real. Cloud Pub/Sub entregó más de 1 billón de mensajes durante su ejecución alfa y beta, lo que ayudó a ajustar su rendimiento. También puede abordar una amplia gama de escenarios desde una única API.
Disponibilidad
Tanto Google Cloud Dataflow como Google Cloud Pub/Sub están disponibles hoy.
Amazon