谷歌宣布全面推出 Google Cloud Dataflow 和 Google Cloud Pub/Sub

by 亚当·阿姆斯特朗 on 2015 年 8 月 12 日

企业版 ◇ 软件

今天，谷歌云平台宣布推出两款新的数据分析产品，谷歌云数据流和谷歌云发布/订阅。这些产品将为数据分析提供统一的编程模型，消除对批处理和流数据源的需求，同时集成应用程序和服务并实时分析数据流。 Google 还宣布发布 Cloudera Director 1.5。

随着 Google Cloud Dataflow 和 Google Cloud Pub/Sub 的正式发布，谷歌已完成其大数据工具全线产品的整合，而BigQuery 的推出则是迈出的第一步。谷歌已正式移除测试版标签，并预计这些新产品将立即用于分析数千 TB 的数据。Google Cloud Dataflow 和 Google Cloud Pub/Sub 将使数据处理更加便捷，无需承担传统此类系统常见的运维负担。此外，它们还支持客户在可扩展的平台上构建应用程序，并确保低延迟和高可靠性。

Google Cloud Dataflow 通过提供统一的编程模型消除了为批处理和流数据源开发单独系统的复杂性。 Cloud Dataflow 消除了与大规模集群管理和优化相关的开销。

其优势包括：

用于批处理和流处理的完全托管、容错、高可用性、支持 SLA 的服务。
在处理大规模无序数据时平衡正确性、延迟和成本的综合模型。这些概念为 Cloud Dataflow 编程模型的关键元素提供支持。
在评估基于经典 MapReduce 的管道（例如 PageRank 和 WordCount）时，Cloud Dataflow 比 Hadoop 快 2-3 倍且成本更低。借助动态工作再平衡，Cloud Dataflow 可有效优化资源利用率，从而在无需人工干预的情况下提供额外的性能提升。
一个可扩展的 SDK。谷歌扩大了其技术合作伙伴、第 3 方连接器和服务提供商集成工作，包括 Tamr、Salesforce、Clearstory、springML、Cloudera、data Artisans。 Google 还继续支持 Apache Spark 和 Apache Flink 的备用运行器启用。
Cloud Storage、Cloud Datastore、BigQuery 和 Cloud Pub/Sub 的原生 Google Cloud Platform 集成。