谷歌宣布全面推出 Google Cloud Dataflow 和 Google Cloud Pub/Sub

by 亞當·阿姆斯特朗 on 2015 年 8 月 12 日

企業 ◇ 軟體

今天，谷歌云平台宣布推出兩款新的數據分析產品，谷歌云數據流和谷歌云發布/訂閱。這些產品將為數據分析提供統一的編程模型，消除對批處理和流數據源的需求，同時集成應用程序和服務並實時分析數據流。 Google 還宣布發布 Cloudera Director 1.5。

隨著 Google Cloud Dataflow 和 Google Cloud Pub/Sub 的正式發布，Google已完成其大數據工俱全線產品的整合，而BigQuery 的推出則是邁出的第一步。谷歌已正式移除測試版標籤，並預計這些新產品將立即用於分析數千 TB 的數據。 Google Cloud Dataflow 和 Google Cloud Pub/Sub 將使資料處理更加便捷，無需承擔傳統此類系統常見的維運負擔。此外，它們還支援客戶在可擴展的平台上建立應用程序，並確保低延遲和高可靠性。

Google Cloud Dataflow 通過提供統一的編程模型消除了為批處理和流數據源開發單獨系統的複雜性。 Cloud Dataflow 消除了與大規模集群管理和優化相關的開銷。

優勢包括：

用於批處理和流處理的完全託管、容錯、高可用性、支持 SLA 的服務。
在處理大規模無序數據時平衡正確性、延遲和成本的綜合模型。這些概念為 Cloud Dataflow 編程模型的關鍵元素提供支持。
在評估基於經典 MapReduce 的管道（例如 PageRank 和 WordCount）時，Cloud Dataflow 比 Hadoop 快 2-3 倍且成本更低。借助動態工作再平衡，Cloud Dataflow 可有效優化資源利用率，從而在無需人工干預的情況下提供額外的性能提升。
一個可擴展的 SDK。谷歌擴大了其技術合作夥伴、第 3 方連接器和服務提供商集成工作，包括 Tamr、Salesforce、Clearstory、springML、Cloudera、data Artisans。 Google 還繼續支持 Apache Spark 和 Apache Flink 的備用運行器啟用。
Cloud Storage、Cloud Datastore、BigQuery 和 Cloud Pub/Sub 的原生 Google Cloud Platform 集成。