本日、Google Cloud Platform は、Google Cloud Dataflow と Google Cloud Pub/Sub という 1.5 つの新しいデータ分析製品の一般提供を発表しました。これらの製品は、データ分析のための統一プログラミング モデルを提供し、バッチ データ ソースやストリーム データ ソースの必要性を排除しながら、アプリケーションとサービスを統合し、データ ストリームをリアルタイムで分析します。 Google は Cloudera Director XNUMX のリリースも発表しています。
Googleは、 BigQueryを皮切りに、Google Cloud DataflowとGoogle Cloud Pub/Subの一般提供開始により、ビッグデータツールの全ラインナップの追加を完了しました。Googleはベータ版のラベルを外し、これらの新製品で直ちに数千テラバイトのデータが分析されることを期待しています。Google Cloud DataflowとGoogle Cloud Pub/Subは、従来このようなシステムにありがちだった運用上の負担なしにデータ処理を可能にします。また、顧客はニーズに合わせて拡張可能なプラットフォーム上で、低遅延かつ高信頼性のアプリケーションを構築できます。
Google Cloud Dataflow は、統一されたプログラミング モデルを提供することで、バッチ データ ソースとストリーミング データ ソース用に個別のシステムを開発する複雑さを解消します。 Cloud Dataflow は、大規模なクラスターの管理と最適化に関連するオーバーヘッドを排除します。
主なメリット：
- バッチおよびストリーム処理用のフルマネージド、フォールト トレラント、可用性の高い、SLA に裏付けられたサービス。
- 大規模な順序付けされていないデータを処理する際の正確性、レイテンシ、コストのバランスをとるための包括的なモデル。これらの概念は、Cloud Dataflow プログラミング モデルの主要な要素を強化します。
- PageRank や WordCount などの従来の MapReduce ベースのパイプラインを評価する場合、Cloud Dataflow は Hadoop よりも 2 ～ 3 倍高速で安価です。また、動的な作業の再バランスにより、Cloud Dataflow はリソース使用率を効果的に最適化し、手動介入を必要とせずにさらなるパフォーマンスの向上を実現します。
- 拡張可能な SDK。 Google は、Tamr、Salesforce、Clearstory、springML、Cloudera、data Artisans などのテクノロジー パートナー、サードパーティ コネクタ、サービス プロバイダーの統合の取り組みを拡大しました。 Google は、Apache Spark と Apache Flink の代替ランナーの有効化も引き続きサポートしています。
- Cloud Storage、Cloud Datastore、BigQuery、Cloud Pub/Sub のネイティブ Google Cloud Platform 統合。
Google Cloud Pub/Sub は、1 年にわたるイノベーションの成果です。アプリケーションとサービスを確実に統合し、ビッグデータ ストリームをリアルタイムで分析できます。 Cloud Pub/Sub は、アルファ版とベータ版の実行中に XNUMX 兆を超えるメッセージを配信し、パフォーマンスの微調整に役立ちました。また、単一の API から幅広いシナリオに対応できます。
利用状況
Google Cloud Dataflow と Google Cloud Pub/Sub は両方とも現在利用可能です。
Amazon