Heute gab die Google Cloud Platform die allgemeine Verfügbarkeit von zwei neuen Datenanalyseprodukten bekannt: Google Cloud Dataflow und Google Cloud Pub/Sub. Diese Produkte stellen ein einheitliches Programmiermodell für die Datenanalyse bereit, das Batch- und Stream-Datenquellen überflüssig macht und gleichzeitig Anwendungen und Dienste integriert und Datenströme in Echtzeit analysiert. Google kündigt außerdem die Veröffentlichung von Cloudera Director 1.5 an.
Google hat mit der allgemeinen Verfügbarkeit von Google Cloud Dataflow und Google Cloud Pub/Sub sein gesamtes Angebot an Big-Data-Tools fertiggestellt. Den Anfang machte BigQuery . Google entfernt die Beta-Kennzeichnung und erwartet, dass mit diesen neuen Produkten umgehend Tausende von Terabytes an Daten analysiert werden. Google Cloud Dataflow und Google Cloud Pub/Sub ermöglichen die Datenverarbeitung ohne den üblicherweise damit verbundenen Betriebsaufwand. Kunden können damit Anwendungen auf einer Plattform entwickeln, die mit ihren Anforderungen skaliert und dabei geringe Latenz und hohe Zuverlässigkeit bietet.
Google Cloud Dataflow beseitigt die Komplexität der Entwicklung separater Systeme für Batch- und Streaming-Datenquellen, indem es ein einheitliches Programmiermodell bereitstellt. Cloud Dataflow eliminiert den mit der Verwaltung und Optimierung umfangreicher Cluster verbundenen Aufwand.
Die Vorteile umfassen:
- Ein vollständig verwalteter, fehlertoleranter, hochverfügbarer, SLA-gestützter Dienst für die Batch- und Stream-Verarbeitung.
- Ein umfassendes Modell zum Ausgleich von Korrektheit, Latenz und Kosten beim Umgang mit ungeordneten Daten in großem Maßstab. Diese Konzepte bilden die Grundlage für Schlüsselelemente des Cloud Dataflow-Programmiermodells.
- Cloud Dataflow ist bei der Evaluierung klassischer MapReduce-basierter Pipelines wie PageRank und WordCount zwei- bis dreimal schneller und günstiger als Hadoop. Und mit der dynamischen Neuverteilung der Arbeit optimiert Cloud Dataflow effektiv die Ressourcennutzung, was zu zusätzlichen Leistungssteigerungen führt, ohne dass manuelle Eingriffe erforderlich sind.
- Ein erweiterbares SDK. Google hat seine Integrationsbemühungen für Technologiepartner, Drittanbieter-Konnektoren und Dienstanbieter erweitert, darunter Tamr, Salesforce, Clearstory, springML, Cloudera und Data Artisans. Google unterstützt außerdem weiterhin die Aktivierung alternativer Läufer für Apache Spark und Apache Flink.
- Native Google Cloud Platform-Integration für Cloud Storage, Cloud Datastore, BigQuery und Cloud Pub/Sub.
Google Cloud Pub/Sub ist das Ergebnis eines Jahrzehnts der Innovation. Es kann Anwendungen und Dienste zuverlässig integrieren und große Datenströme in Echtzeit analysieren. Cloud Pub/Sub übermittelte während seines Alpha- und Beta-Laufs über 1 Billion Nachrichten und trug so zur Feinabstimmung seiner Leistung bei. Es kann auch eine Vielzahl von Szenarien über eine einzige API abdecken.
Verfügbarkeit
Sowohl Google Cloud Dataflow als auch Google Cloud Pub/Sub sind ab sofort verfügbar.
Amazon