Idag tillkännagav Google Cloud Platform den allmänna tillgängligheten av två nya dataanalysprodukter, Google Cloud Dataflow och Google Cloud Pub/Sub. Dessa produkter kommer att tillhandahålla en enhetlig programmeringsmodell för dataanalys, vilket tar bort behovet av batch- och strömdatakällor samtidigt som applikationer och tjänster integreras och dataströmmar analyseras i realtid. Google tillkännager också lanseringen av Cloudera Director 1.5.
Google har lagt till hela sitt utbud av big data-verktyg med den allmänna tillgängligheten av Google Cloud Dataflow och Google Cloud Pub/Sub, där det första steget är BigQuery . Google tar bort beta-etiketterna och förväntar sig att tusentals terabyte data kommer att analyseras med dessa nya produkter direkt. Google Cloud Dataflow och Google Cloud Pub/Sub kommer att möjliggöra databehandling utan den operativa börda som vanligtvis finns i sådana system. De gör det också möjligt för kunder att bygga applikationer på en plattform som skalas med deras behov och gör det med låg latens och hög tillförlitlighet.
Google Cloud Dataflow tar bort komplexiteten i att utveckla separata system för batch- och strömmande datakällor genom att tillhandahålla en enhetlig programmeringsmodell. Cloud Dataflow eliminerar omkostnader relaterade till storskalig klusterhantering och optimering.
Fördelarna inkluderar:
- En fullt hanterad, feltolerant, högtillgänglig, SLA-stödd tjänst för batch- och strömbearbetning.
- En heltäckande modell för att balansera korrekthet, latens och kostnad vid hantering av oordnad data i stor skala. Dessa koncept driver nyckelelementen i Cloud Dataflow-programmeringsmodellen.
- Cloud Dataflow är 2-3 gånger snabbare och billigare än Hadoop när man utvärderar klassiska MapReduce-baserade pipelines, såsom PageRank och WordCount. Och med dynamisk arbetsbalansering optimerar Cloud Dataflow effektivt resursutnyttjandet som ger ytterligare prestandavinster utan att kräva manuellt ingripande.
- En utdragbar SDK. Google har utökat sin integrationssatsning för teknikpartner, tredjepartsanslutare och tjänsteleverantörer, inklusive Tamr, Salesforce, Clearstory, springML, Cloudera, data Artisans. Google fortsätter också att stödja alternativ löparaktivering för Apache Spark och Apache Flink.
- Inbyggd Google Cloud Platform-integrering för Cloud Storage, Cloud Datastore, BigQuery och Cloud Pub/Sub.
Google Cloud Pub/Sub är resultatet av ett decennium av innovation. Den kan integrera applikationer och tjänster på ett tillförlitligt sätt, samt analysera stora dataströmmar i realtid. Cloud Pub/Sub levererade över 1 biljon meddelanden under alfa- och betakörningen och hjälpte till att finjustera dess prestanda. Det kan också hantera ett brett utbud av scenarier från ett enda API.
Tillgänglighet
Både Google Cloud Dataflow och Google Cloud Pub/Sub är tillgängliga idag.
Amazon