Google Cloud Platform heeft vandaag de algemene beschikbaarheid aangekondigd van twee nieuwe data-analyseproducten, Google Cloud Dataflow en Google Cloud Pub/Sub. Deze producten bieden een uniform programmeermodel voor data-analyse, waardoor de noodzaak van batch- en stream-databronnen wordt weggenomen, terwijl applicaties en services worden geïntegreerd en datastromen in realtime worden geanalyseerd. Google kondigt ook de release aan van Cloudera Director 1.5.
Google heeft zijn volledige reeks big data-tools nu algemeen beschikbaar gesteld met Google Cloud Dataflow en Google Cloud Pub/Sub, waarbij BigQuery de eerste stap was . Google verwijdert de bèta-labels en verwacht dat er direct duizenden terabytes aan data met deze nieuwe producten geanalyseerd zullen worden. Google Cloud Dataflow en Google Cloud Pub/Sub maken dataverwerking mogelijk zonder de operationele lasten die doorgaans bij dergelijke systemen horen. Ze stellen klanten ook in staat om applicaties te bouwen op een platform dat meegroeit met hun behoeften, met een lage latentie en hoge betrouwbaarheid.
Google Cloud Dataflow verwijdert de complexiteit van het ontwikkelen van afzonderlijke systemen voor batch- en streaminggegevensbronnen door een uniform programmeermodel te bieden. Cloud Dataflow elimineert de overhead die gepaard gaat met grootschalig clusterbeheer en -optimalisatie.
Voordelen zijn onder andere:
- Een volledig beheerde, fouttolerante, zeer beschikbare, SLA-ondersteunde service voor batch- en streamverwerking.
- Een uitgebreid model voor het balanceren van correctheid, latentie en kosten bij het omgaan met ongeordende gegevens op grote schaal. Deze concepten vormen de basis van de belangrijkste elementen van het Cloud Dataflow-programmeermodel.
- Cloud Dataflow is 2-3x sneller en goedkoper dan Hadoop bij het evalueren van klassieke op MapReduce gebaseerde pipelines, zoals PageRank en WordCount. En met dynamische herverdeling van werk optimaliseert Cloud Dataflow effectief het gebruik van resources, wat extra prestatiewinst oplevert zonder handmatige tussenkomst.
- Een uitbreidbare SDK. Google heeft zijn technologiepartner, connector van derden en integratie van serviceproviders uitgebreid, waaronder Tamr, Salesforce, Clearstory, springML, Cloudera, data Artisans. Google blijft ook ondersteuning bieden voor het inschakelen van alternatieve hardlopers voor Apache Spark en Apache Flink.
- Native Google Cloud Platform-integratie voor Cloud Storage, Cloud Datastore, BigQuery en Cloud Pub/Sub.
Google Cloud Pub/Sub is het resultaat van tien jaar innovatie. Het kan applicaties en services op betrouwbare wijze integreren en big datastromen in realtime analyseren. Cloud Pub/Sub leverde meer dan 1 biljoen berichten tijdens de alfa- en bètaversie, waardoor de prestaties konden worden verfijnd. Het kan ook een breed scala aan scenario's aan vanuit één enkele API.
Beschikbaarheid
Zowel Google Cloud Dataflow als Google Cloud Pub/Sub zijn vanaf vandaag beschikbaar.
Amazon