Společnost Google Cloud Platform dnes oznámila všeobecnou dostupnost dvou nových produktů pro analýzu dat, Google Cloud Dataflow a Google Cloud Pub/Sub. Tyto produkty poskytnou jednotný programovací model pro analýzu dat, čímž odstraní potřebu dávkových a streamových zdrojů dat a zároveň integrují aplikace a služby a analyzují datové streamy v reálném čase. Google také oznamuje vydání Cloudera Director 1.5.
Společnost Google dokončila přidávání celé své řady nástrojů pro big data s všeobecnou dostupností Google Cloud Dataflow a Google Cloud Pub/Sub, prvním krokem je BigQuery . Google ruší označení beta a očekává, že pomocí těchto nových produktů budou okamžitě analyzovány tisíce terabajtů dat. Google Cloud Dataflow a Google Cloud Pub/Sub umožní zpracování dat bez provozní zátěže, která je u takových systémů typická. Zákazníkům také umožní vytvářet aplikace na platformě, která se přizpůsobí jejich potřebám a dosahuje tak nízké latence a vysoké spolehlivosti.
Google Cloud Dataflow odstraňuje složitost vývoje samostatných systémů pro dávkové a streamované zdroje dat tím, že poskytuje jednotný programovací model. Cloud Dataflow eliminuje režijní náklady spojené se správou a optimalizací rozsáhlých clusterů.
Mezi výhody patří:
- Plně spravovaná, odolná vůči chybám, vysoce dostupná služba podporovaná SLA pro dávkové a streamové zpracování.
- Komplexní model pro vyvažování správnosti, latence a nákladů při práci s neuspořádanými daty ve velkém měřítku. Tyto koncepty jsou základem klíčových prvků programovacího modelu Cloud Dataflow.
- Cloud Dataflow je 2–3krát rychlejší a levnější než Hadoop při vyhodnocování klasických datových kanálů založených na MapReduce, jako jsou PageRank a WordCount. A díky dynamickému vyvažování práce Cloud Dataflow efektivně optimalizuje využití zdrojů, což poskytuje další zvýšení výkonu bez nutnosti ručního zásahu.
- Rozšiřitelná SDK. Společnost Google rozšířila své úsilí o integraci technologických partnerů, konektorů třetích stran a poskytovatelů služeb, včetně Tamr, Salesforce, Clearstory, springML, Cloudera a Data Artisans. Google také nadále podporuje povolení alternativních běhačů pro Apache Spark a Apache Flink.
- Nativní integrace platformy Google Cloud Platform pro cloudové úložiště, cloudové datové úložiště, BigQuery a Cloud Pub/Sub.
Google Cloud Pub/Sub je výsledkem desetiletí inovací. Dokáže spolehlivě integrovat aplikace a služby a také analyzovat velké datové toky v reálném čase. Cloud Pub/Sub během svého alfa a beta testování doručil přes 1 bilion zpráv, což pomohlo vyladit jeho výkon. Dokáže také řešit širokou škálu scénářů z jediného API.
dostupnost
Služby Google Cloud Dataflow i Google Cloud Pub/Sub jsou k dispozici již dnes.
Amazon