Společnost Google oznámila další novou cloudovou technologii v rámci své řady cloudových platforem, Google Cloud Dataproc. Tato nová cloudová technologie má za cíl usnadnit nasazení a správu Hadoopu a Sparku v rámci Google Cloud Platform. Podobně jako nedávné oznámení společností Dell a Cloudera umožňuje tato technologie používání Hadoopu bez vysokých nákladů na školení.
S tím, jak datové sady dále rostou co do velikosti a složitosti, budou k jejich analýze zapotřebí výkonnější nástroje. I když tyto nástroje existují, často přidávají další vrstvu složitosti a školení administrátorů v oblasti nových technologií nebo najímání konzultantů může být nákladné. Google představuje Dataproc, automatickou a spravovanou službu pro Hadoop a Spark. S Dataprocem mohou uživatelé využívat open source datové nástroje pro dávkové zpracování, dotazování, streamování a strojové učení a zároveň využívat jeho automatizaci k rychlému vytváření a správě clusterů. Dataproc také umožňuje vypnout clustery, když se nepoužívají, což pomáhá šetřit náklady, protože fakturace probíhá minutu po minutě.
Mezi výhody patří:
- Cena Cloud Dataproc je pouhý 1 cent za virtuální CPU v clusteru zákazníka za hodinu, a to navíc k ostatním využívaným zdrojům cloudové platformy. Klastry Cloud Dataproc mohou zahrnovat preemptabilní instance s nižšími výpočetními náklady, což dále snižuje náklady. Namísto zaokrouhlování využití nahoru na nejbližší hodinu účtuje Cloud Dataproc zákazníkům pouze to, co je využito, s fakturací po minutách a minimálním fakturačním obdobím deseti minut.
- Bez použití Dataprocu může vytvoření clusterů Spark a Hadoop v místních podmínkách nebo prostřednictvím poskytovatelů IaaS trvat 5 až 30 minut. Pro srovnání, clustery Cloud Dataproc se rychle spouštějí, škálují a vypínají, přičemž každá z těchto operací trvá v průměru 90 sekund nebo méně. To znamená, že uživatelé mohou strávit méně času čekáním na clustery a více času prací se svými daty.
- Cloud Dataproc má vestavěnou integraci s dalšími službami Google Cloud Platform, jako například BigQuery, cloudové úložiště, Cloudový bigtable, cloudové protokolování a cloudové monitorování, takže zákazníci mají více než jen cluster Spark nebo Hadoop – mají kompletní datovou platformu. Mohou například použít Cloud Dataproc k snadnému ETL terabajtů nezpracovaných dat protokolů přímo do BigQuery pro obchodní reporting.
- Zákazníci mohou snadno interagovat s clustery a úlohami Spark nebo Hadoop prostřednictvím konzole Google Developers Console, sady Google Cloud SDK nebo rozhraní Cloud Dataproc REST API. Po dokončení práce s clusterem jej mohou jednoduše vypnout, aby se peníze neplýtvaly na nečinný cluster. Nemusí se obávat ztráty dat, protože Cloud Dataproc je integrován s cloudovým úložištěm, BigQuery a Cloud Bigtable.
- Pro používání Cloud Dataproc není třeba se učit nové nástroje ani API, což usnadňuje přesun stávajících projektů do Cloud Dataproc bez nutnosti přestavby. Spark, Hadoop, Pig a Hive se často aktualizují, takže uživatelé mohou být produktivnější rychleji.
Dostupnost a ceny
Google Cloud Dataproc je nyní k dispozici jako beta verze služby od ceny 0.01 USD za virtuální CPU.
Amazon