Google ogłosiło kolejną nową technologię chmurową w ramach swojej linii Cloud Platform – Google Cloud Dataproc. Ta nowa technologia chmurowa ma na celu ułatwienie wdrażania i zarządzania Hadoop i Spark w ramach Google Cloud Platform. Podobnie jak niedawne ogłoszenie firm Dell i Cloudera , technologia ta umożliwia korzystanie z Hadoop bez wysokich kosztów szkoleń.
Wraz ze wzrostem rozmiaru i złożoności zbiorów danych, do ich analizy potrzebne będą coraz bardziej zaawansowane narzędzia. Choć narzędzia te istnieją, często dodają one kolejny poziom złożoności, a szkolenie administratorów w zakresie nowych technologii lub angażowanie konsultantów może być kosztowne. Google wprowadza Dataproc, automatyczną i zarządzaną usługę dla Hadoop i Spark. Dzięki Dataproc użytkownicy mogą korzystać z narzędzi open source do przetwarzania wsadowego, zapytań, przesyłania strumieniowego i uczenia maszynowego, a jednocześnie korzystać z automatyzacji do szybkiego tworzenia klastrów i zarządzania nimi. Dataproc umożliwia również wyłączanie klastrów, gdy nie są używane, co pomaga obniżyć koszty, ponieważ rozliczenia naliczane są minutowo.
Korzyści obejmują:
- Cena Cloud Dataproc wynosi zaledwie 1 cent za wirtualny procesor w klastrze klienta za godzinę, niezależnie od innych wykorzystywanych zasobów platformy Cloud Platform. Klastry Cloud Dataproc mogą zawierać instancje z możliwością wywłaszczania, które oferują niższe ceny mocy obliczeniowej, co dodatkowo obniża koszty. Zamiast zaokrąglać zużycie do najbliższej godziny, Cloud Dataproc pobiera opłaty tylko za wykorzystane zasoby, rozliczając się minutowo i w minimalnym dziesięciominutowym okresie rozliczeniowym.
- Bez użycia Dataproc utworzenie klastrów Spark i Hadoop lokalnie lub za pośrednictwem dostawców IaaS może zająć od 5 do 30 minut. Dla porównania, klastry Cloud Dataproc uruchamiają się, skalują i wyłączają błyskawicznie – każda z tych operacji zajmuje średnio 90 sekund lub mniej. Oznacza to, że użytkownicy mogą spędzać mniej czasu na oczekiwaniu na klastry i więcej czasu na pracy z danymi.
- Usługa Cloud Dataproc oferuje wbudowaną integrację z innymi usługami Google Cloud Platform, takimi jak: bigquery, Przechowywanie w chmurze, Chmura Bigtable, Cloud Logging i Cloud Monitoring, dzięki czemu klienci mają coś więcej niż tylko klaster Spark lub Hadoop – mają kompletną platformę danych. Mogą na przykład użyć Cloud Dataproc do łatwego ETL terabajtów surowych danych z logów bezpośrednio do BigQuery w celu raportowania biznesowego.
- Klienci mogą łatwo wchodzić w interakcję z klastrami i zadaniami Spark lub Hadoop za pośrednictwem Konsoli Google Developers, pakietu Google Cloud SDK lub interfejsu API REST Cloud Dataproc. Po zakończeniu pracy z klastrem mogą go po prostu wyłączyć, aby nie marnować pieniędzy na bezczynny klaster. Nie ma obaw o utratę danych, ponieważ Cloud Dataproc jest zintegrowany z usługami Cloud Storage, BigQuery i Cloud Bigtable.
- Korzystanie z Cloud Dataproc nie wymaga nauki nowych narzędzi ani interfejsów API, co ułatwia przenoszenie istniejących projektów do Cloud Dataproc bez konieczności ich ponownego tworzenia. Spark, Hadoop, Pig i Hive są regularnie aktualizowane, dzięki czemu użytkownicy mogą szybciej zwiększyć swoją produktywność.
Dostępność i ceny
Rozwiązanie Google Cloud Dataproc jest już dostępne w formie usługi beta i kosztuje już od 0.01 USD za wirtualny procesor.
Amazon