구글은 자사의 클라우드 플랫폼 제품군에 새로운 클라우드 기술인 구글 클라우드 데이터프로세스(Google Cloud Dataproc)를 추가했다고 발표했습니다. 이 새로운 클라우드 기술은 구글 클라우드 플랫폼 내에서 하둡과 스파크를 더욱 쉽게 배포하고 관리할 수 있도록 설계되었습니다. 최근 델과 클라우데라의 발표 와 마찬가지로 , 이 기술을 통해 고가의 교육 비용 없이도 하둡을 사용할 수 있게 됩니다.
데이터 세트의 크기와 복잡성이 계속 증가함에 따라 이러한 데이터 세트를 분석하려면 더 강력한 도구가 필요합니다. 도구가 존재하지만 종종 또 다른 복잡성 계층을 추가하고 새로운 기술에 대해 관리자를 교육하거나 컨설턴트를 고용하는 데 비용이 많이 들 수 있습니다. Google은 Hadoop 및 Spark를 위한 자동 관리형 서비스인 Dataproc을 도입합니다. Dataproc 사용자는 자동화를 사용하여 클러스터를 빠르게 만들고 관리하는 동시에 일괄 처리, 쿼리, 스트리밍, 머신 러닝을 위한 오픈소스 데이터 도구를 활용할 수 있습니다. 또한 Dataproc을 사용하면 사용하지 않을 때 클러스터를 끌 수 있어 분 단위로 청구되므로 비용을 절감할 수 있습니다.
장점은 다음과 같습니다 :
- Cloud Dataproc은 사용된 다른 Cloud Platform 리소스에 더해 시간당 고객 클러스터의 가상 CPU당 단 1센트로 가격이 책정됩니다. Cloud Dataproc 클러스터는 컴퓨팅 가격이 더 저렴한 선점형 인스턴스를 포함하여 비용을 더욱 절감할 수 있습니다. 사용량을 가장 가까운 시간 단위로 반올림하는 대신 Cloud Dataproc은 분 단위로 청구하고 최소 청구 기간이 XNUMX분일 때 사용한 만큼만 고객에게 청구합니다.
- Dataproc을 사용하지 않으면 온프레미스 또는 IaaS 제공업체를 통해 Spark 및 Hadoop 클러스터를 만드는 데 5~30분 정도 걸릴 수 있습니다. 이에 비해 Cloud Dataproc 클러스터는 각 작업이 평균 90초 이하로 빠르게 시작, 확장 및 종료됩니다. 이는 사용자가 클러스터를 기다리는 시간을 줄이고 데이터 작업에 더 많은 시간을 할애할 수 있음을 의미합니다.
- Cloud Dataproc은 다음과 같은 다른 Google Cloud Platform 서비스와 기본적으로 통합되어 있습니다. BigQuery, 클라우드 스토리지, 클라우드 빅테이블, Cloud Logging 및 Cloud Monitoring을 통해 고객은 Spark 또는 Hadoop 클러스터 이상의 완전한 데이터 플랫폼을 갖게 됩니다. 예를 들어 Cloud Dataproc을 사용하여 테라바이트의 원시 로그 데이터를 쉽게 ETL하여 비즈니스 보고를 위해 BigQuery로 직접 보낼 수 있습니다.
- 고객은 Google Developers Console, Google Cloud SDK 또는 Cloud Dataproc REST API를 통해 클러스터 및 Spark 또는 Hadoop 작업과 쉽게 상호작용할 수 있습니다. 클러스터 사용을 마치면 간단히 끌 수 있으므로 유휴 클러스터에 비용이 낭비되지 않습니다. Cloud Dataproc은 Cloud Storage, BigQuery, Cloud Bigtable과 통합되어 있으므로 데이터 손실에 대해 걱정할 필요가 없습니다.
- Cloud Dataproc을 사용하기 위해 새로운 도구나 API를 배울 필요가 없으므로 재개발 없이 기존 프로젝트를 Cloud Dataproc으로 쉽게 이동할 수 있습니다. Spark, Hadoop, Pig 및 Hive가 자주 업데이트되므로 사용자가 더 빠르게 생산성을 높일 수 있습니다.
가용성 및 가격
Google Cloud Dataproc은 현재 가상 CPU당 $0.01부터 시작하는 베타 서비스로 제공됩니다.
아마존