Сегодня Google Cloud Platform объявила о выпуске двух новых продуктов для анализа данных: Google Cloud Dataflow и Google Cloud Pub/Sub. Эти продукты обеспечат единую программную модель для анализа данных, устраняя необходимость в пакетных и потоковых источниках данных, интегрируя приложения и сервисы и анализируя потоки данных в режиме реального времени. Google также анонсировала выпуск Cloudera Director 1.5.
Google завершила добавление всей линейки своих инструментов для работы с большими данными, выпустив в общедоступную версию Google Cloud Dataflow и Google Cloud Pub/Sub, первым шагом стал BigQuery . Google снимает статус бета-версии и ожидает, что с помощью этих новых продуктов можно будет анализировать тысячи терабайт данных уже сейчас. Google Cloud Dataflow и Google Cloud Pub/Sub позволят обрабатывать данные без типичных для таких систем операционных затрат. Они также позволят клиентам создавать приложения на платформе, масштабируемой в соответствии с их потребностями, с низкой задержкой и высокой надежностью.
Google Cloud Dataflow упрощает разработку отдельных систем для пакетной и потоковой обработки данных, предоставляя единую модель программирования. Cloud Dataflow устраняет накладные расходы, связанные с управлением и оптимизацией крупномасштабных кластеров.
Преимущества включают:
- Полностью управляемый, отказоустойчивый, высокодоступный сервис с гарантированным уровнем обслуживания (SLA) для пакетной и потоковой обработки данных.
- Комплексная модель для балансировки корректности, задержки и стоимости при работе с неупорядоченными данными в огромных масштабах. Эти концепции лежат в основе ключевых элементов программной модели Cloud Dataflow.
- Cloud Dataflow в 2-3 раза быстрее и дешевле Hadoop при оценке классических конвейеров на основе MapReduce, таких как PageRank и WordCount. А благодаря динамическому перераспределению задач Cloud Dataflow эффективно оптимизирует использование ресурсов, обеспечивая дополнительный прирост производительности без необходимости ручного вмешательства.
- Расширяемый SDK. Google расширил свои усилия по интеграции с технологическими партнерами, сторонними коннекторами и поставщиками услуг, включая Tamr, Salesforce, Clearstory, springML, Cloudera, data Artisans. Google также продолжает поддерживать альтернативные средства запуска для Apache Spark и Apache Flink.
- Встроенная интеграция с Google Cloud Platform для Cloud Storage, Cloud Datastore, BigQuery и Cloud Pub/Sub.
Google Cloud Pub/Sub — результат десятилетних инноваций. Он позволяет надежно интегрировать приложения и сервисы, а также анализировать большие потоки данных в режиме реального времени. За время альфа- и бета-тестирования Cloud Pub/Sub обработал более 1 триллиона сообщений, что помогло оптимизировать его производительность. Он также может решать широкий спектр задач с помощью единого API.
Доступность
И Google Cloud Dataflow, и Google Cloud Pub/Sub доступны уже сегодня.




Amazon