StorageReview.com

Google объявляет о выходе в общий доступ Google Cloud Dataflow и Google Cloud Pub/Sub.

Предприятие  ◇  ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ

Сегодня Google Cloud Platform объявила о выпуске двух новых продуктов для анализа данных: Google Cloud Dataflow и Google Cloud Pub/Sub. Эти продукты обеспечат единую программную модель для анализа данных, устраняя необходимость в пакетных и потоковых источниках данных, интегрируя приложения и сервисы и анализируя потоки данных в режиме реального времени. Google также анонсировала выпуск Cloudera Director 1.5.

Google завершила добавление всей линейки своих инструментов для работы с большими данными, выпустив в общедоступную версию Google Cloud Dataflow и Google Cloud Pub/Sub, первым шагом стал BigQuery . Google снимает статус бета-версии и ожидает, что с помощью этих новых продуктов можно будет анализировать тысячи терабайт данных уже сейчас. Google Cloud Dataflow и Google Cloud Pub/Sub позволят обрабатывать данные без типичных для таких систем операционных затрат. Они также позволят клиентам создавать приложения на платформе, масштабируемой в соответствии с их потребностями, с низкой задержкой и высокой надежностью.

Google Cloud Dataflow упрощает разработку отдельных систем для пакетной и потоковой обработки данных, предоставляя единую модель программирования. Cloud Dataflow устраняет накладные расходы, связанные с управлением и оптимизацией крупномасштабных кластеров.

Преимущества включают:

  • Полностью управляемый, отказоустойчивый, высокодоступный сервис с гарантированным уровнем обслуживания (SLA) для пакетной и потоковой обработки данных.
  • Комплексная модель для балансировки корректности, задержки и стоимости при работе с неупорядоченными данными в огромных масштабах. Эти концепции лежат в основе ключевых элементов программной модели Cloud Dataflow.
  • Cloud Dataflow в 2-3 раза быстрее и дешевле Hadoop при оценке классических конвейеров на основе MapReduce, таких как PageRank и WordCount. А благодаря динамическому перераспределению задач Cloud Dataflow эффективно оптимизирует использование ресурсов, обеспечивая дополнительный прирост производительности без необходимости ручного вмешательства.
  • Расширяемый SDK. Google расширил свои усилия по интеграции с технологическими партнерами, сторонними коннекторами и поставщиками услуг, включая Tamr, Salesforce, Clearstory, springML, Cloudera, data Artisans. Google также продолжает поддерживать альтернативные средства запуска для Apache Spark и Apache Flink. 
  • Встроенная интеграция с Google Cloud Platform для Cloud Storage, Cloud Datastore, BigQuery и Cloud Pub/Sub.

Google Cloud Pub/Sub — результат десятилетних инноваций. Он позволяет надежно интегрировать приложения и сервисы, а также анализировать большие потоки данных в режиме реального времени. За время альфа- и бета-тестирования Cloud Pub/Sub обработал более 1 триллиона сообщений, что помогло оптимизировать его производительность. Он также может решать широкий спектр задач с помощью единого API.

Доступность

И Google Cloud Dataflow, и Google Cloud Pub/Sub доступны уже сегодня.

Облачный поток данных Google

Google Cloud Pub / Sub

Обсудите эту историю

Подпишитесь на рассылку StorageReview

Взаимодействуйте со StorageReview

Рассылка | YouTube | Подкаст | iTunes / Spotify | Instagram | Twitter | TikTok | RSS-лента

Адам Армстронг

Адам — главный редактор новостей StorageReview.com, он руководит нашими внутренними и внештатными командами по созданию контента.