StorageReview.com

Ускорьте передачу данных в облако с помощью устройств AWS Snowball Edge.

облако  ◇  Предприятие

Недавно мы завершили проект по анализу данных, в результате которого получили файл объемом 100 ТБ . Хотя у нас достаточно места для хранения данных в лаборатории, хранение файла размером 100 ТБ на постоянной основе сопряжено с рядом уникальных проблем. Кроме того, нам этот файл, по сути, не «нужен», но мы бы предпочли сохранить его, если это возможно. Облако, очевидно, подходит для этой задачи, но время передачи такого объема данных по сети огромно, поэтому мы решили попробовать устройства AWS Snowball Edge. Цель – как можно быстрее доставить наши данные из лаборатории в Цинциннати в хранилище S3 в регионе AWS us-east-2.

Грань снежного кома AWS

Что представляют собой устройства AWS Snowball Edge?

Прежде чем углубляться в задачу миграции данных, необходимо кратко ознакомиться с устройствами AWS Snowball Edge. Семейство AWS Snow представляет собой набор специализированных сервисов. Эти сервисы выполняют ресурсоемкие вычислительные задачи, храня данные на периферии сети в условиях отсутствия, прерывания, нестабильного или ограниченного (DDIL) сетевого подключения, а также для передачи больших объемов данных из локальных и защищенных мобильных сред. Устройства AWS Snowball Edge отличаются прочностью, портативностью и безопасностью, а также предлагают функции, оптимизированные либо для хранения, либо для вычислений. Эти устройства разработаны для того, чтобы помочь клиентам безопасно и эффективно перемещать (в AWS) или обрабатывать большие объемы данных, даже в удаленных или отключенных местах.

Кабели AWS Snowball Edge

Устройства Snowball Edge выпускаются в двух версиях: Snowball Edge Storage Optimized, которую мы используем здесь, и Snowball Edge Compute Optimized. Версия Storage Optimized предназначена для задач передачи и хранения данных и имеет объем памяти до 80 ТБ. Версия Compute Optimized предназначена для задач обработки данных и вычислений и имеет до 104 виртуальных процессоров и 416 ГБ оперативной памяти. Существует даже опция включения графического процессора (GPU) в систему Compute Optimized. Для тех, у кого более скромные потребности в данных, существует также небольшая, ультрапортативная линейка Snow Family, получившая название AWS Snowcone.

Параметры конфигурации AWS Snowball Edge

Обе версии Snowball Edge имеют встроенные функции безопасности, такие как корпуса с защитой от несанкционированного доступа, 256-битное шифрование и микросхемы Trusted Platform Module (TPM) для обеспечения целостности и конфиденциальности данных. Кроме того, устройства Snowball Edge могут быть настроены для запуска функций AWS Lambda, экземпляров Amazon EC2 и других сервисов AWS на периферии сети, что позволяет клиентам выполнять обработку и анализ данных локально, прежде чем передавать данные в AWS.

В нашем случае устройства Snowball Edge предоставляют клиентам быстрый, безопасный и гибкий способ передачи и обработки больших объемов данных в различных условиях, включая удаленные или изолированные места.

дисплей AWS Snowball Edge

Процесс заказа AWS Snowball

Для опытных специалистов AWS процесс заказа Snowball довольно прост. Даже новички, такие как я, смогли пройти все шаги благодаря небольшой помощи наших друзей из AWS, которые помогли нам разобраться в процессе.

Шаг 1 оформления заказа AWS Snowball

Шаг 1 — присвоить заданию имя и выбрать тип задания для вашего устройства Snow. Наша задача заключалась просто в передаче данных в S3, но устройства Snow также могут экспортировать данные из S3. Их также можно использовать в качестве точечных решений для предоставления локальных вычислительных ресурсов, хранилища и графического процессора на периферии сети.

storagereview aws snowball ordering step 2

Второй шаг остается простым: выбор устройства Snowball. В нашем случае мы выбрали устройство Snowball Edge Storage Optimized с доступным объемом 80 ТБ. Для AWS Snowball доступны различные варианты ценообразования. Есть вариант оплаты за использование в день, а также AWS Snowball предлагает значительные скидки (до 62%) при заключении договоров на 1 и 3 года. В рамках этих долгосрочных предложений вы платите авансом за использование устройства(ов) Snowball по сниженной цене и избегаете уплаты каких-либо дополнительных комиссий за обслуживание или ежедневных сборов до окончания предоплаченного периода. Вы можете зарегистрироваться для получения фиксированной цены авансом в консоли AWS Snow Family при заказе устройства Snowball.

Наконец, выберите необходимые для импорта экземпляры EC2 и корзины S3. Поскольку это был новый аккаунт, мы создали новую корзину S3. Нам также не понадобились экземпляры EC2, но позже мы всё же установили экземпляр EC2 для развлечения.

На третьем этапе предлагаются несколько дополнительных функций, таких как опциональный AWS IoT Greengrass for Snow и возможность удаленного управления устройствами.

storagereview aws snowball ordering step 4

Шаг 4 посвящен настройкам безопасности, доставки и уведомлений. Здесь мы использовали шифрование по умолчанию и создали предлагаемую роль сервиса, чтобы AWS мог обрабатывать данные. Далее необходимо добавить свой адрес и выбрать доставку в течение одного или двух дней. Здесь же можно добавить уведомления по электронной почте, хотя консоль AWS отображает весь ход выполнения задания по мере его обработки в системе.

storagereview aws snowball ordering step 5

Последний шаг — проверка всей введенной информации и отправка. Это создает задание, после чего начинается процесс его выполнения компанией AWS. Мы проходили этот процесс с AWS довольно медленно, желая понять все доступные варианты. Даже в нашем неспешном темпе весь процесс занял около 10 минут. Более быстрый вариант позволил бы заказать устройство Snow максимум за 2-3 минуты.

storagereview aws snowball ordering clone job

В то время мы думали, что нам понадобится два устройства Snowball Edge. Оглядываясь назад, мы поняли, что нам достаточно было одного. Процесс клонирования этой задачи также очень прост, и для подсчета нескольких результатов Snowball Edge для больших массивов данных требуется всего пара дополнительных щелчков мышью.

AWS Snowball доставлен

Дальше остается только ждать, пока система обработает заказ. Поскольку это был совершенно новый аккаунт, заказ двух устройств Snowball Edge сразу же вызвал у нас некоторые подозрения. Но для аккаунтов с активностью таких проверок быть не должно. Устройства Snowball прибыли всего за несколько дней, и мы приступили к подготовке данных для передачи.

Один из важных моментов при использовании Snowball — это ценообразование. Взимается плата за выполнение заказа, которая включает в себя десять дней работы устройства на месте. Конечно, после загрузки данных в S3 также взимается плата за облачное хранилище. Хотя ценообразование Snowball несложное, оно зависит от выбранной системы, необходимого времени и региона. В нашем случае плата за выполнение заказа составила 300 долларов за один Snowball, и даже эта сумма может быть значительно снижена при заключении долгосрочных контрактов. Однако вы можете составить представление о ценах на Snowball; AWS предлагает таблицу, в которой всё подробно описано.

Подготовка данных

Мы начали с текстового файла размером 100 ТБ, но любой, кто знаком с S3, знает, что это проблема. В S3 существует ограничение на размер объекта в 5 ТБ, а это означало, что нам нужно было что-то сделать с нашим единственным файлом, не соответствующим требованиям. Мы решили разбить его на части и посмотреть, сможем ли мы одновременно получить преимущества в плане сжатия. Мы надеялись, что сможем уменьшить размер файла до одного блока Snowball, максимальный полезный размер которого составляет 80 ТБ. Пока мы ждали прибытия Snowball Edge, мы приступили к подготовке данных.

Воспроизведение процесса

Мы использовали наше любимое приложение для работы с большими числами , y-cruncher, которое включает в себя утилиту для просмотра, разделения и сжатия цифр. Из-за ограничения размера объекта в S3 мы решили разделить все 100 триллионов цифр числа Пи на 200 файлов. После сжатия размер файла составил приблизительно 191 ГБ, каждый из которых содержал 500 000 000 000 (500 миллиардов) цифр.

Конфигурация AWS Snowball

Подготовив данные и получив устройство Snowball, мы запустили первый экземпляр, чтобы подключить его к сети. Настройка Snowball очень проста: нужно лишь подать на него питание и подключить к сети; мы выбрали порт 10GbE. Многие предпочтут использовать CLI для взаимодействия со Snowball, что, вероятно, является предпочтительным методом. Тем не менее, ради наглядности и желания получить представление о работе устройства с точки зрения человека, не являющегося профессионалом AWS, мы выбрали AWS OpsHub для семейства Snow.

AWS OpsHub для Snow Family — это удобный инструмент, помогающий клиентам управлять устройствами Snow Family и локальными сервисами AWS. Пользователи могут разблокировать и настраивать устройства, передавать файлы, запускать и управлять экземплярами, а также отслеживать метрики устройств через графический интерфейс, который обеспечивает единое представление сервисов AWS, работающих на устройствах. AWS OpsHub автоматизирует операционные задачи и разработан для пользователей с разным уровнем технической подготовки, что упрощает управление большим количеством устройств Snow Family.

AWS OpsHub для семейства Snow

Используя IP-адрес с ЖК-экрана, а также код разблокировки и файл манифеста из консоли AWS, вы можете разблокировать и получить доступ к Snowball Edge. Это может занять несколько минут, поскольку AWS проверяет учетные данные, расшифровывает содержимое и выполняет ряд других задач по обслуживанию.

Панель управления AWS OpsHub

После входа в систему вы попадаете на визуальную панель управления с соответствующей информацией об устройстве и включенными службами. На этом этапе мы подключены к сети и готовы к передаче данных.

Передача данных в AWS Snowball

После настройки Snowball Edge, подключения к сети и активации OpsHub пришло время перенести наши 200 файлов размером 200 ГБ. Хотя большинство пользователей использовали бы интерфейс командной строки для этого процесса и предпочли бы более быстрый и удобный способ, мы выбрали простоту. Используя OpsHub в Windows, мы просто выбрали папку с данными с нашего Raspberry Pi и позволили данным переместиться. Перенос файлов на Snowball занял у нас около четырех дней.

Интерфейсы AWS Snowball Edge

После завершения передачи данных мы выключили устройство, после чего на электронном дисплее отобразился адрес для загрузки данных. В нашем случае это был город Колумбус, штат Огайо, где находится офис us-east-2. Кстати, как только устройство попадает в руки отправителя, учетные данные доступа также удаляются из веб-консоли, обеспечивая защиту данных во время транспортировки.

AWS отслеживает статус «снежного кома».

После отправки через UPS веб-интерфейс AWS обновляет статус задания, отображая номер отслеживания и ход доставки Snowball: от транспортировки и сортировки до получения AWS и импорта в S3. Доставка Snowball в Колумбус заняла несколько дней, а импорт — еще два дня.

Заполнение контейнера S3 завершено.

После подтверждения завершения процесса мы выполнили визуализацию в S3, чтобы убедиться, что все данные импортированы корректно. Для большей уверенности клиентов AWS также предоставляет отчет об аудите всего процесса, включая все выявленные исключения.

Журнал успешного импорта AWS Snowball Edge

В нашем журнале мы видим, что обработка 200 файлов прошла без сбоев. AWS также регистрирует основные моменты перемещения Snowball Edge и его данных по системе.

Заключение

Устройства AWS Snowball Edge не являются новинкой; AWS одной из первых предложила своим клиентам безопасный способ ускорения переноса данных из офлайн-режима или удаленного хранилища в облако. Если бы мы просто попытались скопировать наши данные в S3 по сети, мы, вероятно, до сих пор ждали бы завершения этой задачи и не смогли бы заниматься чем-либо еще продуктивным, поскольку наш интернет-канал был бы занят. Для нас устройство Snowball Edge Storage Optimized оказалось именно тем, что нам нужно, чтобы как можно быстрее перенести наши данные в облако.

AWS Snowball Edge Display on

Это не обошлось без затрат. Хотя постоянные клиенты могут получить более выгодные цены, наши личные расходы на Snowballs составили около 700 долларов. Впрочем, это неплохо, учитывая, что мы по ошибке заказали лишний экземпляр и не стали спешить с перенастройкой устройств в AWS. Плата за загрузку данных в S3 не взималась, а текущие расходы на S3 определяются вашим договорным тарифом с AWS.

Следует отметить, что мы использовали Snowball Edge в самом простом режиме. Устройства Snowball с вычислительными ресурсами, особенно те, которые оснащены графическими процессорами (GPU), предлагают гораздо больший потенциал для более ресурсоемких сценариев использования. Тем, кто заинтересован, рекомендуем послушать наш недавний подкаст об AWS Snow . В конечном итоге, устройства Snow — это просто уменьшенная версия AWS с ограничениями по объему хранилища и вычислительных ресурсов. Но, как мы убедились, они очень гибкие, чрезвычайно просты в развертывании и надежно доставляют данные туда, куда нужно. Всем, кто рассматривает возможность использования устройств AWS Snow, мы настоятельно рекомендуем попробовать их.

Руководство по AWS Snowball Edge

 

Взаимодействуйте со StorageReview

Рассылка | YouTube | Подкаст | iTunes / Spotify | Instagram | Twitter | TikTok | RSS-лента

Брайан Билер

Брайан проживает в Цинциннати, штат Огайо, и является главным аналитиком и президентом StorageReview.com.