SUSE Enterprise Storage — это программно-определяемое решение для хранения данных на базе Ceph, разработанное для того, чтобы помочь предприятиям управлять постоянно растущими объемами данных. Кроме того, SUSE стремится помочь, используя преимущества выгодной экономической эффективности хранения данных, поскольку жесткие диски продолжают увеличиваться в размерах, а цены на флэш-память продолжают снижаться. Хотя Ceph обычно конфигурируется как гибридное решение, его гибкость в конечном итоге зависит от требований заказчика. В то время как большая часть ажиотажа вокруг программно-определяемых решений сегодня сосредоточена на основных хранилищах и гиперконвергентных решениях, Ceph также способствует значительному развитию аппаратного обеспечения. HP, Dell, Supermicro и другие компании вложили значительные средства в компактные 3.5-дюймовые шасси с множеством вычислительных узлов, стремясь предоставить базовые аппаратные платформы, необходимые для Ceph. В данном обзоре мы использовали оборудование HPE, включая серверы ProLiant и шасси Apollo, но SUSE Enterprise Storage может быть развернуто практически на любом устройстве.
Хотя подробное изучение Ceph выходит за рамки этого обзора, важно иметь базовое представление о том, что это такое. Ceph — это программная платформа хранения данных, уникальная своей способностью предоставлять объектное, блочное и файловое хранилище в единой системе. Еще одна привлекательная особенность Ceph — это высокая масштабируемость, вплоть до эксабайтов данных. Она может работать на стандартном оборудовании (то есть ничего особенного не требуется). Ceph разработан таким образом, чтобы избежать единых точек отказа. И что особенно интересно для всех, Ceph доступен бесплатно.
Пользователи могут настроить узел Ceph на стандартном оборудовании, использующем несколько интеллектуальных демонов, в частности четыре: мониторы кластера (ceph-mon), серверы метаданных (ceph-mds), устройства объектного хранения (ceph-osd) и шлюзы RESTful (ceph-rgw). Для лучшей защиты пользовательских данных и обеспечения отказоустойчивости Ceph реплицирует данные и распределяет их по нескольким узлам для повышения пропускной способности.
SUSE Enterprise Storage использует Ceph в качестве очень большого и экономичного хранилища для больших объемов данных различных типов. Объем данных будет только расти, а большие данные чрезвычайно ценны, но требуют огромных объемов памяти. Большие данные могут дать компаниям ценные аналитические данные, которые могут существенно повлиять на их прибыль, но для анализа этих данных им необходимо место для их хранения. Помимо возможности экономичного хранения больших объемов данных, SUSE Enterprise Storage также обладает высокой адаптивностью. Будучи самоуправляемым и самовосстанавливающимся, программное обеспечение идеально подходит для быстрой адаптации к изменениям требований. Это означает, что администраторы могут быстро корректировать производительность и выделять дополнительное хранилище без сбоев. Адаптивность обеспечивает гибкость при использовании стандартного оборудования с SUSE Enterprise Storage.
Функции корпоративного хранилища SUSE
- Многоуровневое кэширование
- Тонкая подготовка
- Клоны с механизмом «копирование при записи»
- Стирающее кодирование
- Гетерогенный доступ к блокам ОС (iSCSI)
- Единый доступ к объектной, блочной и файловой системе (техническая предварительная версия)
- API для программного доступа
- Интеграция с OpenStack
- Онлайн-масштабируемость узлов или пропускной способности
- Онлайн-обновления программного обеспечения
- Шифрование данных в состоянии покоя
Конфигурация оборудования корпоративного хранилища SUSE
Узлы мониторинга отслеживают состояние кластера, но не находятся на пути передачи данных. В нашем случае тремя узлами мониторинга являются серверы HPE ProLiant DL360 форм-фактора 1U. Для большинства кластеров SUSE Enterprise Storage достаточно трех узлов мониторинга, хотя предприятие может развернуть пять или более, если количество узлов хранения очень велико.
Узлы хранения SUSE масштабируются горизонтально и состоят из трех узлов HPE Apollo 4200 и трех узлов HPE Apollo 4510. В нашей конфигурации данные записываются в трех экземплярах на всех узлах хранения, хотя это, конечно, может быть изменено в зависимости от потребностей. Уровни защиты определяются на уровне пула.
- 3 узла HPE Apollo 4200
- 2 процессора Intel E5-2680 v3
- RAM 320GB
- Комплект для загрузки M.2
- 4x 480GB SSD
- 24 жестких диска SATA 7.2k по 6 ТБ
- 1x двухпортовый адаптер 40 Гбит/с
- 3 узла HPE Apollo 4510
- 2 процессора e5-2690 v3
- RAM 320GB
- Комплект для загрузки M.2
- 4x 480GB SSD
- 24 жестких диска SATA 7.2k по 6 ТБ
- 1x двухпортовый адаптер 40 Гбит/с
- 3 узла HPE ProLiant DL360
- 1 E5-2660v3
- RAM 64GB
- 2x 80GB SSD
- 6x 480GB SSD
- 1x двухпортовый адаптер 40 Гбит/с
- 2 коммутатора HP FlexFabric 5930-32QSFP+
- Конфигурация сервера
- SUSE Linux Enterprise Server 12 SP1 с SUSE Enterprise Storage
- OSD-устройства развертываются с соотношением HDD к SSD 6:1 для журналируемых устройств.
- Устройства HPE Apollo 4200 и 4510 объединены в единый кластер хранения данных, всего 144 устройства хранения.
- Устройства DL360 выполняют функции администратора, монитора и графического интерфейса пользователя Romana.
- На всех 6 узлах хранения развернуты службы шлюза iSCSI.
SUSE Enterprise Storage Management
Большая часть корпоративного хранилища SUSE управляется через командную строку, хотя также существует веб-интерфейс. В настоящее время SUSE использует Calamari в качестве графического интерфейса, хотя в будущем это может измениться. После настройки и открытия Calamari пользователи получают представление о том, что обычно ожидается от графического интерфейса. На главной странице расположены четыре основные вкладки вверху: «Панель управления», «Рабочая среда», «График» и «Управление». Вкладка «Панель управления» (та, которая открывается по умолчанию) отображает состояние системы, а также любые активные предупреждения. Отображается общее количество OSD в кластере, а также общее количество запущенных и выключенных систем. Отображается количество мониторов (общее и запущенных). И указывается общее количество пулов. Ниже отображается статус групп размещения, включая количество активных и свободных систем, а также цветовая кодировка, показывающая, какие пользователи находятся в состоянии «чисто» (зеленый), «работает» (желтый) и «грязно» (красный).
Вкладка «Рабочая среда» предоставляет пользователям графическое представление количества экранных меню (OSD), а также информацию о том, какие из них работают корректно, а какие не работают. На графике видно, что большинство из них работают корректно (обозначено зеленым цветом), а одно не работает (выделено красным и имеет немного больший размер). В левой части экрана пользователи могут сортировать и фильтровать экранные меню.
На вкладке «Рабочая среда» пользователи также могут получить графическое представление производительности своего хранилища. В приведенном ниже примере пользователи могут увидеть количество операций ввода-вывода в секунду (IOPS) при чтении и записи, загрузку хранилища и количество хостов, предоставляющих отчеты.
На вкладке «Диаграммы» пользователи могут выбрать кластер и получить график с прерывистой линией, показывающий производительность кластера, включая операции чтения и записи.
Вкладка «Управление» позволяет пользователям редактировать кластеры, OSD, пулы и просматривать журналы. На подвкладке OSD пользователи могут видеть список хостов в левой части экрана и информацию о том, какие OSD установлены на каждом хосте. Пользователи могут перемещать OSD для балансировки нагрузки.
Анализ синтетической рабочей нагрузки предприятия
Производительность хранилища меняется по мере того, как массив подстраивается под свою нагрузку, а это значит, что устройства хранения необходимо предварительно настраивать перед каждым из синтетических тестов fio , чтобы обеспечить точность результатов. В каждом тесте мы предварительно настраиваем группу с той же нагрузкой, что и в основном тесте. Для тестирования мы запускали SUSE Enterprise со стандартной, неоптимизированной конфигурацией. В будущем тестирование SUSE может проводиться с использованием определенных настроек ОС и Ceph.
Предварительная подготовка и первичные испытания в стационарном режиме:
- Пропускная способность (суммарные операции ввода-вывода при чтении и записи)
- Средняя задержка (среднее значение задержки чтения и записи)
- Максимальная задержка (пиковая задержка чтения или записи)
- Стандартное отклонение задержки (усредненное стандартное отклонение чтения и записи)
Технические характеристики Dell PowerEdge LoadGen
- Серверы Dell PowerEdge R730 (2-4)
- Процессоры: Два Intel Xeon E5-2690 v3 2.6 ГГц (12 ядер/28 потоков)
- Память: 128 ГБ DDR4 RDIMM на каждый модуль.
- Сетевое оборудование: Mellanox ConnectX-3 40GbE
Поскольку кластер SUSE Enterprise Storage ориентирован на большие последовательные передачи данных, мы включили один тест со случайной нагрузкой, а также провели три теста с последовательными передачами данных в кластере с постоянно увеличивающимися размерами передач. Каждая нагрузка применялась с 10 потоками и глубиной очереди 16. Случайные нагрузки применялись с 2 клиентами, результаты суммировались для получения общего балла, а результаты последовательных нагрузок измерялись с 2 и 4 клиентами. Каждый клиент подключался к блочным устройствам в кластере CEPH через протокол RBD (RADOS Block Devices).
Профили рабочей нагрузки
- 4k Случайный
- 100% чтение и 100% письмо
- 8k Последовательный
- 100% чтение и 100% письмо
- 128k Последовательный
- 100% чтение и 100% письмо
- 1024k Последовательный
- 100% чтение и 100% письмо
В нашем синтетическом тесте с использованием случайных данных размером 4 КБ система SUSE Enterprise Storage (далее для краткости именуемая SUSE) показала пропускную способность чтения 8,739 и 8,646 IOPS на отдельных хостах, с суммарным результатом чтения 17,385 IOPS. Пропускная способность записи на отдельных хостах составила 4,571 и 4,880 IOPS, с суммарным результатом 9,451 IOPS.
Если рассматривать среднюю задержку, то у обоих хостов, а следовательно, и среднее значение между ними, показатели чтения и записи были очень близки. При чтении задержки у отдельных хостов составили 18.3 мс и 18.51 мс соответственно, а суммарная задержка — 18.41 мс. При записи задержки у отдельных хостов составили 34.99 мс и 32.78 мс соответственно, а суммарная — 33.88 мс.
Максимальная задержка при записи показала довольно стабильные значения: 4,890 мс и 4,628 мс для отдельных хостов и 4,759 мс в сумме. При чтении наблюдалось гораздо большее расхождение между отдельными хостами: задержки варьировались от 5,227.2 мс до 7,125.6 мс, что дало суммарный результат в 6,176.4 мс.
В очередной раз стандартное отклонение показало значительное сокращение задержки. На отдельных хостах задержка чтения составила 36.7 мс и 37.21 мс, а суммарная задержка — 36.96 мс. Задержка записи варьировалась от 80.18 мс до 89.84 мс, а суммарный показатель составил 85.01 мс.
Далее переходим к последовательным тестам, первым из которых является наш тест 8k. Здесь мы рассмотрим два набора тестов (SUSE 2 и SUSE 4) с двумя хостами в SUSE 2 и четырьмя хостами в SUSE 4, с суммарными результатами для каждого набора. В SUSE 2 мы получили пропускную способность чтения 66 610 и 66 763 IOPS и пропускную способность записи 5 235 и 5 375 IOPS. Для SUSE с двумя хостами мы получили суммарные результаты 133 373 IOPS чтения и 10 608 IOPS записи. В SUSE с четырьмя хостами мы получили пропускную способность чтения в диапазоне от 47 629 до 49 305 IOPS и пропускную способность записи в диапазоне от 3 176 до 3 756 IOPS с суммарными результатами 193 771 IOPS чтения и 14 280 IOPS записи.
При переходе к тесту последовательного чтения больших блоков размером 128 КБ, система SUSE с двумя хостами показала скорость чтения 2.32 ГБ/с и 2.34 ГБ/с с суммарным показателем скорости чтения 4.47 ГБ/с. Система с двумя хостами показала скорость записи 568 МБ/с и 572 МБ/с с суммарным показателем скорости записи 1.459 ГБ/с. Система SUSE с четырьмя хостами показала скорость чтения от 2 ГБ/с до 2.644 ГБ/с с суммарным показателем скорости чтения 9.365 ГБ/с. Что касается скорости записи, система SUSE с четырьмя хостами показала скорость от 353 МБ/с до 373 МБ/с с суммарным показателем скорости записи 1.46 ГБ/с.
Переключившись на еще больший блок — 1,024 КБ — последовательный тест, система SUSE с двумя хостами показала скорость чтения 4.48 ГБ/с и 4.5 ГБ/с с суммарным показателем 8.98 ГБ/с. Что касается скорости записи, система SUSE с двумя хостами показала скорость 869 МБ/с и 885 МБ/с с суммарным показателем 1.755 ГБ/с. Система с четырьмя хостами показала скорость чтения от 2.553 ГБ/с до 3.295 ГБ/с с суммарным показателем 11.863 ГБ/с. Что касается скорости записи, система SUSE с четырьмя хостами показала скорость от 372 МБ/с до 618 МБ/с с суммарным показателем 1.828 ГБ/с.
Заключение
SUSE Enterprise Storage — это решение для хранения больших объемов данных на базе Ceph, разработанное для компаний, испытывающих трудности с постоянно растущими объемами данных. SUSE использует Ceph в качестве хранилища больших объемов данных для всех типов данных, что особенно полезно, поскольку большие данные генерируются в различных формах. Гибкость Ceph также является плюсом, поскольку его можно развернуть практически на любом устройстве, а это значит, что компании могут использовать SUSE Enterprise Storage с Ceph на уже имеющихся ресурсах (для нашего обзора мы использовали серверы HPE ProLiant и шасси Apollo). Гибкость — это одно из главных преимуществ, но SUSE Enterprise Storage также отличается высокой адаптивностью, самоуправляемостью и самовосстановлением. Другими словами, администраторы, использующие SUSE Enterprise Storage, смогут быстро вносить изменения в производительность и выделять больше места для хранения данных без сбоев.
Что касается производительности, мы использовали стандартную, неоптимизированную конфигурацию. В Ceph существует множество вариантов настройки. Вместо оптимизации ОС или Ceph, мы получаем результаты, основанные на стандартной конфигурации, что помогает установить базовый уровень производительности. SUSE Enterprise Storage больше ориентирована на большие последовательные передачи, поэтому большинство наших тестов ориентированы именно на это. Если у пользователя есть кластер SUSE Enterprise Storage, он, скорее всего, будет использовать его для больших последовательных передач и, следовательно, будет больше заинтересован в таких результатах. Тем не менее, мы все же провели тесты с произвольным доступом на 4 устройств, чтобы дать общее представление о том, как работает система, даже когда она сталкивается с задачами, для которых она не предназначена.
В наших тестах с использованием алгоритма случайного выбора 4K данных мы запустили два клиента, обозначенных на диаграммах как Host 1 и Host 2. Мы проанализировали результаты каждого из них, а также суммарный или совокупный результат. Что касается пропускной способности, SUSE Enterprise Storage показала суммарный результат чтения 17 385 IOPS и суммарный результат записи 9 451 IOPS. При задержках 4K SUSE Enterprise Storage показала суммарные средние задержки 18.41 мс при чтении и 33.88 мс при записи, суммарные максимальные задержки 6 176,4 мс при чтении и 4 759 мс при записи, а также суммарные стандартные отклонения 36.96 мс при чтении и 85.01 мс при записи.
Более масштабные последовательные тесты проводились на 4 хостах с 2 или 4 клиентами, а также были получены суммарные результаты для каждого из 2 и 4 клиентов. Мы тестировали последовательную производительность с использованием 8k, 128k и 1024k. Неудивительно, что в каждом тесте суммарный результат для хоста с 4 клиентами оказался лучшим в целом. В тесте с 8k SUSE Enterprise Storage показал высокие суммарные результаты: 193 771 IOPS при чтении и 14 280 IOPS при записи. В нашем тесте с 128k максимальный суммарный результат составил 9.365 ГБ/с при чтении и 1.459 ГБ/с при записи. И в нашем заключительном тесте последовательной обработки больших блоков с 1024k SUSE Enterprise Storage показал высокий суммарный результат: 11.863 ГБ/с при чтении и 1.828 ГБ/с при записи.
Плюсы
- Высокомасштабируемое решение для расширения наборов данных.
- Программно-определяемая архитектура обеспечивает гибкость развертывания.
- Предлагает традиционную поддержку подключения, такую как iSCSI.
- Может быть настроен под конкретные рабочие нагрузки и точные потребности.
Минусы
- Поддержка случайного ввода-вывода может быть улучшена для расширения областей применения.
- Требуется высокий уровень владения Linux для развертывания и управления.
Резюме
SUSE Enterprise Storage обеспечивает компаниям, стремящимся хранить и использовать большие данные, широкие возможности масштабирования, гибкость и высокую степень адаптивности.




Amazon