StorageReview.com

Обзор VMware VSAN 6.2 All-Flash

Предприятие

В прошлом году мы опубликовали подробную серию обзоров VSAN 6.0 в гибридной конфигурации. В феврале этого года VMware выпустила VSAN 6.2 , которая привнесла на рынок сокращение объёма данных за счёт дедупликации и сжатия, а также ряд других функций. Сокращение объёма данных — это важный шаг вперёд для VSAN, поскольку оно использует преимущества резкого роста использования флэш-памяти, во многом благодаря снижению цен и высококачественным вариантам. При использовании VSAN в полностью флэш-конфигурации пользователи, использующие сокращение объёма данных, могут фактически утроить (или даже больше) свою ёмкость в зависимости от рабочей нагрузки, что действительно повышает ценность флэш-памяти для всех — от удаленных офисов до крупных предприятий.

В рамках нашего обзора VSAN мы используем тот же кластер Dell PowerEdge R730xd, что и в предыдущем обзоре гибридной системы. Мы обновили платформу, включая BIOS, прошивку и ESXi, чтобы обеспечить совместимость с VSAN 6.2. Однако одним из самых значительных изменений стала замена существующих жестких дисков и SSD на новую конфигурацию на основе флэш-памяти от Toshiba. Используя одни из самых быстрых SSD-накопителей SAS3 на рынке, мы можем полностью сосредоточиться на самом VSAN, не позволяя аппаратным ограничениям его работу.

Технические характеристики Dell PowerEdge R730xd VMware All-Flash VSAN

  • Серверы Dell PowerEdge R730xd (4 шт.)
  • Процессоры: восемь Intel Xeon E5-2697 v3 2.6 ГГц (14 ядер/28 потоков)
  • Память: 64 x 16 ГБ DDR4 RDIMM
  • SSD:
    • Кэш: 16 x 400 ГБ Toshiba PX04, SAS3 с интенсивной записью.
    • Емкость: 80 x 960 ГБ Toshiba PX04 Read-Intensive SAS3
  • Сетевое оборудование: 4 x Intel X520 DP 10Gb DA/SFP+, + I350 DP 1Gb Ethernet
  • Емкость хранения: 69.86TB

Для этого обзора использовались накопители Toshiba PX04S . В нашем предыдущем обзоре мы установили, что модели PX04S являются самыми быстрыми корпоративными SAS SSD-накопителями, которые мы тестировали до сих пор. PX04S также был самым емким двухпортовым SAS SSD-накопителем на момент обзора. Серия PX04S выпускается с несколькими уровнями износостойкости, от высокой до низкой, а также со средним и экономичным вариантами. Для этого обзора мы установили в Dell PowerEdge R730xd шестнадцать накопителей по 400 ГБ с высокой интенсивностью записи (PX04SHB040) и восемьдесят накопителей по 960 ГБ с низкой интенсивностью записи (PX04SVB096). Накопители с высокой интенсивностью записи обеспечивают до 25 циклов записи в сутки, а накопители с низкой интенсивностью записи — до 3 циклов записи в сутки. Для сравнения, в гибридной конфигурации с теми же серверами кэш-уровень состоял из четырех твердотельных накопителей Toshiba PX02 800 ГБ на каждый хост, что обеспечивало вдвое большую емкость кэш-уровня.

Технические характеристики накопителя PX04SHB040 объемом 400 ГБ с интенсивным режимом записи:

  • Эффективности
    • Устойчивая скорость последовательного чтения 64 КиБ: 1,900 МиБ/с
    • Последовательная запись со скоростью 64 КиБ в режиме непрерывной работы: 850 МиБ/с
    • Устойчивое случайное чтение 4 КиБ: 270 тыс. операций ввода-вывода в секунду.
    • Устойчивая случайная запись 4 КиБ: 125 тыс. операций ввода-вывода в секунду.
  • DWPD: 25

Технические характеристики недорогого и долговечного накопителя PX04SVB096 объемом 960 ГБ:

  • Эффективности
    • Устойчивая скорость последовательного чтения 64 КиБ: 1,900 МиБ/с
    • Последовательная запись со скоростью 64 КиБ в режиме непрерывной работы: 850 МиБ/с
    • Устойчивое случайное чтение 4 КиБ: 270 тыс. операций ввода-вывода в секунду.
    • Устойчивая случайная запись 4 КиБ: 60 тыс. операций ввода-вывода в секунду.
  • DWPD: 3

Анализ рабочей нагрузки приложения

Для этого обзора мы повторно заполнили виртуальную сеть хранения данных Dell PowerEdge R730xd VMware VSAN твердотельными накопителями Toshiba PX04 SAS3. Первые тесты включают оценку производительности MySQL OLTP с помощью SysBench и производительности Microsoft SQL Server OLTP с использованием смоделированной рабочей нагрузки TPC-C.

Каждая виртуальная машина SQL Server настроена с двумя виртуальными дисками: один объемом 100 ГБ для загрузки, а другой — 500 ГБ для базы данных и файлов журналов. С точки зрения системных ресурсов, мы настроили каждую виртуальную машину с 16 виртуальными процессорами, 64 ГБ оперативной памяти и использовали контроллер LSI Logic SAS SCSI. Эти тесты предназначены для мониторинга производительности чувствительного к задержкам приложения в кластере при умеренной, но не чрезмерной, вычислительной и дисковой нагрузке.

Конфигурация тестирования SQL Server (для каждой виртуальной машины)

  • Windows Server 2012 R2
  • Объем выделенного хранилища: 600 ГБ, использовано: 500 ГБ
  • SQL Server 2014
    • Размер базы данных: 1,500 единиц.
    • Нагрузка на виртуальные клиенты: 15 000
    • Объем оперативной памяти: 48 ГБ
  • Продолжительность теста: 3 часа
    • 2.5 часа предварительной подготовки
    • 30-минутный период выборки

В тесте SQL Server TPC-C на гиперконвергентных платформах мы рассматриваем балансировку рабочей нагрузки в кластере в гибридном режиме, режиме полностью флэш-памяти (AF) и режиме сокращения данных полностью флэш-памяти (AF DR). Версия AF показала несколько более высокую производительность по сравнению с гибридным режимом: производительность отдельных виртуальных машин варьировалась от 3,112.4 до 3,130.4 TPS, а суммарный результат составил 12,472.8 TPS, что является наивысшим показателем в целом. Конфигурация DR оказалась в нижней части диапазона тестовых конфигураций: производительность отдельных виртуальных машин варьировалась от 2,982.1 до 3,009.6 TPS, а суммарный результат составил 11,969.1 TPS.

В тесте SQL Server TPC-C наибольшее внимание мы уделяем средней задержке. Небольшие отклонения в производительности транзакций не отражают полной картины. В нашем тесте средней задержки мы увидели, что наивысший результат версии AF, 64 мс, совпал с наихудшим результатом гибридной версии. Средний результат AF также составил 53 мс. И снова конфигурация DR оказалась в самом низу списка с минимальным значением 236 мс, максимальным 278 мс и средним значением 261 мс.

Производительность Sysbench

Каждая виртуальная машина Sysbench настроена с тремя виртуальными дисками: один для загрузки (~92 ГБ), один с предварительно созданной базой данных (~447 ГБ) и третий для тестируемой базы данных (400 ГБ). С точки зрения системных ресурсов, мы настроили каждую виртуальную машину с 16 виртуальными процессорами, 64 ГБ оперативной памяти и использовали контроллер LSI Logic SAS SCSI.

Настройка параметров тестирования Sysbench (для каждой виртуальной машины)

  • CentOS 6.3 64-бит
  • Объем используемого хранилища: 1 ТБ, занято 800 ГБ.
  • Percona XtraDB 5.5.30-rel30.1
    • Таблицы базы данных: 100
    • Размер базы данных: 10 000 000
    • Количество потоков базы данных: 32
    • Объем оперативной памяти: 24 ГБ
  • Продолжительность теста: 12 часа
    • 6 часа предварительной обработки, 32 нити
    • 1 час 32 нити
    • 1 час 16 нити
    • 1 час 8 нити
    • 1 час 4 нити
    • 1 час 2 нити

В тесте Sysbench OLTP мы рассматриваем конфигурацию с 8 виртуальными машинами для каждого варианта. AF показала немного лучшие результаты, опередив гибридную конфигурацию с 4,273 TPS против 4,259 TPS. Конфигурация DR набрала 3,625 TPS. 

Рассматривая среднюю задержку, несколько удивительно видеть, что у AF она оказалась ненамного выше, чем у гибридной системы: 60.1 мс против 60.3 мс соответственно. У DR задержка оказалась значительно выше — 71 мс. 

Средняя латентность на уровне 99-го процентиля снова показала небольшое снижение латентности для AF по сравнению с гибридным вариантом: 126 мс против 131 мс соответственно. У DR латентность была значительно выше и составила 212 мс.

Анализ производительности VMmark

Как и во всех наших анализах производительности приложений, мы стараемся показать, как продукты работают в реальной производственной среде по сравнению с заявленными компанией показателями производительности. Мы понимаем важность оценки хранилища как компонента более крупных систем, и прежде всего, насколько быстро хранилище реагирует на взаимодействие с ключевыми корпоративными приложениями. В этом тесте мы используем бенчмарк виртуализации VMmark от VMware в многосерверной среде.

VMmark по своей сути является ресурсоемким бенчмарком, включающим широкий спектр рабочих нагрузок приложений на основе виртуальных машин, проверяющих производительность хранилища, сети и вычислительных ресурсов. Когда речь идет о тестировании производительности виртуализации, практически нет лучшего бенчмарка, поскольку VMmark учитывает множество аспектов, включая операции ввода-вывода хранилища, ЦП и даже производительность сети в средах VMware. 

Здесь мы рассмотрим разбивку общей и прикладной производительности VMmark для наших конфигураций VSAN как на основе гибридной архитектуры, так и на основе полностью флэш-памяти с функцией сокращения данных.

VSAN, способная вместить 18 блоков с включенными функциями сжатия и дедупликации, является самой высокопроизводительной системой хранения данных с функцией сокращения объема, которую мы тестировали на сегодняшний день. В предыдущих тестах мы достигали максимума в 8 блоков с выделенным устройством дедупликации перед массивом на основе флэш-памяти.

Анализируя ресурсы ЦП на одном из хостов во время работы 18-плиточной системы All-Flash VSAN, можно заметить, что загрузка ЦП колебалась в пределах 80-85%. Таким образом, хотя ресурсы хранилища не могли быть увеличены, у кластера все еще оставались свободные ресурсы.

Конфигурация тестирования HCIbench

  • 16 виртуальных машины
  • 10 VMDK на виртуальную машину
    • 10 ГБ VMDK (объем файла 1.6 ТБ)
    • 50 ГБ VMDK (объем файла 8 ТБ)
    • 100 ГБ VMDK (объем файла 16 ТБ)
  • Инициализация хранилища при полной записи
  • Тестовые интервалы составляют 1.5 часа (30 минут на предварительную подготовку, 60 минут на тестовый образец).

Для тестирования гибридной конфигурации и конфигурации AF DR нашей VMware VSAN мы развернули две разные конфигурации для наших профилей рабочих нагрузок. Они включали в себя объем 1.6 ТБ (полностью в кэше для гибридной конфигурации), 800 ГБ (полностью в кэше для конфигурации AF DR) и 16 ТБ (с вытеснением данных из кэша), чтобы показать, как платформа реагирует на рост объема «горячих» данных. Эти размеры можно регулировать для каждой платформы в зависимости от объема флэш-памяти, выделенной для кэширования или многоуровневого хранения.

Профили рабочих нагрузок HCIbench от StorageReview

Первый тест HCIbench оценивает пиковую пропускную способность случайного доступа платформы VMware VSAN с полностью случайной рабочей нагрузкой 4K. После полного прогрева и перемещения данных в кэш гибридная система показала скорость чтения 888 МБ/с и скорость записи 249 МБ/с при объеме кэша 1.6 ТБ. Система AF DR с объемом кэша 800 ГБ показала скорость чтения 1,414 МБ/с и скорость записи 160 МБ/с. При объеме данных до 16 ТБ (выходящих за пределы кэша) гибридная система показала скорость чтения 26 МБ/с и скорость записи 56 МБ/с, в то время как система AF DR продемонстрировала, как и ожидалось, более высокую производительность — 423 МБ/с и 151 МБ/с. 

Далее рассмотрим пиковые значения операций ввода-вывода в том же профиле 4K, и здесь мы увидели схожие результаты. Для набора данных объемом 1.6 ТБ в кэше гибридный процессор показал результаты 227 342 IOPS чтения и 63 868 IOPS записи, в то время как для набора данных объемом 800 ГБ для AF DR в кэше результаты составили 361 923 IOPS чтения и 41 031 IOPS записи. Для набора данных объемом 16 ТБ гибридный процессор показал 6 747 IOPS чтения и 14 404 IOPS записи, а AF DR — 108 365 IOPS чтения и 38 778 IOPS записи.

Следующий показатель рассматривает среднюю задержку при полностью случайной нагрузке 4K. При объеме кэша 1.6 ТБ для гибридного накопителя задержка чтения составила 1 мс, а задержка записи — 4 мс. При объеме кэша 800 ГБ для AF DR задержка чтения составила 0.88 мс, а задержка записи — 8.29 мс. При использовании 16 ТБ данных, выходящих за пределы кэша, очевидно, будет наблюдаться гораздо большее расхождение в результатах, поскольку гибридный накопитель будет работать с жесткими дисками 10K, которые всегда имеют более высокую задержку, в то время как AF DR будет работать с флеш-накопителями. В этом случае гибридный накопитель показал задержки чтения 47 мс и записи 23 мс, а AF DR — 1.65 мс и записи 4.66 мс.

В следующем тесте мы рассмотрим более крупный профиль данных размером 8 КБ со смешанным режимом работы: 70% чтения и 30% записи. В этом случае гибридный накопитель в кэше (с объемом 1.6 ТБ) показал скорость 947.9 МБ/с. Накопитель AF DR в кэше (с объемом 800 ГБ) продемонстрировал производительность 631.5 МБ/с. При увеличении объема данных до 16 ТБ производительность гибридного накопителя упала до 67 МБ/с, а производительность AF DR — до 530 МБ/с.

Далее рассмотрим производительность ввода-вывода для той же рабочей нагрузки 8k 70/30. Гибридная конфигурация с объемом памяти 1.6 ТБ показала 121 329 IOPS, а конфигурация AF DR — 80 834 IOPS. После того, как данные объемом 16 ТБ вышли за пределы кэша, производительность обеих конфигураций снизилась: гибридная конфигурация показала 8,584 IOPS, а конфигурация AF DR — 67 882 IOPS.

Рассматривая среднюю задержку 8K 70/30, мы увидели аналогичные результаты. В кэше гибридная камера имела задержку 2 мс, а камера с автофокусировкой и динамическим диапазоном — 3.94 мс. При большом объеме данных, выходящих из кэша, задержка гибридной камеры подскочила до 37 мс, а у камеры с автофокусировкой и динамическим диапазоном она снизилась до 2.63 мс.

Последняя рабочая нагрузка переключается на пиковую пропускную способность, состоящую из профиля последовательного чтения и записи 32K. Производительность в кэше гибридного накопителя показала 2,699 МБ/с при чтении и 1,193 МБ/с при записи, а производительность в кэше накопителя AF DR — 1,971 МБ/с при чтении и 1,353 МБ/с при записи. С большим набором данных объемом 16 ТБ мы получили 2,490 МБ/с при чтении и 1,082 МБ/с при записи с гибридным накопителем и 975 МБ/с при чтении и 495 МБ/с при записи с накопителем AF DR.

Производительность ввода-вывода показала схожие результаты, при этом гибридная система в большинстве случаев продемонстрировала лучшие показатели, чем система AF DR. В кэше гибридная система показала производительность 86 379 IOPS при чтении и 38 184 IOPS при записи, в то время как система AF DR — 63 068 IOPS при чтении и 43 302 IOPS при записи. При обработке большего объема данных вне кэша гибридная система показала 79 703 IOPS при чтении и 34 611 IOPS при записи, в то время как система AF DR — 31 205 IOPS при чтении и 15 830 IOPS при записи.

При средней задержке гибридный модуль показал время чтения 3 мс и записи в кэш 8 мс, а также 4 мс чтения и 9 мс записи из кэша. Модуль AF DR, с другой стороны, показал время чтения 5.29 мс и записи в кэш 7.46 мс, а также 5.78 мс и 11.47 мс записи из кэша.

Заключение

VMware VSAN 6.2 предоставляет организациям возможность использовать флэш-память по-новому и эффективно, повышая как производительность, так и эффективность. Среди основных нововведений новой версии — кодирование с исправлением ошибок, поддержка RAID5, дедупликация и сжатие, которые позволяют максимально использовать возможности флэш-памяти с точки зрения емкости. Хотя преимущества в сокращении объема данных будут варьироваться в зависимости от рабочей нагрузки и конфигурации, можно ожидать увеличения емкости в 3-6 раз. Это означает, что относительно недорогой диск объемом 1 ТБ фактически способен обеспечить 3-6 ТБ памяти. Уже одно это преимущество делает версию 6.2 достойным обновлением и дает флэш-памяти отличную возможность для раскрытия своего потенциала. 

Что касается производительности, конфигурация на основе флэш-памяти требует некоторого пояснения. VSAN 6.2 не обеспечивает экспоненциального прироста производительности по сравнению с гибридной конфигурацией, которую мы тестировали ранее. Этому есть несколько основных причин. Во-первых, VSAN работает в однопоточном режиме на каждую группу дисков, что ограничивает его способность максимально эффективно использовать все флэш-накопители. Это решение разработчиков, поскольку VMware делает упор на минимизацию накладных расходов VSAN на системном уровне; возможно, в будущих версиях VMware решит пересмотреть этот аспект. Во-вторых, при включении функций сокращения данных мы наблюдаем более низкую производительность в конфигурации на основе флэш-памяти, чем в гибридной. На первый взгляд это может показаться проблемой, но для тех, кто имеет опыт работы с сокращением данных, это означает значительное снижение производительности в каждом из случаев, которые мы наблюдали. Много раз мы видели снижение накладных расходов до 80% при использовании конкурирующих решений HCI. Этот контекст важен; VSAN на полностью флэш-памяти с включенной функцией сокращения данных показал очень хорошие результаты в этом отношении, сравнявшись с показателем VMmark в 18 тайлов, на который была способна наша более старая гибридная конфигурация. Кроме того, VMware указывает, что большинство клиентов, приобретающих конфигурации на полностью флэш-памяти, используют функции сокращения данных, что делает эффективность VSAN очень важной.

В настоящее время сокращение объема данных осуществляется по принципу «всё или ничего», то есть применяется ко всему хранилищу данных; VMware делает это для максимальной эффективности дедупликации. Затраты серверных ресурсов на сокращение объема данных компенсируются увеличением емкости, что в данном случае является критически важным преимуществом. В нашей конфигурации с четырьмя узлами и 24 дисками на сервер (что очень распространено для VSAN) это означает, что можно использовать меньшее количество SSD-накопителей, чтобы сравняться или превзойти емкость HDD. Это, конечно, в дополнение ко всем другим преимуществам SSD, таким как меньшее энергопотребление, снижение потребности в охлаждении или более широкий диапазон рабочих параметров.

Для тестирования мы провели ряд тестов приложений, включая тесты производительности MySQL и Microsoft SQL Server OLTP, а также тест виртуализации VMmark от VMware и HCIbench. В случае с SQL Server лучшим результатом оказалась версия на флэш-памяти с суммарным показателем 12 472,8 транзакций в секунду (TPS). Версия на флэш-памяти (AF) с уменьшением объема данных (AF DR) также показала хорошие результаты с суммарным показателем 11 969,1 TPS. Что касается задержки SQL Server, версия AF VSAN показала наименьшую общую задержку с суммарным показателем 53 мс, что примерно на 30% меньше, чем у гибридной версии. Неудивительно, что версия AF DR VSAN показала гораздо большую задержку с суммарным показателем 261 мс. В ходе теста SysBench интересно отметить, что версия AF показала лишь немного лучшие результаты, чем гибридная версия (4,273 против 4,259 транзакций в секунду, масштабированная средняя задержка от 60.1 мс до 60.3 мс и задержка в худшем случае от 126 мс до 131 мс). При включенном сокращении данных производительность AF DR VSAN снизилась, но масштабированная частота транзакций в секунду составила 3,625, масштабированная средняя задержка — 71 мс, а задержка в худшем случае — 212 мс.

При включенных VMmark и функции сокращения данных AF DR VSAN смог достичь 18 блоков (предыдущая лучшая система сокращения данных достигла только 8 блоков). Это делает AF DR VSAN самым высокопроизводительным массивом хранения с функцией сокращения данных в нашем тесте VMmark. Последним тестом, который мы рассмотрели, был HCIbench, который, хотя и не показывает максимальные возможности системы, дает нам хороший показатель для сравнения AF DR VSAN с гибридным VSAN. В нашем тесте HCIbench 4k AF DR VSAN превзошел гибридную версию как в тестах на чтение из кэша, так и в тестах на выгрузку данных из кэша, особенно в операциях чтения. AF DR смог достичь показателей чтения 4k до 1,1414 МБ/с, 361,923 IOPS и средней задержки 0.9 мс. В наших тестах 8k 70/30 гибридная система показала лучшие результаты в кэше, а AF DR значительно улучшила показатели после выхода за пределы кэша. В наших тестах 32k последовательных операций гибридная VSAN показала лучшие результаты как в кэше, так и вне его, чем AF DR VSAN.

В этом обзоре мы провели множество сравнений между нашей первоначальной гибридной конфигурацией VSAN и развертыванием исключительно на флэш-памяти. Гибридная конфигурация хорошо показала себя в ходе первоначального тестирования и даже сегодня продолжает демонстрировать высокую производительность. Если уровни кэширования в гибридной конфигурации одинаковы, а конфигурация и рабочие наборы данных на флэш-памяти остаются внутри кэша, производительность обеих конфигураций будет относительно близкой. Однако конфигурация на флэш-памяти выигрывает от всех новых функций версии 6.2, помимо общих преимуществ, которые предлагает флэш-память. Кроме того, снижение цен на SSD-накопители в сочетании с сокращением объёма данных может даже сделать VSAN на флэш-памяти более экономически выгодным в пересчете на терабайт, чем гибридная конфигурация. 

Плюсы

  • Самая эффективная платформа с функцией сокращения объёма данных из всех протестированных нами на сегодняшний день.
  • VSAN 6.2 предлагает набор новых функций, использующих преимущества флэш-памяти.
  • Очень простая настройка; удобна для администраторов виртуализации в управлении.

Минусы

  • VSAN разделяет диски для кэширования и хранения данных; одноуровневая архитектура для флэш-памяти может быть очень полезной.
  • Однопоточные дисковые группы в рамках VSAN ограничивают потенциал повышения производительности.

Резюме

VMware VSAN 6.2 добавляет в платформу множество функций повышения эффективности использования данных, позволяя развертывать VSAN на основе флэш-памяти с привлекательным сочетанием функций, производительности и емкости, одновременно используя все преимущества, которые предоставляет флэш-память.

Страница продукта VMware VSAN

Обсудите этот отзыв

Подпишитесь на рассылку StorageReview

Взаимодействуйте со StorageReview

Рассылка | YouTube | Подкаст | iTunes / Spotify | Instagram | Twitter | TikTok | RSS-лента

StorageReview Enterprise Lab