StorageReview.com

Обзор VMware vSAN с Intel Optane

Предприятие  ◇  Гиперконвергентный

Мы уже говорили об этом и дразнили вас , и вот наконец представляем обзор VMware vSAN с Intel Optane. Это будет третий крупный обзор vSAN, начинающийся с многосерийного обзора гибридной vSAN 6.0, за которым последует обзор vSAN 6.2 с использованием флэш-памяти . На этот раз вместо нашего кластера Dell PowerEdge R730xd мы используем сервер Supermicro 2029U-TN24R4T+ 2U с 24 отсеками для дисков, работающий под управлением vSAN 6.7. Для хранения данных мы используем конфигурацию с NVMe-накопителями: SSD-накопители Intel Optane P4800X (375 ГБ) для уровня записи и SSD-накопители Intel P4500 (2 ТБ) для уровня емкости.

Для тех, кто не знаком с vSAN, это гиперконвергентная инфраструктура VMware, оптимизированная для vSphere и ориентированная на хранение данных. Другими словами, vSAN — это шаг вперед в создании программно-определяемых центров обработки данных, цель которого — упростить хранение и управление данными, обеспечивая при этом более высокую производительность. vSAN обычно продается в рамках программы сертификации, известной как VMware vSAN ReadyNodes, которая представляет собой комбинацию сертифицированного оборудования и программного обеспечения VMware. Большинство крупных поставщиков серверов предлагают конфигурации ReadyNode, а некоторые также предлагают vSAN в виде готового устройства.

Аналогично концепции ReadyNode, существует и Intel Select Solutions. Intel Select Solutions — это проверенные аппаратные и программные решения, соответствующие требованиям Intel. Решения, выпускаемые крупными производителями серверов, должны либо воспроизводить, либо превосходить производительность, указанную Intel в бенчмарках, и должны иметь подробные руководства по развертыванию для клиентов. Используемая нами для этого обзора конфигурация относится к этой категории, а именно, это Intel Select Solution для VMware vSAN. Как следует из названия, это решение специально разработано для сред VMware.

Решение Intel Select Solution для VMware vSAN выпускается в двух конфигурациях: «Базовая» и «Плюс». Наша конфигурация находится где-то посередине между этими двумя вариантами; по сути, это базовая конфигурация с модернизированными процессорами. Благодаря твердотельным накопителям Optane для уровня записи, наши системы разработаны для удовлетворения требований к задержке критически важных для бизнеса приложений.

Технические характеристики Supermicro 2029U-TN24R4T+:

  • Серверы Supermicro 2029U-TN24R4T+ (4 шт.)
  • Процессор: 2 процессора Intel Xeon Gold 6152, 2.10 ГГц, 22 ядра.
  • Память: 384 ГБ ОЗУ (12 x 32 ГБ 2,666 МГц DDR4 DIMM)
  • Группы дисков vSAN, по 2 на узел:
    • Уровень кэширования vSAN: 2 твердотельных накопителя Intel Optane SSD DC P4800X Series NVMe по 375 ГБ каждый.
    • Уровень емкости vSAN: 4 твердотельных накопителя Intel DC P4500 Series NVMe по 2 ТБ
  • Сеть:
    • Сетевой адаптер Intel Ethernet Converged Network Adapter X710 10/40 GbE (выделенный канал для vSAN, vMotion/трафик виртуальных машин/управление разделены на отдельную VLAN).

Intel Optane P4800X 375GB

  • Эффективности
    • Случайный ввод/вывод 4 КБ, глубина очереди 16, чтение/запись: до 550/500 тыс. операций ввода/вывода в секунду.
    • Случайный ввод 4 КБ, глубина очереди 16, смешанный режим чтения/записи 70/30: до 500 тыс. операций ввода-вывода в секунду.
  • DWPD: 30

Intel P4500 2TB

  • Эффективности
    • Последовательное чтение: 3200 МБ/с
    • Последовательная запись: 1050MB / s
    • Случайное чтение 4K: 490 000 операций ввода-вывода в секунду.
    • Случайная запись 4K: 38 000 операций ввода-вывода в секунду.
  • DWPD 0.75 случайный; 4.62 последовательный

Анализ рабочей нагрузки приложения

Первые тесты включают оценку производительности MySQL OLTP с помощью SysBench и оценку производительности Microsoft SQL Server OLTP при имитации рабочей нагрузки TPC-C.

Каждая виртуальная машина SQL Server настроена с двумя виртуальными дисками: один объемом 100 ГБ для загрузки, а другой — 500 ГБ для базы данных и файлов журналов. С точки зрения системных ресурсов, мы настроили каждую виртуальную машину с 16 виртуальными процессорами, 64 ГБ оперативной памяти и использовали контроллер LSI Logic SAS SCSI. Эти тесты предназначены для мониторинга производительности чувствительного к задержкам приложения в кластере при умеренной, но не чрезмерной, вычислительной и дисковой нагрузке.

Конфигурация тестирования SQL Server (для каждой виртуальной машины)

  • Windows Server 2012 R2
  • Объем выделенного хранилища: 600 ГБ, использовано: 500 ГБ
  • SQL Server 2014
    • Размер базы данных: 1,500 единиц.
    • Нагрузка на виртуальные клиенты: 15 000
    • Объем оперативной памяти: 48 ГБ
  • Продолжительность теста: 3 часа
    • 2.5 часа предварительной подготовки
    • 30-минутный период выборки

В тесте SQL Server TPC-C на гиперконвергентных платформах мы рассматриваем балансировку рабочей нагрузки в кластере в гибридном режиме, режиме полностью флэш-памяти (AF) и режиме сокращения данных полностью флэш-памяти (AF DR). Режим AF для Optane, как и ожидалось, показал лишь немного лучшие результаты, совокупный показатель составил 12 605 TPS, при этом производительность отдельных виртуальных машин варьировалась от 3,148.56 TPS до 3,152.66 TPS. В целом, это немного лучше, чем у версии vSAN без Optane, которая показала совокупный показатель 12 472 TPS. При включенном режиме DR мы увидели, что Optane достиг совокупного показателя в 12 604 TPS (всего на один TPS меньше, чем при выключенном DR), при этом производительность отдельных виртуальных машин варьировалась от 3,148.7 TPS до 3,153.5 TPS. Это был довольно значительный скачок по сравнению с версией без Optane, где суммарный результат DR составил 11 969 TPS. Стоит отметить, что процессоры с золотым сертификатом, вероятно, являются ограничивающим фактором, а с процессорами с платиновым сертификатом потенциал роста значительно выше.

В тесте SQL Server TPC-C мы уделяем наибольшее внимание средней задержке. Небольшие отклонения в производительности транзакций не отражают полной картины. В нашем тесте средней задержки AF Optane показал суммарный результат всего 16.5 мс, при этом для отдельных виртуальных машин задержка варьировалась от 14 до 21 мс. С включенным аварийным восстановлением (DR) версия Optane увеличила суммарную задержку до 17 мс, а для отдельных виртуальных машин — до 13–21 мс. Это значительное улучшение по сравнению с vSAN без Optane, у которого суммарный результат составлял 52.5 мс без DR и 261 мс с включенным DR.

Производительность Sysbench

Каждая виртуальная машина Sysbench настроена с тремя виртуальными дисками: один для загрузки (~92 ГБ), один с предварительно созданной базой данных (~447 ГБ) и третий для тестируемой базы данных (400 ГБ). С точки зрения системных ресурсов, мы настроили каждую виртуальную машину с 16 виртуальными процессорами, 64 ГБ оперативной памяти и использовали контроллер LSI Logic SAS SCSI.

Настройка параметров тестирования Sysbench (для каждой виртуальной машины)

  • CentOS 6.3 64-бит
  • Объем используемого хранилища: 1 ТБ, занято 800 ГБ.
  • Percona XtraDB 5.5.30-rel30.1
    • Таблицы базы данных: 100
    • Размер базы данных: 10 000 000
    • Количество потоков базы данных: 32
    • Объем оперативной памяти: 24 ГБ
  • Продолжительность теста: 12 часа
    • 6 часа предварительной обработки, 32 нити
    • 1 час 32 нити
    • 1 час 16 нити
    • 1 час 8 нити
    • 1 час 4 нити
    • 1 час 2 нити

В тесте Sysbench OLTP мы рассматриваем конфигурацию 8VM для каждого варианта. Optane AF показал суммарный результат 10 699 TPS, что более чем в два раза превышает показатель версии без Optane (4,273 TPS). С включенным DR Optane достиг 8,668 TPS по сравнению с 3,625 TPS у версии без Optane с включенным DR.

В тестах Sysbench средняя задержка vSAN на базе Optane показала себя с лучшей стороны, достигнув суммарных результатов в 23.95 мс и 29.62 мс при включенном аварийном восстановлении. Для сравнения, у версии без Optane этот показатель составил 60.05 мс и 71.05 мс при включенном аварийном восстановлении. В обоих случаях задержка у Optane оказалась менее чем вдвое меньше.

Средняя задержка на уровне 99-го процентиля вновь показала, что vSAN на основе Optane значительно быстрее: суммарные показатели составили 42.9 мс и 55.63 мс при включенном DR, по сравнению с 126.02 мс у версии без Optane и 212.42 мс при включенном DR.

Анализ рабочей нагрузки VDBench

Когда речь заходит о сравнительной оценке производительности массивов хранения данных, тестирование приложений является наилучшим вариантом, а синтетическое тестирование занимает второе место. Хотя синтетические тесты не являются идеальным отражением реальных рабочих нагрузок, они помогают установить базовые параметры устройств хранения данных с коэффициентом повторяемости, что упрощает сравнение конкурирующих решений «яблоко к яблоку». Эти рабочие нагрузки предлагают широкий спектр различных профилей тестирования, от тестов «четырех углов» и тестов на определение размера передачи данных в базах данных до трассировки из различных сред VDI. Все эти тесты используют общий генератор рабочих нагрузок vdBench с механизмом сценариев для автоматизации и сбора результатов на большом вычислительном кластере. Это позволяет нам повторять одни и те же рабочие нагрузки на широком спектре устройств хранения данных, включая флэш-массивы и отдельные устройства хранения.

Профили:

  • Чтение случайных данных 4K: 100% чтение, 128 потоков, 0-120% iorate
  • Случайная запись 4K: 100% запись, 64 потока, скорость записи 0-120%.
  • Последовательное чтение 64K: 100% чтения, 16 потоков, скорость чтения 0-120%.
  • Последовательная запись 64K: 100% запись, 8 потоков, скорость записи 0-120%.
  • Синтетические базы данных: SQL и Oracle
  • Трассировки полного клонирования VDI и трассировки связанных клонов

В тесте VDBench мы будем рассматривать только версию vSAN на базе Optane Supermicro и будем проверять наличие или отсутствие функции аварийного восстановления (далее – DR) в обоих случаях (далее – Raw). В первом тесте на пиковую скорость случайного чтения 4K, в режиме Raw задержка составляла менее миллисекунды до достижения примерно 440 тыс. операций ввода-вывода в секунду (IOPS), а пиковое значение составило 521 599 IOPS с задержкой 4.65 мс. В режиме DR задержка начиналась чуть меньше 1 мс, а затем превышала этот показатель, достигнув пика в 406 322 IOPS с задержкой 7.32 мс.

При случайной записи 4K значение Raw оставалось в пределах 1 мс, но не превышало его до примерно 150 000 IOPS, достигнув пика в 202 081 IOPS с задержкой 8.4 мс. Значение DR достигло примерно 114 000 IOPS с задержкой менее миллисекунды и достигло пика в 183 947 IOPS с задержкой 1.43 мс, после чего производительность резко упала, а задержка резко возросла.

Далее рассмотрим последовательные рабочие нагрузки с 64K операций чтения. Для операций чтения Raw задержка составляла менее миллисекунды до достижения примерно 54K IOPS или 3.5 ГБ/с, а пиковое значение составило 85 319 IOPS или 5.33 ГБ/с с задержкой 4.69 мс. Для операций чтения DR начальное значение превышало 1 мс и достигло пика в 73 583 IOPS или 4.6 ГБ/с с задержкой 4.23 мс.

При записи 64 КБ скорость записи в режиме Raw достигала лишь около 12 000 операций ввода-вывода в секунду, прежде чем превысила 1 мс, достигнув пика в 40 869 операций ввода-вывода в секунду или 2.55 ГБ/с с задержкой 5.58 мс. В режиме DR задержка составляла менее миллисекунды на протяжении всего процесса, но пиковая скорость достигла всего 7,303 операций ввода-вывода в секунду или 456 МБ/с с задержкой 623 мкс.

Переходя к нашим SQL-загрузкам, следует отметить, что в режиме Raw задержка составляла менее миллисекунды до достижения примерно 330 000 IOPS, а пиковое значение достигло 385 159 IOPS с задержкой 2.34 мс. В режиме DR задержка оставалась выше 1 мс практически все время, достигнув пика в 321 504 IOPS с задержкой 3.02 мс.

Для SQL 90-10 производительность в режиме Raw достигла примерно 300 тыс. IOPS, прежде чем превысить 1 мс, и достигла пика в 363 550 IOPS с задержкой 2.52 мс. Производительность в режиме DR достигла пика в 299 132 IOPS с задержкой 3.26 мс.

В ходе нашего теста SQL 80-20 необработанная версия показала более 277 тыс. операций ввода-вывода в секунду при задержке менее 1 мс, а пиковая производительность составила 332 949 операций ввода-вывода в секунду с задержкой 2.79 мс. Пиковая производительность DR составила 285 010 операций ввода-вывода в секунду с задержкой 3.42 мс.

Далее рассмотрим наши рабочие нагрузки Oracle. В случае Raw задержка составляла менее миллисекунды до достижения примерно 262 тыс. операций ввода-вывода в секунду, а пиковое значение составило 323 706 операций ввода-вывода в секунду с задержкой 3.27 мс. В случае DR пиковое значение составило 211 993 операций ввода-вывода в секунду с задержкой 2.07 мс, после чего производительность снова снизилась, а задержка резко возросла.

Для Oracle 90-10 производительность Raw составляла менее миллисекунды до достижения примерно 315 тыс. операций ввода-вывода в секунду (IOPS), а пиковое значение достигло 354 590 IOPS с задержкой 1.67 мс. Пиковое значение DR составило 279 356 IOPS с задержкой 2.24 мс.

В тесте Oracle 80-20 время отклика необработанного сервера составило менее 1 мс, достигнув примерно 273 тыс. операций ввода-вывода в секунду, а пиковое значение достигло 322 616 операций ввода-вывода в секунду при задержке 1.85 мс. В тесте DR пиковое значение составило 263 425 операций ввода-вывода в секунду при задержке 2.36 мс.

Далее мы перешли к тесту клонирования VDI, полному и связанному. При загрузке полного клона VDI производительность в режиме Raw составляла менее миллисекунды до достижения примерно 240 тыс. операций ввода-вывода в секунду, а затем достигла пика в 293 335 операций ввода-вывода в секунду при задержке в 3.3 мс. В режиме DR пиковая производительность составила 181 527 операций ввода-вывода в секунду при задержке в 5.31 мс, после чего снижение показателей прекратилось.

В ходе первоначального входа в систему VDI FC время отклика составляло около 1 мс, затем быстро превысило этот показатель, достигнув пика в 153 513 IOPS с задержкой 5.6 мс, после чего наблюдалось небольшое снижение. В ходе последующего мониторинга пиковое значение было достигнуто раньше, примерно 68 000 IOPS с задержкой 5.3 мс, после чего производительность снизилась, а задержка резко возросла.

При использовании VDI FC Monday Login, в режиме Raw задержка составляла менее миллисекунды до достижения примерно 58 000 операций ввода-вывода в секунду, а затем пиковая производительность достигла 152 660 операций ввода-вывода в секунду с задержкой 3.14 мс. В режиме DR пиковая задержка была лучше (1.64 мс), но пиковая производительность составила всего 64 201 операций ввода-вывода в секунду.

При загрузке VDI LC задержка в режиме Raw составляла менее миллисекунды, достигая примерно 170 000 операций ввода-вывода в секунду, а пиковое значение составляло 209 676 операций ввода-вывода в секунду с задержкой 2.21 мс. При использовании DR пиковое значение достигало 119 036 операций ввода-вывода в секунду с задержкой 3.99 мс.

Что касается первоначального входа в систему VDI LC, то время отклика оставалось ниже 1 мс до достижения 29 000 операций ввода-вывода в секунду, а пиковое значение составило 92 951 операций ввода-вывода в секунду с задержкой в ​​2.62 мс. Для DR пиковое значение достигло чуть менее 64 000 операций ввода-вывода в секунду с задержкой примерно в 2.3 мс, после чего наблюдалось снижение.

Наконец, при анализе VDI LC Monday Login, производительность в режиме Raw достигла примерно 35 000 IOPS, прежде чем превысить 1 мс и достичь пика в 101 997 IOPS с задержкой 4.65 мс. При использовании DR пиковая производительность составила около 47 000 IOPS с задержкой 1.82 мс, после чего производительность снизилась.

Заключение

Решение VMware для гиперконвергентного хранения данных выпускается в различных вариантах; в данной версии для вычислительных задач используются четыре сервера Supermicro 2029U-TN24R4T+. В качестве хранилища в этой версии vSAN используются как Intel Optane в виде твердотельных накопителей Intel Optane P4800X, так и NVME-накопители Intel P4500. Данная конфигурация является частью новой линейки решений Intel Select Solutions, в частности, Intel Select Solutions for VMware vSAN. Ее можно рассматривать как vSAN ReadyNode, сертифицированный как VMware, так и Intel для достижения необходимых показателей производительности.

В рамках анализа производительности приложений мы сравнили версию vSAN с Optane с ранее протестированной нами версией vSAN на флэш-накопителях на оборудовании Dell/Toshiba. Для SQL Server конфигурация Optane показала практически идентичные результаты как с включенным, так и с выключенным уменьшением объема данных (DR): суммарный показатель составил 12 605 транзакций в секунду без DR и 12 604 транзакции в секунду с DR. Это довольно значительный скачок по сравнению с версией на флэш-накопителях без Optane с включенным DR (11 969 транзакций в секунду). Что касается задержки, версия Optane показала существенное улучшение: суммарный показатель составил всего 16.5 мс без DR и всего 17 мс с включенным DR, что менее чем вдвое меньше задержки версии SAS на флэш-накопителях на vSAN 6.2. В тестах Sysbench версия vSAN на базе Optane показала более чем в два раза больший показатель TPS, чем версия на основе флэш-памяти, с суммарными результатами 10 699 TPS в необработанном виде и 8 668 TPS с включенным DR. Эта тенденция сохраняется и в отношении задержки и задержки в наихудшем сценарии: в обоих случаях она составляет менее половины, с суммарными показателями 24 мс и 30 мс в среднем с DR и 60 мс и 71 мс в наихудшем случае с DR.

В нашем тесте VDBench Optane vSAN показал несколько впечатляющих результатов по производительности в необработанном виде, включая чтение 4K со скоростью 522K IOPS, запись 4K со скоростью 202K IOPS, чтение 64K со скоростью 5.33 ГБ/с и запись 64K со скоростью 2.55 ГБ/с. С включенным аварийным восстановлением (DR) мы наблюдали, что vSAN достигал 406K IOPS при чтении 4K, 184K IOPS при записи (с последующим резким падением), 4.6 ГБ/с при чтении 64K и всего 456 МБ/с при записи 64K, но с задержкой менее 1 мс. vSAN продолжил демонстрировать высокую производительность в SQL, достигнув 385 тыс. IOPS, 364 тыс. IOPS в 90-10 и 333 тыс. IOPS в 80-20, а также в DR, показав 322 тыс. IOPS, 299 тыс. IOPS в 90-10 и 285 тыс. IOPS в 80-20. В Oracle производительность Raw была достаточно высокой: 324 тыс. IOPS, 355 тыс. IOPS в 90-10 и 323 тыс. IOPS в 80-20. DR также показал высокие результаты в Oracle, достигнув пиковых значений в 212 тыс. IOPS (с последующим снижением), 279 тыс. IOPS в 90-10 и 263 тыс. IOPS в 80-20.

Использование SSD-накопителей Optane явно оказывает значительное влияние на производительность записи в vSAN. Это даже с учетом того, что объем накопителей составляет всего 375 ГБ, а vSAN поддерживает 600 ГБ емкости для накопителей уровня записи. Таким образом, возможно, мы могли бы добиться немного большей производительности записи, используя накопители большего объема. Также существует значительный потенциал для этих конфигураций Intel, поскольку используются более быстрые межсоединения и более агрессивные конфигурации оперативной памяти и процессора, как в вариантах Plus. Intel также предлагает более быстрые/лучшие накопители для уровня чтения; P4510 стал существенным улучшением по сравнению с P4500. Суть в том, что эти данные не следует рассматривать как лучшее, на что способен Optane, а скорее как базовый уровень для конфигураций серверов среднего уровня, которые могут предложить гораздо больше, если того потребует ситуация. Также важно учитывать, что vSAN имеет хорошие перспективы для дальнейшего получения выгоды от появления на рынке новых технологий хранения данных и серверов — чего гораздо сложнее добиться традиционным производителям оборудования.

Однако главный вывод очевиден: по мере развития vSAN компания VMware поступила мудро, выйдя на передовые позиции в области новых технологий, таких как твердотельные накопители Intel Optane. Это дает vSAN значительное преимущество с точки зрения производительности на рынке HCI. В то время как многие решения HCI удовлетворяют потребности удаленных центров обработки данных с умеренными требованиями к производительности, vSAN продолжает искать лучших партнеров для создания решений, которые одинаково хорошо работают как на периферии сети, так и закладывают основу для того, как будут выглядеть центры обработки данных следующего поколения в мире SDDC. Кластеры vSAN на базе Optane отлично подходят для последнего, предлагая наилучшую возможную задержку записи для всех рабочих нагрузок приложений.

VMware vSAN

Обсудить этот отзыв

Подпишитесь на рассылку StorageReview

Взаимодействуйте со StorageReview

Рассылка | YouTube | Подкаст | iTunes / Spotify | Instagram | Twitter | TikTok | RSS-лента

Адам Армстронг

Адам — главный редактор новостей StorageReview.com, он руководит нашими внутренними и внештатными командами по созданию контента.

Предыдущая запись:

Следующая запись: