StorageReview.com

Тест производительности Sysbench OLTP

Тест производительности приложений Sysbench OLTP работает на базе данных MySQL с использованием механизма хранения InnoDB. Задача механизма хранения — управлять интерфейсом от дисковой базы данных к приложениям, читающим и записывающим данные в этот механизм и из него. В свою очередь, механизм хранения управляет потоками ввода-вывода и журналами, а также поддерживает кэш в оперативной памяти для минимизации обращений к диску. Приведенная ниже диаграмма дает упрощенное представление о работе механизма.

Поскольку механизм InnoDB использует кэш в оперативной памяти, называемый буферным пулом, производительность напрямую зависит от соотношения размера рабочего набора к размеру буферного пула. Другими словами, если буферный пул достаточно велик, чтобы вместить рабочий набор, или рабочий набор достаточно мал, чтобы поместиться в буферный пул, большинство операций никогда не будут ограничены операциями ввода-вывода. Однако, если база данных слишком велика, чтобы поместиться в память, то производительность ввода-вывода будет определять время отклика транзакций и пропускную способность. Мы характеризуем производительность накопителя в ситуации, когда база данных не помещается в память, что приводит к увеличению трафика ввода-вывода со стороны механизма хранения InnoDB.

Множество потоков (количество зависит от конфигурации базы данных для высокопроизводительных приложений и варьируется от 32 до 128) считывают данные в произвольном порядке из хранилища данных размером блока 16 Кбайт. Эти операции чтения связаны с запросами к базе данных, запрашивающими данные из хранилища. По мере обработки операций чтения они автоматически кэшируются в буферном пуле. По мере заполнения буферного пула InnoDB использует политику LRU (Least Recently Used — наименее недавно использованные), чтобы вытеснить старые страницы и освободить место для новых данных.

Запись в базу данных сначала направляется в журнал транзакций и в буферный пул. Журнал транзакций представляет собой последовательно записываемый кольцевой буфер, который обновляется при каждой транзакции записи. В зависимости от конфигурации MySQL это обновление может привести к немедленной записи на диск или временно сохраняться в оперативной памяти в виде буфера, который в конечном итоге сбрасывается на диск файловой системой. Размер этого буфера журнала варьируется, но обычно составляет около 256 МБ. Рекомендуемые настройки для соответствия требованиям ACID требуют, чтобы запись в журнал осуществлялась на диск при каждом подтверждении транзакции в базе данных. Длина этих записей составляет 4 КБ.

В журнале выполняются только «физиологические» записи, при которых записывается разница между предыдущими и новыми данными. Для исходных данных InnoDB записывает данные в буферный пул в оперативной памяти, который также должен асинхронно очищаться. Процесс записи данных обратно в файловую систему является настраиваемым и происходит в фоновом режиме. Записи также имеют размер 16 КБ. Фактически это двойные записи, когда движок сначала записывает данные в промежуточное место, называемое буфером двойной записи. Затем движок копирует эти данные в конечное местоположение в файловой системе. Это необходимо для предотвращения проблемы «порванной страницы», когда страница базы данных размером 16 КБ частично записывается на диск из-за отключения питания или другого катастрофического события.

Происхождение бенчмарка Sysbench

После нескольких обсуждений с компанией Micron о том, как они имитируют реальные среды приложений MySQL для тестирования и измерения SSD-накопителей, мы внедрили тестовую установку Sysbench в нашу лабораторию. Они разработали методологию тестирования на основе Sysbench, обнаружив, что синтетические тесты производительности накопителей редко дают полное представление о том, как будет вести себя накопитель при определенной нагрузке приложения. Тест Sysbench позволяет Micron имитировать среду, наиболее точно представляющую стандартную нагрузку базы данных MySQL, распространенную в таких приложениях, как Facebook, Craigslist и Booking.com.

Мы тесно сотрудничали с Муссой Ба, который помог нам стать соавтором этой статьи. Мусса — инженер-программист в команде разработчиков PCIe компании Micron, где его работа включает оптимизацию прикладного и системного программного обеспечения для высокопроизводительных устройств ввода-вывода.

Тест производительности Sysbench OLTP

Sysbench — это бенчмарк производительности системы, включающий профиль тестирования обработки онлайн-транзакций (OLTP). Тест OLTP не является приближением к реальному тесту OLTP, а представляет собой настоящий бенчмарк, основанный на базе данных, который выполняет транзакционные запросы к экземпляру MySQL в среде CentOS.

Первым шагом в настройке бенчмарка является создание самой базы данных, что делается путем указания количества таблиц в базе данных, а также количества строк в каждой таблице. В нашем тесте мы определили 100 таблиц по 10 миллионов строк в каждой, что привело к созданию базы данных объемом в 1 миллиард записей. Размер этой базы данных составил 260 ГБ.

Sysbench имеет два режима работы: режим по умолчанию, который осуществляет чтение и запись в базу данных, и режим только для чтения. В режиме чтения/записи по умолчанию выполняются следующие типы запросов: 5 запросов SELECT, 2 запроса UPDATE, 1 запрос DELETE и 1 запрос INSERT. Судя по количеству операций ввода-вывода, наблюдаемое соотношение чтения/записи составляет примерно 75% чтения и 25% записи.

Среда тестирования Sysbench

Решения для хранения данных тестируются с помощью бенчмарка Sysbench OLTP в лаборатории StorageReview Enterprise Test Lab с использованием автономных серверов. В настоящее время мы используем стандартные серверы PowerEdge R730 от Dell, чтобы продемонстрировать как реалистичную производительность, так и хорошее соотношение цены и качества, меняя только адаптер хранения или сетевой интерфейс для подключения R730 к различным устройствам хранения. PowerEdge R730 зарекомендовал себя как отличная платформа для тестирования с устройствами сторонних производителей, что делает его превосходным вариантом для такой разнообразной среды тестирования. R730 также использует мощную архитектуру Intel класса Haswell, что обеспечивает нам вычислительную мощность для адекватной нагрузки на широкий спектр устройств хранения данных и максимального раскрытия их потенциала производительности.

Среда тестирования производительности Sysbench первого поколения

Lenovo ThinkServer RD630 – платформа для тестирования SATA/SAS/PCIe

  • Модель 2594-ABU Topseller
  • Два процессора Intel E5-2650 (2.0 ГГц, 8 ядер, 20 МБ кэш-памяти)
  • 128 ГБ оперативной памяти (8 ГБ x 16 DDR3, 64 ГБ на каждый процессор)
  • 100 ГБ Micron RealSSD P400e SSD (через LSI 9207-8i) Загрузочный диск
  • Встроенное хранилище баз данных Micron M500 объемом 960 ГБ (через 9207-8i).
  • CentOS 6.3 64-бит
  • Percona XtraDB 5.5.30-rel30.1
    • Таблицы базы данных: 100
    • Размер базы данных: 10 000 000
    • Количество потоков базы данных: 32
    • Объем оперативной памяти: 24 ГБ

Среда тестирования производительности Sysbench второго поколения

Dell PowerEdge R730 – платформа для тестирования SATA/SAS/PCIe

  • Два процессора Intel E5-2690 v3 (2.6 ГГц, 12 ядер, 30 МБ кэш-памяти)
  • 256 ГБ оперативной памяти (16 ГБ x 16 DDR4, 128 ГБ на каждый процессор)
  • SSD-накопитель объемом 100 ГБ для загрузки системы и 480 ГБ для хранения базы данных.
  • 2 адаптера Mellanox ConnectX-3 InfiniBand
  • 2 х Emulex 16GB двухпортовый FC HBA
  • 2 х Сетевая карта Emulex 10GbE с двумя портами
  • CentOS 6.6 64-бит
  • Percona XtraDB 5.5.30-rel30.1
    • Таблицы базы данных: 100
    • Размер базы данных: 10 000 000
    • Количество потоков базы данных: 32
    • Объем оперативной памяти: 24 ГБ

Виртуализированный кластер Dell PowerEdge R730 Sysbench на 4 узла

  • Восемь процессоров Intel E5-2690 v3 с частотой 249 ГГц в кластере (по два на узел, 2.6 ГГц, 12 ядер, 30 МБ кэш-памяти).
  • 1 ТБ ОЗУ (256 ГБ на узел, 16 ГБ x 16 DDR4, 128 ГБ на процессор)
  • Загрузка с SD-карты (Lexar 16 ГБ)
  • 4 адаптера Mellanox ConnectX-3 InfiniBand (vSwitch для vMotion и сети виртуальных машин)
  • 4 х Emulex 16GB двухпортовый FC HBA
  • 4 х Сетевая карта Emulex 10GbE с двумя портами
  • VMware ESXi vSphere 6.0 / Enterprise Plus 8-CPU

Основная цель этой платформы — продемонстрировать производительность корпоративных систем хранения данных в реальной корпоративной среде и при реальных рабочих нагрузках, а не полагаться на синтетические или псевдосинтетические рабочие нагрузки. Генераторы синтетических рабочих нагрузок отлично показывают, насколько хорошо работают устройства хранения данных с помощью непрерывного синтетического шаблона ввода-вывода, но они не учитывают другие внешние переменные, которые показывают, как устройства работают в производственной среде. Преимущество генераторов синтетических рабочих нагрузок заключается в том, что они многократно демонстрируют чистый шаблон ввода-вывода, но они никогда не смогут воспроизвести реальную производственную среду. Внедрение производительности приложений поверх продуктов хранения данных позволяет оценить, насколько хорошо система хранения взаимодействует со своими драйверами, локальной операционной системой, тестируемым приложением, сетевым стеком, сетевыми коммутаторами и внешними серверами. Это переменные, которые генератор синтетических рабочих нагрузок просто не может учесть, и они также на порядок более ресурсоемки и инфраструктурно-затратны с точки зрения оборудования, необходимого для выполнения этого конкретного теста.

Общие результаты производительности Sysbench

Мы тестируем широкий спектр решений для хранения данных с помощью бенчмарка Sysbench OLTP, которые соответствуют минимальным требованиям тестовой среды. Для участия в тестировании устройство хранения данных должно иметь полезную емкость более 260 ГБ и быть ориентировано на работу в условиях высокой нагрузки в корпоративной среде. Локально подключенные устройства хранения данных, такие как SAS, SATA и PCIe SSD, тестируются на физическом сервере с одним экземпляром Sysbench. Более новые платформы SAN и гиперконвергентные системы запускают одновременно 4, 8, 12 или 16 виртуальных машин, чтобы показать, насколько хорошо на каждой из них работают несколько рабочих нагрузок одновременно. Эта методология тестирования помогает упростить сравнение производительности новых гиперконвергентных систем с традиционными массивами хранения SAN.

Результаты тестирования производительности Sysbench в гиперконвергентных/SAN-системах (в совокупности 16 виртуальных машин)

Устройство 32-поточный суммарный TPS Среднее время отклика (мс) Задержка 99-го процентиля (мс)
X-IO ISE 860
(4) Dell R730, X-IO ISE 860 AFA
(2) Тома по 10 ТБ
6625  80  418

Результаты тестирования производительности Sysbench в гиперконвергентных/SAN-системах (в совокупности 12 виртуальных машин)

Устройство 32-поточный суммарный TPS Среднее время отклика (мс) Задержка 99-го процентиля (мс)
X-IO ISE 860
(4) Dell R730, X-IO ISE 860 AFA
(2) Тома по 10 ТБ
7160  54  177

Результаты тестирования производительности Sysbench в гиперконвергентных/SAN-системах (в совокупности 8 виртуальных машин)

Устройство 32-поточный суммарный TPS Среднее время отклика (мс) Задержка 99-го процентиля (мс)
X-IO ISE 860
(4) Dell R730, X-IO ISE 860 AFA
(2) Тома по 10 ТБ
6568  39  83
VMware VSAN (ESXi 6.0)
(4) Dell R730xd, 80 жестких дисков по 1.2 ТБ, 16 твердотельных накопителей по 800 ГБ
4259  60  131

Результаты тестирования производительности Sysbench в гиперконвергентных системах / виртуализированных сетях SAN (в совокупности для 4 виртуальных машин)

Устройство 32-поточный суммарный TPS Среднее время отклика (мс) Задержка 99-го процентиля (мс) Пиковая задержка (мс)
DotHill Ultra48 Hybrid
(4) Dell R730, DotHill Ultra48 Hybrid
(2) 14-дисковые RAID1 пулы, 40 жестких дисков по 1.8 ТБ, 8 твердотельных накопителей по 400 ГБ
4645  28  51  676
X-IO ISE 860
(4) Dell R730, X-IO ISE 860 AFA
(2) Тома по 10 ТБ
4424  29  57  983
VMware VSAN (ESXi 6.0)
(4) Dell R730xd, 80 жестких дисков по 1.2 ТБ, 16 твердотельных накопителей по 800 ГБ
2830  45  94  480
Nutanix NX-8150 (ESXi 6.0)
(4) NX-8150, 80 жестких дисков по 1 ТБ, 16 твердотельных накопителей по 800 ГБ
RAID0 x 4 vDisk Том базы данных
2390  54  173  4784
Nutanix NX-8150 (ESXi 6.0)
(4) NX-8150, 80 жестких дисков по 1 ТБ, 16 твердотельных накопителей по 800 ГБ
Развертывание базы данных по умолчанию
1422  90  216  5508

Результаты тестирования производительности Sysbench для ускорителей приложений PCIe / RAID-массивов на нескольких SSD/HDD-накопителях

Устройство Среднее значение TPS для 32 потоков Среднее время отклика 99-й процентиль задержки
Хуавей ES3000 2.4 ТБ
MLC PCIe SSD x 1
2734.69  11.7  19.84
Хуавей ES3000 1.2 ТБ
MLC PCIe SSD x 1
2615.12  12.23  21.80
Fusion ioDrive2 Duo 2.4TB
MLC PCIe SSD x 1
2521.06  12.69  23.92
Micron P320h 700GB
SLC PCIe SSD x 1
2443.56  13.09  22.45
Micron P420m 1.4TB
MLC PCIe SSD x 1
2361.29  13.55  25.84
Fusion ioDrive2 1.2TB
MLC PCIe SSD x 1
2354.06  13.59  29.35
Virident FlashMAX II 2.2TB
MLC PCIe SSD x 1
2278.11  14.04  26.04
LSI Nytro WarpDrive 800GB
MLC PCIe SSD x 1
1977.67  16.18  39.94
LSI Nytro WarpDrive 400GB
MLC PCIe SSD x 1
1903.14  16.81  39.30

Результаты по отдельным твердотельным накопителям SAS/SATA

Устройство Среднее значение TPS для 32 потоков Среднее время отклика 99-й процентиль задержки
Toshiba HK3R2 960GB
MLC SATA x 1
1673.23 19.12 49.65
SanDisk CloudSpeed ​​Eco 960GB
cMLC SATA x 1
1556.99 20.55 49.05
Intel S3700 800 ГБ
eMLC SATA x 1
1488.71  21.49  40
Toshiba PX02SM 400GB
eMLC SAS (6 Гбит/с) x 1
1487.03 21.52 62.02
Smart Optimus 400GB
eMLC SAS x 1
1477.1 21.66 52.69
OCZ Talos 2 C 480GB
MLC SAS x 1
1438.7 22.24 47.32
OCZ Intrepid 3600 400GB
eMLC SAS x 1
1335.3 23.96 48.42
OCZ Talos 2 R 400GB
eMLC SAS x 1
1421.15 22.51 45.06
SanDisk Extreme 480GB
MLC SATA x 1
1303.48 24.55 53.56
STEC s842 800GB
eMLC SAS x 1
1293.56  24.74  67.20
Intel S3500 512 ГБ
eMLC SATA x 1
1,287.65 24.85 64.15
Intel S3500 480 ГБ
eMLC SATA x 1
1241.59  25.77  54.27
Seagate 600 Pro 400GB
eMLC SATA x 1
1198.2  26.7  62.69
Твердотельный накопитель Hitachi SSD400S.B 400 ГБ
SLC SAS x 1
1191.47  26.85  47.87
OCZ Vector 512GB
MLC SATA x 1
1130.03  28.32  62.67
SanDisk Extreme II 480GB
MLC SATA x 1
981.34  32.61  102.58
Hitachi SSD400M
eMLC SAS x 1
878.9  36.41  68.03
Тошиба eSSD
SLC SAS x 1
758.41  42.19  140.59
Micron M500 480GB
MLC SATA x 1
668.6  47.86  461.80