Тест производительности приложений Sysbench OLTP работает на базе данных MySQL с использованием механизма хранения InnoDB. Задача механизма хранения — управлять интерфейсом от дисковой базы данных к приложениям, читающим и записывающим данные в этот механизм и из него. В свою очередь, механизм хранения управляет потоками ввода-вывода и журналами, а также поддерживает кэш в оперативной памяти для минимизации обращений к диску. Приведенная ниже диаграмма дает упрощенное представление о работе механизма.
Поскольку механизм InnoDB использует кэш в оперативной памяти, называемый буферным пулом, производительность напрямую зависит от соотношения размера рабочего набора к размеру буферного пула. Другими словами, если буферный пул достаточно велик, чтобы вместить рабочий набор, или рабочий набор достаточно мал, чтобы поместиться в буферный пул, большинство операций никогда не будут ограничены операциями ввода-вывода. Однако, если база данных слишком велика, чтобы поместиться в память, то производительность ввода-вывода будет определять время отклика транзакций и пропускную способность. Мы характеризуем производительность накопителя в ситуации, когда база данных не помещается в память, что приводит к увеличению трафика ввода-вывода со стороны механизма хранения InnoDB.
Множество потоков (количество зависит от конфигурации базы данных для высокопроизводительных приложений и варьируется от 32 до 128) считывают данные в произвольном порядке из хранилища данных размером блока 16 Кбайт. Эти операции чтения связаны с запросами к базе данных, запрашивающими данные из хранилища. По мере обработки операций чтения они автоматически кэшируются в буферном пуле. По мере заполнения буферного пула InnoDB использует политику LRU (Least Recently Used — наименее недавно использованные), чтобы вытеснить старые страницы и освободить место для новых данных.
Запись в базу данных сначала направляется в журнал транзакций и в буферный пул. Журнал транзакций представляет собой последовательно записываемый кольцевой буфер, который обновляется при каждой транзакции записи. В зависимости от конфигурации MySQL это обновление может привести к немедленной записи на диск или временно сохраняться в оперативной памяти в виде буфера, который в конечном итоге сбрасывается на диск файловой системой. Размер этого буфера журнала варьируется, но обычно составляет около 256 МБ. Рекомендуемые настройки для соответствия требованиям ACID требуют, чтобы запись в журнал осуществлялась на диск при каждом подтверждении транзакции в базе данных. Длина этих записей составляет 4 КБ.
В журнале выполняются только «физиологические» записи, при которых записывается разница между предыдущими и новыми данными. Для исходных данных InnoDB записывает данные в буферный пул в оперативной памяти, который также должен асинхронно очищаться. Процесс записи данных обратно в файловую систему является настраиваемым и происходит в фоновом режиме. Записи также имеют размер 16 КБ. Фактически это двойные записи, когда движок сначала записывает данные в промежуточное место, называемое буфером двойной записи. Затем движок копирует эти данные в конечное местоположение в файловой системе. Это необходимо для предотвращения проблемы «порванной страницы», когда страница базы данных размером 16 КБ частично записывается на диск из-за отключения питания или другого катастрофического события.
Происхождение бенчмарка Sysbench
После нескольких обсуждений с компанией Micron о том, как они имитируют реальные среды приложений MySQL для тестирования и измерения SSD-накопителей, мы внедрили тестовую установку Sysbench в нашу лабораторию. Они разработали методологию тестирования на основе Sysbench, обнаружив, что синтетические тесты производительности накопителей редко дают полное представление о том, как будет вести себя накопитель при определенной нагрузке приложения. Тест Sysbench позволяет Micron имитировать среду, наиболее точно представляющую стандартную нагрузку базы данных MySQL, распространенную в таких приложениях, как Facebook, Craigslist и Booking.com.
Мы тесно сотрудничали с Муссой Ба, который помог нам стать соавтором этой статьи. Мусса — инженер-программист в команде разработчиков PCIe компании Micron, где его работа включает оптимизацию прикладного и системного программного обеспечения для высокопроизводительных устройств ввода-вывода.
Тест производительности Sysbench OLTP
Sysbench — это бенчмарк производительности системы, включающий профиль тестирования обработки онлайн-транзакций (OLTP). Тест OLTP не является приближением к реальному тесту OLTP, а представляет собой настоящий бенчмарк, основанный на базе данных, который выполняет транзакционные запросы к экземпляру MySQL в среде CentOS.
Первым шагом в настройке бенчмарка является создание самой базы данных, что делается путем указания количества таблиц в базе данных, а также количества строк в каждой таблице. В нашем тесте мы определили 100 таблиц по 10 миллионов строк в каждой, что привело к созданию базы данных объемом в 1 миллиард записей. Размер этой базы данных составил 260 ГБ.
Sysbench имеет два режима работы: режим по умолчанию, который осуществляет чтение и запись в базу данных, и режим только для чтения. В режиме чтения/записи по умолчанию выполняются следующие типы запросов: 5 запросов SELECT, 2 запроса UPDATE, 1 запрос DELETE и 1 запрос INSERT. Судя по количеству операций ввода-вывода, наблюдаемое соотношение чтения/записи составляет примерно 75% чтения и 25% записи.
Среда тестирования Sysbench
Решения для хранения данных тестируются с помощью бенчмарка Sysbench OLTP в лаборатории StorageReview Enterprise Test Lab с использованием автономных серверов. В настоящее время мы используем стандартные серверы PowerEdge R730 от Dell, чтобы продемонстрировать как реалистичную производительность, так и хорошее соотношение цены и качества, меняя только адаптер хранения или сетевой интерфейс для подключения R730 к различным устройствам хранения. PowerEdge R730 зарекомендовал себя как отличная платформа для тестирования с устройствами сторонних производителей, что делает его превосходным вариантом для такой разнообразной среды тестирования. R730 также использует мощную архитектуру Intel класса Haswell, что обеспечивает нам вычислительную мощность для адекватной нагрузки на широкий спектр устройств хранения данных и максимального раскрытия их потенциала производительности.
Среда тестирования производительности Sysbench первого поколения
Lenovo ThinkServer RD630 – платформа для тестирования SATA/SAS/PCIe
- Модель 2594-ABU Topseller
- Два процессора Intel E5-2650 (2.0 ГГц, 8 ядер, 20 МБ кэш-памяти)
- 128 ГБ оперативной памяти (8 ГБ x 16 DDR3, 64 ГБ на каждый процессор)
- 100 ГБ Micron RealSSD P400e SSD (через LSI 9207-8i) Загрузочный диск
- Встроенное хранилище баз данных Micron M500 объемом 960 ГБ (через 9207-8i).
- CentOS 6.3 64-бит
- Percona XtraDB 5.5.30-rel30.1
- Таблицы базы данных: 100
- Размер базы данных: 10 000 000
- Количество потоков базы данных: 32
- Объем оперативной памяти: 24 ГБ
Среда тестирования производительности Sysbench второго поколения
Dell PowerEdge R730 – платформа для тестирования SATA/SAS/PCIe
- Два процессора Intel E5-2690 v3 (2.6 ГГц, 12 ядер, 30 МБ кэш-памяти)
- 256 ГБ оперативной памяти (16 ГБ x 16 DDR4, 128 ГБ на каждый процессор)
- SSD-накопитель объемом 100 ГБ для загрузки системы и 480 ГБ для хранения базы данных.
- 2 адаптера Mellanox ConnectX-3 InfiniBand
- 2 х Emulex 16GB двухпортовый FC HBA
- 2 х Сетевая карта Emulex 10GbE с двумя портами
- CentOS 6.6 64-бит
- Percona XtraDB 5.5.30-rel30.1
- Таблицы базы данных: 100
- Размер базы данных: 10 000 000
- Количество потоков базы данных: 32
- Объем оперативной памяти: 24 ГБ
Виртуализированный кластер Dell PowerEdge R730 Sysbench на 4 узла
- Восемь процессоров Intel E5-2690 v3 с частотой 249 ГГц в кластере (по два на узел, 2.6 ГГц, 12 ядер, 30 МБ кэш-памяти).
- 1 ТБ ОЗУ (256 ГБ на узел, 16 ГБ x 16 DDR4, 128 ГБ на процессор)
- Загрузка с SD-карты (Lexar 16 ГБ)
- 4 адаптера Mellanox ConnectX-3 InfiniBand (vSwitch для vMotion и сети виртуальных машин)
- 4 х Emulex 16GB двухпортовый FC HBA
- 4 х Сетевая карта Emulex 10GbE с двумя портами
- VMware ESXi vSphere 6.0 / Enterprise Plus 8-CPU
Основная цель этой платформы — продемонстрировать производительность корпоративных систем хранения данных в реальной корпоративной среде и при реальных рабочих нагрузках, а не полагаться на синтетические или псевдосинтетические рабочие нагрузки. Генераторы синтетических рабочих нагрузок отлично показывают, насколько хорошо работают устройства хранения данных с помощью непрерывного синтетического шаблона ввода-вывода, но они не учитывают другие внешние переменные, которые показывают, как устройства работают в производственной среде. Преимущество генераторов синтетических рабочих нагрузок заключается в том, что они многократно демонстрируют чистый шаблон ввода-вывода, но они никогда не смогут воспроизвести реальную производственную среду. Внедрение производительности приложений поверх продуктов хранения данных позволяет оценить, насколько хорошо система хранения взаимодействует со своими драйверами, локальной операционной системой, тестируемым приложением, сетевым стеком, сетевыми коммутаторами и внешними серверами. Это переменные, которые генератор синтетических рабочих нагрузок просто не может учесть, и они также на порядок более ресурсоемки и инфраструктурно-затратны с точки зрения оборудования, необходимого для выполнения этого конкретного теста.
Общие результаты производительности Sysbench
Мы тестируем широкий спектр решений для хранения данных с помощью бенчмарка Sysbench OLTP, которые соответствуют минимальным требованиям тестовой среды. Для участия в тестировании устройство хранения данных должно иметь полезную емкость более 260 ГБ и быть ориентировано на работу в условиях высокой нагрузки в корпоративной среде. Локально подключенные устройства хранения данных, такие как SAS, SATA и PCIe SSD, тестируются на физическом сервере с одним экземпляром Sysbench. Более новые платформы SAN и гиперконвергентные системы запускают одновременно 4, 8, 12 или 16 виртуальных машин, чтобы показать, насколько хорошо на каждой из них работают несколько рабочих нагрузок одновременно. Эта методология тестирования помогает упростить сравнение производительности новых гиперконвергентных систем с традиционными массивами хранения SAN.
Результаты тестирования производительности Sysbench в гиперконвергентных/SAN-системах (в совокупности 16 виртуальных машин)
| Устройство | 32-поточный суммарный TPS | Среднее время отклика (мс) | Задержка 99-го процентиля (мс) |
|---|---|---|---|
| X-IO ISE 860 (4) Dell R730, X-IO ISE 860 AFA (2) Тома по 10 ТБ |
6625 | 80 | 418 |
Результаты тестирования производительности Sysbench в гиперконвергентных/SAN-системах (в совокупности 12 виртуальных машин)
| Устройство | 32-поточный суммарный TPS | Среднее время отклика (мс) | Задержка 99-го процентиля (мс) |
|---|---|---|---|
| X-IO ISE 860 (4) Dell R730, X-IO ISE 860 AFA (2) Тома по 10 ТБ |
7160 | 54 | 177 |
Результаты тестирования производительности Sysbench в гиперконвергентных/SAN-системах (в совокупности 8 виртуальных машин)
| Устройство | 32-поточный суммарный TPS | Среднее время отклика (мс) | Задержка 99-го процентиля (мс) |
|---|---|---|---|
| X-IO ISE 860 (4) Dell R730, X-IO ISE 860 AFA (2) Тома по 10 ТБ |
6568 | 39 | 83 |
| VMware VSAN (ESXi 6.0) (4) Dell R730xd, 80 жестких дисков по 1.2 ТБ, 16 твердотельных накопителей по 800 ГБ |
4259 | 60 | 131 |
Результаты тестирования производительности Sysbench в гиперконвергентных системах / виртуализированных сетях SAN (в совокупности для 4 виртуальных машин)
| Устройство | 32-поточный суммарный TPS | Среднее время отклика (мс) | Задержка 99-го процентиля (мс) | Пиковая задержка (мс) |
|---|---|---|---|---|
| DotHill Ultra48 Hybrid (4) Dell R730, DotHill Ultra48 Hybrid (2) 14-дисковые RAID1 пулы, 40 жестких дисков по 1.8 ТБ, 8 твердотельных накопителей по 400 ГБ |
4645 | 28 | 51 | 676 |
| X-IO ISE 860 (4) Dell R730, X-IO ISE 860 AFA (2) Тома по 10 ТБ |
4424 | 29 | 57 | 983 |
| VMware VSAN (ESXi 6.0) (4) Dell R730xd, 80 жестких дисков по 1.2 ТБ, 16 твердотельных накопителей по 800 ГБ |
2830 | 45 | 94 | 480 |
| Nutanix NX-8150 (ESXi 6.0) (4) NX-8150, 80 жестких дисков по 1 ТБ, 16 твердотельных накопителей по 800 ГБ RAID0 x 4 vDisk Том базы данных |
2390 | 54 | 173 | 4784 |
| Nutanix NX-8150 (ESXi 6.0) (4) NX-8150, 80 жестких дисков по 1 ТБ, 16 твердотельных накопителей по 800 ГБ Развертывание базы данных по умолчанию |
1422 | 90 | 216 | 5508 |
Результаты тестирования производительности Sysbench для ускорителей приложений PCIe / RAID-массивов на нескольких SSD/HDD-накопителях
| Устройство | Среднее значение TPS для 32 потоков | Среднее время отклика | 99-й процентиль задержки |
|---|---|---|---|
| Хуавей ES3000 2.4 ТБ MLC PCIe SSD x 1 |
2734.69 | 11.7 | 19.84 |
| Хуавей ES3000 1.2 ТБ MLC PCIe SSD x 1 |
2615.12 | 12.23 | 21.80 |
| Fusion ioDrive2 Duo 2.4TB MLC PCIe SSD x 1 |
2521.06 | 12.69 | 23.92 |
| Micron P320h 700GB SLC PCIe SSD x 1 |
2443.56 | 13.09 | 22.45 |
| Micron P420m 1.4TB MLC PCIe SSD x 1 |
2361.29 | 13.55 | 25.84 |
| Fusion ioDrive2 1.2TB MLC PCIe SSD x 1 |
2354.06 | 13.59 | 29.35 |
| Virident FlashMAX II 2.2TB MLC PCIe SSD x 1 |
2278.11 | 14.04 | 26.04 |
| LSI Nytro WarpDrive 800GB MLC PCIe SSD x 1 |
1977.67 | 16.18 | 39.94 |
| LSI Nytro WarpDrive 400GB MLC PCIe SSD x 1 |
1903.14 | 16.81 | 39.30 |
Результаты по отдельным твердотельным накопителям SAS/SATA
| Устройство | Среднее значение TPS для 32 потоков | Среднее время отклика | 99-й процентиль задержки |
|---|---|---|---|
| Toshiba HK3R2 960GB MLC SATA x 1 |
1673.23 | 19.12 | 49.65 |
| SanDisk CloudSpeed Eco 960GB cMLC SATA x 1 |
1556.99 | 20.55 | 49.05 |
| Intel S3700 800 ГБ eMLC SATA x 1 |
1488.71 | 21.49 | 40 |
| Toshiba PX02SM 400GB eMLC SAS (6 Гбит/с) x 1 |
1487.03 | 21.52 | 62.02 |
| Smart Optimus 400GB eMLC SAS x 1 |
1477.1 | 21.66 | 52.69 |
| OCZ Talos 2 C 480GB MLC SAS x 1 |
1438.7 | 22.24 | 47.32 |
| OCZ Intrepid 3600 400GB eMLC SAS x 1 |
1335.3 | 23.96 | 48.42 |
| OCZ Talos 2 R 400GB eMLC SAS x 1 |
1421.15 | 22.51 | 45.06 |
| SanDisk Extreme 480GB MLC SATA x 1 |
1303.48 | 24.55 | 53.56 |
| STEC s842 800GB eMLC SAS x 1 |
1293.56 | 24.74 | 67.20 |
| Intel S3500 512 ГБ eMLC SATA x 1 |
1,287.65 | 24.85 | 64.15 |
| Intel S3500 480 ГБ eMLC SATA x 1 |
1241.59 | 25.77 | 54.27 |
| Seagate 600 Pro 400GB eMLC SATA x 1 |
1198.2 | 26.7 | 62.69 |
| Твердотельный накопитель Hitachi SSD400S.B 400 ГБ SLC SAS x 1 |
1191.47 | 26.85 | 47.87 |
| OCZ Vector 512GB MLC SATA x 1 |
1130.03 | 28.32 | 62.67 |
| SanDisk Extreme II 480GB MLC SATA x 1 |
981.34 | 32.61 | 102.58 |
| Hitachi SSD400M eMLC SAS x 1 |
878.9 | 36.41 | 68.03 |
| Тошиба eSSD SLC SAS x 1 |
758.41 | 42.19 | 140.59 |
| Micron M500 480GB MLC SATA x 1 |
668.6 | 47.86 | 461.80 |




Amazon