Компания Gigabyte недавно пополнила свою линейку серверов моделью R282-3C0 (rev. 100) – 2U-системой Gen4 NVMe. Этот сервер оснащен двумя процессорами Intel® Xeon® Scalable 3-го поколения, выпущенными в апреле. R282-3C0 предназначен для хранения данных высокой плотности и поддерживает до восьми 3.5-дюймовых SATA-накопителей и четырех 3.5-дюймовых NVMe-накопителей, что в общей сложности составляет 12 отсеков с возможностью «горячей» замены.
Технические характеристики Gigabyte R282-3C0
Конкретная модель, которую мы рассматриваем, — это R282-3C0. Эта модель не является топовой в серии R282, однако её внутренние компоненты по-прежнему обеспечивают хороший потенциал производительности и гибкость.
| Gigabyte R282-3C0 (версия 100) | |
| Форм-фактор | 2U 438 мм x 87.5 мм x 730 мм |
| Материнская плата | MR92-FS0 |
| Процессоры | Процессоры Intel® Xeon® Scalable 3-го поколения (Intel® Xeon® Platinum, Intel® Xeon® Gold, Intel® Xeon® Silver) |
| Память | 32 слота DDR4 DIMM; 8 каналов на процессор; модули RDIMM и LRDIMM до 128 ГБ. |
| Память | Передняя панель: (8) Отсеки для жестких дисков/твердотельных накопителей SATA/SAS с возможностью горячей замены размером 3.5″ или 2.5″ (4) Отсеки для жестких дисков/твердотельных накопителей SATA/SAS/Gen4 NVMe с возможностью горячей замены, размером 3.5″ или 2.5″ Задние: (2) Отсеки для 2.5-дюймовых жестких дисков/SSD SATA/SAS с возможностью горячей замены на задней панели |
| Видео | Встроен в Aspeed® AST2500 2D видеографический адаптер с интерфейсом шины PCIe 1920×1200@60Hz 32bpp, DDR4 SDRAM |
| Слоты расширения | Плата расширения CRS2033: (1) Слот PCIe x16 (Gen4 x16), Полная высота, половина длины (2) слота PCIe x8 (Gen4 x8), полная высота, половина длины Плата расширения CRS2137: (1) Слот PCIe x16 (Gen4 x16 или x8), Полная высота, половина длины (1) Слоты PCIe x8 (Gen4 x0 или x8), полная высота, половина длины (1) Слот PCIe x16 (Gen4 x16 или x8), используется совместно с OCP 2.0, полная высота, половина длины Плата расширения CRS2027: (2) Слоты PCIe x8 (Gen4 x8), низкопрофильные, половинной длины (1) Мезонинный слот OCP 3.0 с пропускной способностью PCIe Gen4 x16 от CPU_0 Поддерживаемая функция NCSI (1) Мезонинный слот OCP 2.0 с пропускной способностью PCIe Gen3 x8 от CPU_1 Поддерживаемая функция NCSI |
| Внутренний ввод / вывод | (2) разъема для вентилятора процессора, (1) разъем USB 3.0, (1) разъем TPM, (1) разъем VROC, (1) разъем для передней панели, (1) разъем для задней панели жесткого диска, (1) разъем IPMB, (1) перемычка для сброса CMOS, (1) переключатель восстановления BIOS. |
| Передний ввод-вывод | (2) USB 3.0, (1) Кнопка питания со светодиодом, (1) Кнопка ID со светодиодом, (1) Кнопка сброса, (1) Кнопка NMI, (1) Светодиодный индикатор состояния системы, (1) Светодиодный индикатор активности жесткого диска, (2) Светодиодные индикаторы активности локальной сети |
| Задний ввод-вывод | (2) USB 3.0, (1) VGA, (2) RJ45, (1) MLAN, (1) кнопка идентификации со светодиодом. |
| Объединительная плата ввода-вывода | Передняя панель CBP20C5: 8 портов SATA/SAS и 4 порта SATA/SAS/NVMe. Задняя панель_CBP2022: 2 порта SATA Пропускная способность: PCIe Gen4 x4 или SATA 6 Гбит/с или SAS 12 Гбит/с на порт. |
| Электропитание | (2) Резервные блоки питания мощностью 1600 Вт (80 PLUS Platinum) |
| Управление и менеджмент | Контроллер управления Aspeed® AST2500 Веб-интерфейс консоли управления GIGABYTE (AMI MegaRAC SP-X) |
Проектирование и сборка Gigabyte R282-3C0
Эта тестовая система обладает интересными особенностями и компоновкой. Первое, что бросается в глаза, — это количество отсеков для накопителей. Имеется восемь отсеков для 3.5-дюймовых жестких дисков/SSD SATA с возможностью горячей замены, четыре отсека для 3.5-дюймовых жестких дисков/SSD NVMe с возможностью горячей замены и, наконец, два 2.5-дюймовых отсека на задней панели, которые можно использовать для загрузки системы.
Что касается материнской платы, то на нашей модели MR92-FS0 она имеет 2 сокета для двухпроцессорной системы, 32 слота DIMM с поддержкой DDR4 и 8 слотов PCIe различной длины. Самое интересное в нашей модели — отсутствие слота M.2. У большинства других серверов есть слот M.2, который используется для загрузки системы, но у нас его нет. Это может быть неудобством, несущественным недостатком или решающим фактором, но это то, о чем покупатель должен подумать.

На задней панели сервера расположены 2 порта USB 3.0, порт VGA, 2 порта RJ45, порт MLAN, кнопка идентификации со светодиодом и 2 разъема питания для двух блоков питания, входящих в состав сервера.
Управление Gigabyte R282-3C0
В сервере Gigabyte R282-3C0 используется контроллер управления MegaRAC SP-X BMC для внеполосного управления. Эта платформа управления позволяет пользователям выполнять основные задачи, такие как удаленное управление питанием сервера, перепрошивка BIOS и запуск KVM-переключателя для установки программного обеспечения на сервер.
Интерфейс несколько неуклюжий по сравнению с тем, что можно найти на серверах первого уровня от Dell EMC, HPE, Cisco и т. д., но он справляется со своей задачей удаленного управления системой. Пользователям также предлагаются варианты KVM на основе HTML5 и Java в зависимости от их предпочтений. Единственный недостаток, с которым мы столкнулись при использовании именно KVM, заключался в том, что скорость передачи смонтированных ISO-образов была ограничена чуть более чем 1 Мбит/с, что делало установку ОС даже на устройства с небольшим объемом памяти довольно длительной. Компромиссным решением стало использование USB-накопителя с установщиком ОС и его удаленная установка через KVM.
Gigabyte R282-3C0 Performance
Что касается производительности сервера, мы провели несколько тестов на основе конфигурации, включающей (2) процессора Intel 8380, (16) 32 ГБ оперативной памяти DDR4 3200 МГц и (4) твердотельных накопителя Intel P5510 7.68 ТБ.
Производительность SQL-сервера
В протоколе тестирования Microsoft SQL Server OLTP от StorageReview используется текущая версия бенчмарка C (TPC-C) Совета по производительности обработки транзакций, представляющая собой онлайн-бенчмарк обработки транзакций, имитирующий действия, встречающиеся в сложных средах приложений. Бенчмарк TPC-C ближе, чем синтетические бенчмарки производительности, к оценке сильных и слабых мест инфраструктуры хранения данных в средах баз данных.
Каждая виртуальная машина SQL Server настроена с двумя виртуальными дисками: томом 100 ГБ для загрузки и томом 500 ГБ для базы данных и файлов журналов. С точки зрения системных ресурсов, мы настроили каждую виртуальную машину с 16 виртуальными процессорами, 64 ГБ оперативной памяти и использовали контроллер LSI Logic SAS SCSI. В то время как наши тестовые нагрузки Sysbench ранее полностью загружали платформу как по операциям ввода-вывода хранилища, так и по емкости, тест SQL Server оценивает производительность по задержке.
Конфигурация тестирования SQL Server (для каждой виртуальной машины)
- Windows Server 2012 R2
- Объем выделенного хранилища: 600 ГБ, использовано: 500 ГБ
- SQL Server 2014
- Размер базы данных: 1,500 единиц.
- Нагрузка на виртуальные клиенты: 15 000
- Объем оперативной памяти: 48 ГБ
- Продолжительность теста: 3 часа
- 2.5 часа предварительной подготовки
- 30-минутный период выборки
Что касается средней задержки SQL Server, то маршрутизатор Gigabyte R282-3C0 обеспечивал задержку в 1 мс на протяжении всего тестирования с 8 виртуальными машинами.
Производительность Sysbench MySQL
Наш первый тест производительности локального хранилища данных проводится на базе данных Percona MySQL OLTP с помощью SysBench. В ходе теста измеряются среднее количество транзакций в секунду (TPS), средняя задержка и средняя задержка на уровне 99-го процентиля.
Каждая виртуальная машина Sysbench настроена с тремя виртуальными дисками: один для загрузки (~92 ГБ), один с предварительно созданной базой данных (~447 ГБ) и третий для тестируемой базы данных (270 ГБ). С точки зрения системных ресурсов, мы настроили каждую виртуальную машину с 16 виртуальными процессорами, 60 ГБ оперативной памяти и использовали контроллер LSI Logic SAS SCSI.
Настройка параметров тестирования Sysbench (для каждой виртуальной машины)
- CentOS 6.3 64-бит
- Percona XtraDB 5.5.30-rel30.1
- Таблицы базы данных: 100
- Размер базы данных: 10 000 000
- Количество потоков базы данных: 32
- Объем оперативной памяти: 24 ГБ
- Продолжительность теста: 3 часа
- 2 часа предварительной обработки, 32 нити
- 1 час 32 нити
С помощью Sysbench OLTP мы зафиксировали суммарный результат в 25 537 транзакций в секунду для 8 виртуальных машин, при этом показатели отдельных виртуальных машин варьировались от 3,187 до 3,199 транзакций в секунду. Средние значения и диапазоны нас не удивили, поскольку в прошлом мы наблюдали примерно одинаковые результаты у аналогичных серверов.
При средней задержке 8VM показали суммарное время 10.025, тогда как для отдельных виртуальных машин оно варьировалось от 10 до 10.04.
В наихудшем сценарии, соответствующем 99-му процентилю, суммарная задержка на 8VM составила 19.13 мс, при этом отдельные значения варьировались от 19.07 мс до 19.17 мс.
Анализ рабочей нагрузки VDBench
Когда речь заходит о сравнительной оценке устройств хранения данных, лучше всего подходит тестирование приложений, а синтетическое тестирование занимает второе место. Хотя синтетические тесты не идеально отражают реальные рабочие нагрузки, они помогают установить базовые параметры устройств хранения данных с коэффициентом повторяемости, что упрощает сравнение конкурирующих решений «яблоко к яблоку».
Эти рабочие нагрузки предлагают широкий спектр различных профилей тестирования, от тестов «четырех углов» и тестов на определение размера передаваемых данных в базах данных до трассировки из различных сред VDI. Все эти тесты используют общий генератор рабочих нагрузок vdBench с механизмом сценариев для автоматизации и сбора результатов на большом вычислительном кластере. Это позволяет нам повторять одни и те же рабочие нагрузки на широком спектре устройств хранения данных, включая флэш-массивы и отдельные устройства хранения.
Профили:
- Чтение случайных данных 4K: 100% чтение, 128 потоков, iorate 0-120%.
- Случайная запись 4K: 100% запись, 128 потока, скорость записи 0-120%.
- Последовательное чтение 64K: 100% чтения, 32 потоков, скорость чтения 0-120%.
- Последовательная запись 64K: 100% запись, 16 потоков, скорость записи 0-120%.
- Синтетические базы данных: SQL и Oracle
- Трассировки полного клонирования VDI и трассировки связанных клонов
Если рассматривать случайное чтение 4K-файлов, то Gigabyte R282-3C0 начинала с задержкой менее 100 мкс и оставалась на этом уровне до достижения примерно 2.25 миллионов операций ввода-вывода в секунду, а затем достигла пика в 3 770 372 операций ввода-вывода в секунду с задержкой в 536 мкс.
Случайная запись 4K показала очень хороший старт: задержка составляла менее 100 мкс (35 мкс) и оставалась на этом уровне до тех пор, пока сервер не достиг производительности чуть более 1.6 миллиона операций ввода-вывода в секунду (IOPS). Пик производительности пришелся на 1 823 423 IOPS с задержкой в 909 мкс.
Переходя к последовательному чтению 64K, мы наблюдали пиковое значение R282 в 307 885 операций ввода-вывода в секунду при задержке в 413 мкс.
Далее, последовательная запись 64K обеспечила нам пиковую производительность в 116 957 IOPS с задержкой 1071 мкс, однако после этого мы также наблюдали снижение, вернувшись к показателю около 140 000 IOPS с задержкой примерно 800 мкс.
Теперь рассмотрим рабочие нагрузки SQL: SQL, SQL 90-10 и SQL 80-20. В случае с SQL сервер Gigabyte R282-C03 начал работу с задержкой в 91 мкс и превысил 100 мкс, достигнув 480 959 IOPS. Затем сервер достиг пика в 995 117 IOPS, а задержка составила 125 мкс.
В SQL 90-10 начальная задержка сервера составляла 85 мкс, и она оставалась ниже 100 мкс до достижения 554 447 операций ввода-вывода в секунду (IOPS). Затем пиковое значение составило 935 383 IOPS с задержкой в 126 мкс.
В SQL 80-20 начальная задержка сервера составляла 80 мкс, и она оставалась ниже 100 мкс до достижения 554 447 операций ввода-вывода в секунду (IOPS). Затем пиковое значение составило 935 383 IOPS с задержкой в 132 мкс.
Следующие тесты включали наши рабочие нагрузки Oracle: Oracle, Oracle 90-10 и Oracle 80-20. При работе с рабочей нагрузкой Oracle, R282 начал с задержки в 80 мкс, а затем достиг пика в 924 993 IOPS с задержкой в 133 мкс.
В случае с нашим сервером Oracle 90-10, начальная задержка составляла 83 мкс, и сервер смог поддерживать её на уровне менее 100 мкс до достижения 635 178 операций ввода-вывода в секунду, но затем достиг пика в 792 231 операций ввода-вывода в секунду с задержкой в 108 мкс.
Наконец, Oracle 80-20 также смог удержаться ниже 100 на протяжении большей части теста, начав с 78.5 мкс и достигнув пика в 770 853 IOPS с задержкой в 110 мкс.
Для наших последних тестов мы переключились на тест клонирования VDI, полный и связанный. При загрузке VDI Full Clone (FC) R282 показал пиковую производительность в 762 590 IOPS с задержкой в 162 мкс.
При первоначальном входе в систему VDI FC сервер продемонстрировал устойчивый, а затем резкий рост, достигнув пика в 479 697 операций ввода-вывода в секунду при задержке в 216 мкс.
В ходе входа в систему VDI FC в понедельник производительность сервера неуклонно росла, достигнув пика в 347 985 операций ввода-вывода в секунду при задержке в 165 мкс.
Теперь перейдём к тестам VDI Linked Clone (LC). Начиная с загрузки, сервер показал кратковременный подъём производительности до пикового значения в 305 058 IOPS с задержкой в 197 мкс.
В ходе теста первоначального входа в систему сервер продемонстрировал значительный рост производительности, начавшийся с 100 мкс и достигший пика в 167 785 операций ввода-вывода в секунду при задержке в 152 мкс.
Наконец, при входе в систему в понедельник сервер продемонстрировал значительный рост, начавшийся с 107 мкс и достигший пика в 271 522 IOPS с резким скачком задержки до 213 мкс.
Заключение
Gigabyte R282-3C0 — это 2U-сервер с двумя процессорами, который проверяет производительность процессоров Xeon Scalable 3-го поколения. Вместе с 12 отсеками для 3.5-дюймовых накопителей с возможностью горячей замены на передней панели, четыре из которых поддерживают NVMe, этот сервер способен вместить различные типы накопителей. Для организаций, которым требуется ускоренное увеличение емкости, интересно сочетать флэш-накопители для многоуровневого хранения с недорогими жесткими дисками для хранения данных. Кроме того, сзади расположены два SATA-накопителя, которые можно использовать для загрузки системы. Это удобно, поскольку на борту нет накопителей M.2.
Результаты различных тестов, проведенных на сервере, полностью соответствовали нашим ожиданиям. Ограничение в четыре отсека для NVMe-накопителей сдерживало максимальный потенциал хранения данных, поскольку большинство отсеков используются для жестких дисков большей емкости. Однако конфигурация накопителей ориентирована на определенную категорию пользователей: большинство клиентов устанавливают в подобные системы процессоры среднего уровня и стремятся к более сбалансированной цене. Конечно, другие модели из линейки Gigabyte с полным набором NVMe-накопителей обеспечат более высокую производительность. Например, у них есть модель R282-Z92, которая позволяет использовать до 24 NVMe SSD-накопителей с технологией GRAID для невероятной производительности.
В наших синтетических тестах SQL мы зафиксировали максимум 481 тыс. IOPS в рабочей нагрузке SQL, 968 тыс. IOPS в SQL 90-10 и 935 тыс. IOPS в тесте SQL 80-20. В наших тестах Oracle мы зафиксировали 924 тыс. IOPS в рабочей нагрузке Oracle, 792 тыс. в Oracle 90-10 и 770 тыс. в Oracle 80-20. В VDBench мы зафиксировали 3.7 млн IOPS при чтении 4K, 1.8 млн при записи 4K, 307 885 IOPS при чтении 64K и 116 957 при записи 64K. Наконец, в тестах VDI Full Clone мы зафиксировали 762 тыс. IOPS при загрузке, 479 тыс. при первоначальном входе в систему и 348 тыс. при входе в систему в понедельник. Для связанного клона мы зафиксировали 305 тыс. операций ввода-вывода в секунду при загрузке, 167 тыс. при первоначальном входе в систему и 272 тыс. при входе в систему в понедельник.
В реальности этот сервер будет использоваться для хранения данных высокой плотности с возможностью ускорения за счет NVMe-флэш-памяти. Единственное, что ограничивает возможности этого сервера, — это больший объем NVMe-накопителей, но эта сборка ориентирована на преимущества жестких дисков с точки зрения соотношения емкости и цены. Gigabyte R282-3C0 — хороший выбор для задач, требующих сочетания емкости и NVMe-накопителей в 12-отсековой (или 14-отсековой, в зависимости от способа подсчета) конфигурации, построенной на архитектуре Intel Scaleable Gen3.




Amazon