Recenzja serwera NVMe GIGABYTE R281-NO0

by Adama Armstronga on 27 lutego 2020 r.

Enterprise ◇

GIGABYTE R281-NO0 to serwer 2U all-NVMe, zbudowany w oparciu o procesory Intel Xeon Scalable drugiej generacji, z naciskiem na wydajność. Obsługa Intel Xeon Scalable drugiej generacji zapewnia wsparcie dla modułów pamięci trwałej Intel Optane DC . Moduły Optane PMEM zapewniają znacznie większą pojemność pamięci, ponieważ, choć nie są tak wydajne jak DRAM, oferują znacznie większą pojemność. Wykorzystanie Optane pozwala w pełni wykorzystać potencjał procesorów Intel Xeon Scalable drugiej generacji w serwerze GIGABYTE R281-NO0.

Inne interesujące rozwiązania sprzętowe serwera GIGABYTE R281-NO0 obejmują do 12 modułów DIMM na gniazdo, czyli łącznie 24. Nowsze procesory obsługują pamięć DRAM o częstotliwości do 2933 MHz. Łącznie użytkownicy mogą wyposażyć serwer GIGABYTE R281-NO0 w pamięć DRAM o pojemności do 3 TB. Serwer obsługuje kilka różnych kart riser, co daje do sześciu gniazd o pełnej wysokości i połowie długości dla urządzeń obsługujących gniazda PCIe x16 lub mniejsze. Firma szczyci się bardzo gęstą konstrukcją gniazd dodatkowych, oferującą kilka konfiguracji do różnych zastosowań. Serwer posiada modułową płytę główną, która obsługuje wymienne ekspandery, oferując zarówno SAS, jak i NVMe U.2 (lub ich kombinację), w zależności od potrzeb.

Dzięki pamięci masowej użytkownicy mogą nie tylko znacznie zwiększyć jej pojemność, ale także dodać mnóstwo pamięci NVMe w postaci U.2 i AIC. Z przodu serwera znajdują się 24 wnęki na dyski twarde 2.5” obsługujące dyski twarde lub SSD i NVMe. Z tyłu serwera znajdują się dwie dodatkowe wnęki na dyski 2.5” na dyski rozruchowe/rejestrujące SATA/SAS. Dostępnych jest również wiele gniazd rozszerzeń PCIe dla różnych urządzeń PCIe, w tym dla większej pamięci masowej. Taka gęstość i wydajność idealnie sprawdzają się w przypadku systemów AI i HPC zoptymalizowanych pod kątem gęstości GPU, serwerów wielowęzłowych zoptymalizowanych pod kątem HCI oraz serwerów pamięci masowej zoptymalizowanych pod kątem pojemności dysków twardych/dysków SSD.

Dla zainteresowanych zamieszczamy tutaj przegląd wideo:

W celu zarządzania energią, serwer GIGABYTE R281-NO0 posiada dwa zasilacze, co nie jest niczym niezwykłym. Posiada on również inteligentne funkcje zarządzania energią, które zwiększają wydajność serwera pod względem zużycia energii i pozwalają zachować zasilanie w przypadku awarii. Serwer jest wyposażony w funkcję Cold Redundancy, która przełącza dodatkowy zasilacz w tryb gotowości, gdy obciążenie systemu spadnie poniżej 40%, co pozwala obniżyć koszty energii. System obsługuje funkcję SCMP (Smart Crisis Management/Protection). Dzięki SCMP, w przypadku problemu z jednym zasilaczem, tylko dwa węzły będą mogły pracować w trybie obniżonego poboru mocy, podczas gdy zasilacz jest naprawiany/wymieniany.

Specyfikacja GIGABYTE R281-NO0

Form Factor	2U
Płyta	MR91-FS0
CPU	Procesory Intel Xeon Scalable drugiej generacji i Intel Xeon Scalable Procesor Intel Xeon Platinum, procesor Intel Xeon Gold, procesor Intel Xeon Silver i procesor Intel Xeon Bronze TDP procesora do 205 W Gniazdo 2x LGA 3647, Gniazdo P
chipset	Intel C621
Pamięć	24 gniazda DIMM Obsługiwane moduły RDIMM do 64 GB Obsługiwane moduły LRDIMM do 128 GB Obsługuje pamięć trwałą Intel Optane DC (DCPMM) Moduły 1.2 V: 2933 (1 DPC)/2666/2400/2133 MHz
Dyski
Bays	Przód: 24 zatoki 2.5″ U.2 NVMe SSD z możliwością wymiany na gorąco Tył: 2 zatoki dysków twardych/SSD SATA/SAS 2.5″ z możliwością wymiany podczas pracy
Typ napędu	SATA III 6 Gb/s SAS z dodatkową kartą SAS
RAID	Dla dysków SATA: Intel SATA RAID 0/1 W przypadku dysków U.2: Intel Virtual RAID On CPU (VROC) RAID 0, 1, 10, 5
LAN	2 porty LAN 1 Gb/s (Intel I350-AM2) 1 x sieć LAN zarządzająca 10/100/1000
Gniazda rozszerzeń
Karta Riser CRS2131	1 gniazdo PCIe x16 (Gen3 x16 lub x8), pełna wysokość, połowa długości 1 gniazdo PCIe x8 (Gen3 x0 lub x8), pełna wysokość, połowa długości 1 gniazdo PCIe x8 (Gen3 x8), pełna wysokość, połowa długości
Karta Riser CRS2132	1 gniazdo PCIe x16 (Gen3 x16 lub x8), pełna wysokość, połowa długości, zajmowane przez CNV3124, 4 porty U.2 1 gniazdo PCIe x8 (Gen3 x0 lub x8), pełna wysokość, połowa długości 1 gniazdo PCIe x8 (Gen3 x8), pełna wysokość, połowa długości
Karta Riser CRS2124	1 gniazdo PCIe x8 (Gen3 x0), niski profil, połowa długości 1 x gniazdo PCIe x16 (Gen3 x16), niski profil, połowa długości, zajmowana przez CNV3124, 4 x porty U.2
2 x gniazda antresoli OCP	PCIe Gen3x16 Typ 1, P1, P2, P3, P4, K2, K3 1 x gniazdo mezzanine OCP jest zajęte przez kartę CNVO124, 4 x karta mezzanine U.2
I / O
Wewnętrzne	2 x złącza zasilania 4 złącza SlimSAS 2 złącza SATA 7-pinowe 2 złącza wentylatora procesora 1 x złącze USB 3.0 1 x nagłówek TPM 1 złącze VROC 1 x złącze na panelu przednim 1 x złącze płyty tylnej dysku twardego 1 x złącze IPMB X Clear CMOS zworka 1 1 x zworka odzyskiwania BIOS-u
Przód	2 x USB 3.0 1 x przycisk zasilania z diodą LED 1 x przycisk ID z diodą LED 1 Przycisk resetowania x 1 x przycisk NMI 1 x dioda LED stanu systemu 1 x dioda LED aktywności dysku twardego 2 diody LED aktywności sieci LAN
Tył	2 x USB 3.0 1 x VGA 1 x COM (typ RJ45) 2 x RJ45 1 x MLAN 1 x przycisk ID z diodą LED
Płyta montażowa	Przód_CBP20O2: 24 porty SATA/SAS Przód_CEPM480: 8 portów U.2 Tył_CBP2020: 2 porty SATA/SAS Przepustowość: SATAIII 6 Gb/s lub SAS 12 Gb/s na port
Zasilanie
Dostawa	2 redundantne zasilacze 1600 W 80 PLUS Platinum
Wejście AC	100-127V~/ 12A, 47-63Hz 200-240V~/ 9.48A, 47-63Hz
Wyjście DC	Maks. 1000 W/ 100-127 V +12V/ 82A +12Vsb/ 2.1A Maks. 1600 W/ 200-240 V +12V/ 132A +12Vsb/ 2.1A
Środowiskowy
Temperatura robocza	10 ° C do 35 ° C
Wilgotność pracy	8–80% (bez kondensacji)
Temperatura przechowywania	-40 ° C do 60 ° C
Wilgotność w stanie spoczynku	20%-95% (bez kondensacji)
Fizyczny
Wymiary (SxWxG)	438 x 87.5 x 730
Waga	20 kg

Zaprojektuj i zbuduj

GIGABYTE R281-NO0 to serwer rackowy 2U. Z przodu znajdują się 24 zatoki z możliwością wymiany dysków SSD NVMe U.2. Po lewej stronie znajdują się diody LED oraz przyciski resetowania, zasilania, NMI i ID. Po prawej stronie znajdują się dwa porty USB 3.0.

Odwracając urządzenie do tyłu, w lewym górnym rogu widzimy dwie zatoki na dyski SSD/HDD 2.5″. Pod zatokami znajdują się dwa zasilacze. Na dole obudowy znajduje się port VGA, dwa porty USB 3.0, dwa porty LAN GbE, port szeregowy oraz port LAN do zarządzania serwerem 10/100/1000. Nad portami znajduje się sześć gniazd PCIe.

Górna część obudowy dość łatwo się zdejmuje, zapewniając użytkownikom dostęp do dwóch procesorów Intel (zasłoniętych radiatorami na zdjęciu). Na zdjęciu widać również wszystkie gniazda DIMM. Serwer jest wyposażony w dyski NVMe, o czym świadczą kable prowadzące bezpośrednio do kart rozszerzeń z przedniej płyty montażowej. Same kable są schludnie ułożone i nie wydają się utrudniać przepływu powietrza od przodu do tyłu.

Konfiguracja GIGABYTE R281-NO0

CPU	2x Intel 8280
RAM	384 GB 2933 HMz
Dyski	12 dysków Micron 9300 NVMe 3.84 TB

Wydajność

Wydajność serwera SQL

Protokół testowania OLTP dla Microsoft SQL Server firmy StorageReview wykorzystuje aktualną wersję roboczą testu Benchmark C (TPC-C) opracowanego przez Transaction Processing Performance Council – internetowego testu porównawczego przetwarzania transakcji, który symuluje działania występujące w złożonych środowiskach aplikacji. Test TPC-C jest bliższy niż syntetyczne testy wydajnościowe, mierząc mocne strony i wąskie gardła infrastruktury pamięci masowej w środowiskach baz danych.

Każda maszyna wirtualna SQL Server jest skonfigurowana z dwoma dyskami wirtualnymi: woluminem 100 GB na rozruch i woluminem 500 GB na bazę danych i pliki dziennika. Z perspektywy zasobów systemowych, skonfigurowaliśmy każdą maszynę wirtualną z 16 procesorami wirtualnymi, 64 GB pamięci DRAM i wykorzystaliśmy kontroler LSI Logic SAS SCSI. Podczas gdy nasze obciążenia Sysbench testowane wcześniej obciążały platformę zarówno pod względem operacji wejścia/wyjścia, jak i pojemności pamięci masowej, test SQL sprawdza wydajność opóźnień.

W tym teście wykorzystano SQL Server 2014 działający na gościnnych maszynach wirtualnych z systemem Windows Server 2012 R2 i został on obciążony programem Dell Benchmark Factory for Databases. Podczas gdy tradycyjnie testowaliśmy ten test w dużych bazach danych o skali 3,000 w pamięci lokalnej lub współdzielonej, w tej iteracji skupiamy się na równomiernym rozłożeniu czterech baz danych o skali 1,500 na naszych serwerach.

Konfiguracja testowania serwera SQL Server (na maszynę wirtualną)

Windows Server 2012 R2
Zajętość pamięci masowej: 600 GB przydzielonych, 500 GB wykorzystanych
SQL Server 2014
- Rozmiar bazy danych: skala 1,500
- Obciążenie wirtualnego klienta: 15 000
- Bufor RAM: 48 GB
Długość testu: 3 godziny
- 2.5 godziny przygotowania wstępnego
- 30-minutowy okres próbny

W naszym teście porównawczym transakcyjnego serwera SQL Server maszyna R281-NO0 osiągnęła łączny wynik 12 645 TPS, a wyniki poszczególnych maszyn wirtualnych wahały się od 3,161.1 TPS do 3,161,5 TPS.

Przy średnim opóźnieniu serwera SQL Server serwer uzyskał wynik zbiorczy i wynik pojedynczej maszyny wirtualnej na poziomie 1 ms.

Wydajność Sysbench MySQL

Nasz pierwszy test porównawczy aplikacji z pamięcią lokalną opiera się na bazie danych Percona MySQL OLTP, mierzonej za pomocą SysBench. Ten test mierzy również średnią liczbę transakcji na sekundę (TSP), średnie opóźnienie oraz średnie opóźnienie na poziomie 99. percentyla.

Każda maszyna wirtualna Sysbench jest skonfigurowana z trzema dyskami wirtualnymi: jednym do rozruchu (~92 GB), jednym z predefiniowaną bazą danych (~447 GB) i trzecim dla testowanej bazy danych (270 GB). Z perspektywy zasobów systemowych, skonfigurowaliśmy każdą maszynę wirtualną z 16 procesorami wirtualnymi, 60 GB pamięci DRAM i wykorzystaliśmy kontroler LSI Logic SAS SCSI.

Konfiguracja testów Sysbench (na maszynę wirtualną)

CentOS 6.3 64-bit
Percona XtraDB 5.5.30-rel30.1
- Tabele bazy danych: 100
- Rozmiar bazy danych: 10 000 000
- Wątki bazy danych: 32
- Bufor RAM: 24 GB
Długość testu: 3 godziny
- 2 godziny wstępnego kondycjonowania 32 wątków
- 1 godzina 32 wątki

W teście Sysbench OLTP GIGABYTE osiągnął łączny wynik 19 154,9 TPS.

Średni czas opóźnienia serwera w Sysbench wyniósł 13.37 ms.

W najgorszym scenariuszu (99. percentyl) opóźnienie serwera wyniosło łącznie 24.53 ms.

Analiza obciążenia VDBench

W przypadku testów porównawczych macierzy pamięci masowej, testy aplikacji są najlepsze, a testy syntetyczne plasują się na drugim miejscu. Chociaż nie odzwierciedlają one idealnie rzeczywistych obciążeń, testy syntetyczne pomagają w ustaleniu punktu odniesienia dla urządzeń pamięci masowej, zapewniając powtarzalność, która ułatwia bezpośrednie porównanie konkurencyjnych rozwiązań. Obciążenia te oferują szereg różnych profili testowych, od testów „czterech kątów”, przez testy rozmiaru transferu baz danych, po przechwytywanie śladów z różnych środowisk VDI. Wszystkie te testy wykorzystują generator obciążeń vdBench z silnikiem skryptowym do automatyzacji i przechwytywania wyników w dużym klastrze obliczeniowym. Pozwala to na powtarzanie tych samych obciążeń dla szerokiej gamy urządzeń pamięci masowej, w tym macierzy flash i pojedynczych urządzeń pamięci masowej.

Profile:

Losowy odczyt 4K: 100% odczytu, 128 wątków, 0-120% ioratu
Losowy zapis 4K: 100% zapisu, 64 wątki, 0-120% ioracji
64K Sekwencyjny odczyt: 100% odczytu, 16 wątków, 0-120% ioratu
64K Sekwencyjny zapis: 100% zapisu, 8 wątków, 0-120% ioratu
Syntetyczna baza danych: SQL i Oracle
Ślady pełnego klonu VDI i klonów powiązanych

Przy losowym odczycie 4K, GIGABYTE R281-NO0 rozpoczął od 539 443 IOPS przy 114.8 µs i osiągnął szczyt na poziomie 5 326 746 IOPS przy opóźnieniu 238 µs.

Losowy zapis 4k wykazywał wydajność poniżej 100 µs aż do osiągnięcia około 3.25 miliona IOPS i szczytowego wyniku 3 390 371 IOPS przy opóźnieniu 262.1 µs.

W przypadku obciążeń sekwencyjnych przyjrzeliśmy się 64 KB. W przypadku odczytu 64 KB zaobserwowaliśmy szczytową wydajność na poziomie około 640 000 IOPS lub 4 GB/s przy opóźnieniu około 550 µs, po czym nastąpił niewielki spadek.

Zapis 64 KB odbywał się w czasie poniżej 100 µs do momentu osiągnięcia około 175 000 IOPS lub 1.15 GB/s, a następnie osiągnął szczyt na poziomie 259 779 IOPS lub 1.62 GB/s przy opóźnieniu 581.9 µs, po czym nastąpił niewielki spadek.

Kolejny zestaw testów obejmuje obciążenia SQL: SQL, SQL 90-10 i SQL 80-20. Począwszy od SQL, GIGABYTE osiągnął szczytową wydajność na poziomie 2 345 547 IPS przy opóźnieniu 159.4 µs.

W przypadku SQL 90-10 serwer osiągnął szczytową wydajność na poziomie 2 411 654 IOPS przy opóźnieniu 156.1 µs.

W naszym teście SQL 80-20 serwer osiągnął szczytową wartość 2 249 683 IOPS przy opóźnieniu 166.1 µs.

Następnie mamy obciążenia Oracle: Oracle, Oracle 90-10 i Oracle 80-20. Począwszy od Oracle, GIGABYTE R281-NO0 osiągnął szczytową wartość 2 240 831 IOPS przy opóźnieniu 165.3 µs.

Oracle 90-10 osiągnął szczytową wydajność na poziomie 1 883 800 IOPS przy opóźnieniu 136.2 µs.

W systemie Oracle 80-20 serwer osiągnął szczytową wydajność 1 842 053 IOPS przy opóźnieniu 139.3 µs.

Następnie przeszliśmy do testu klonowania VDI, pełnego i połączonego. W przypadku rozruchu VDI Full Clone (FC), GIGABYTE osiągnął szczytową wartość 1 853 086 IOPS i opóźnienie 198 µs.

Patrząc na początkowe logowanie VDI FC, serwer został uruchomiony z szybkością 83 797 IOPS i czasem oczekiwania 86.7 µs, a następnie osiągnął szybkość szczytową 808 427 IOPS z opóźnieniem 305.9 µs, po czym nastąpił spadek wydajności.

Podczas poniedziałkowego logowania VDI FC serwer osiągnął szczytową wydajność 693 431 IOPS przy opóźnieniu 207.6 µs.

W przypadku rozruchu VDI Linked Clone (LC) serwer GIGABYTE osiągnął szczytową wydajność 802 660 IOPS przy opóźnieniu 194 µs.

Patrząc na początkowe logowanie do VDI LC, serwer odnotował szczytową liczbę operacji wejścia/wyjścia na sekundę (IOPS) wynoszącą 409 901 przy opóźnieniu 195.2 µs.

Wreszcie, w teście VDI LC Monday Login serwer osiągnął szczytową wydajność na poziomie 488 516 IOPS przy opóźnieniu 273 µs.

Wniosek

Serwer 2U GIGABYTE R281-NO0 to serwer w pełni oparty na technologii NVMe, stworzony z myślą o wydajności. Wykorzystuje on dwa skalowalne procesory Intel Xeon drugiej generacji i obsługuje do 12 modułów DIMM na gniazdo. W zależności od wybranego procesora, obsługuje on pamięć DRAM o częstotliwości do 2933 MHz oraz technologię Intel Optane PMEM. Użytkownik może dysponować pamięcią DRAM o pojemności do 3 TB lub większą pamięcią dzięki technologii Optane. Konfiguracja pamięci masowej jest wysoce konfigurowalna, a testowana przez nas wersja obsługuje 24 dyski SSD NVMe 2.5 cala. Ciekawą funkcją zasilania jest funkcja Cold Redundancy, która przełącza dodatkowy zasilacz w tryb gotowości, gdy obciążenie systemu spada poniżej 40%, co pozwala obniżyć koszty energii.

Do testów wydajnościowych uruchomiliśmy analizę obciążeń aplikacji (Applications Analysis Workloads) oraz analizę obciążeń VDBench. W przypadku analizy obciążeń aplikacji (Applications Analysis Workloads) zaczęliśmy od SQL Server. Otrzymaliśmy łączny wynik transakcji na poziomie 12 645 TPS przy średnim opóźnieniu 1 ms. Przechodząc do Sysbench, serwer GIGABYTE uzyskał łączny wynik 19 154 TPS, średnie opóźnienie 13.37 ms i w najgorszym przypadku zaledwie 24.53 ms.

W naszej analizie obciążenia VDBench serwer uzyskał imponujące wyniki. Najważniejsze z nich to 5.3 mln IOPS dla odczytu 4K, 3.4 mln IOPS dla zapisu 4K, 4 GB/s dla odczytu 64K i 1.62 GB/s dla zapisu 64K. W przypadku obciążeń SQL serwer osiągnął 2.3 mln IOPS, 2.4 mln IOPS dla wersji 90-10 i 2.3 mln IOPS dla wersji 80-20. W przypadku Oracle odnotowaliśmy 2.2 mln IOPS, 1.9 mln IOPS dla wersji 90-10 i 1.8 mln IOPS dla wersji 80-20. W naszych testach klonowania VDI odnotowaliśmy 1.9 mln IOPS dla rozruchu, 808 tys. IOPS dla początkowego logowania i 693 tys. IOPS dla poniedziałkowego logowania dla pełnego klonowania. W przypadku Linked Clone odnotowaliśmy 803 tys. IOPS podczas rozruchu, 410 tys. IOPS podczas pierwszego logowania i 489 tys. IOPS podczas logowania w poniedziałek.

GIGABYTE R281-NO0 to potężny serwer, obsługujący szeroką gamę technologii flash. Zbudowany w oparciu o platformę Intel Scalable 2. generacji, korzysta również z nowszych procesorów obsługujących technologię Optane PMEM. Serwer oferuje szerokie możliwości konfiguracji pamięci masowej i szereg korzyści w zakresie oszczędności energii. Najbardziej podobają nam się oczywiście 24 zatoki na dyski SSD NVMe; spodobają się również osobom potrzebującym wydajnej pamięci masowej. Ten serwer firmy GIGABYTE został zaprojektowany z myślą o wszechstronnym zastosowaniu i dużej pojemności pamięci masowej.

GIGABYTE R281-NO0

Dyskusja na Reddicie