Seria MegaRAID 9600 to adapter pamięci masowej trzeciej generacji obsługujący dyski SATA, SAS i NVMe, zaprojektowany z myślą o zapewnieniu najlepszej możliwej wydajności i dostępności danych dla serwerów pamięci masowej. W porównaniu z poprzednią generacją, seria 9600 oferuje dwukrotny wzrost przepustowości, ponad czterokrotny wzrost liczby operacji wejścia/wyjścia na sekundę (IOP), 25-krotne zmniejszenie opóźnień zapisu i 60-krotny wzrost wydajności podczas odbudowy. Jak zwykle, rodzina kart 9600 oferuje szereg konfiguracji. W tej recenzji przyjrzymy się karcie Broadcom MegaRAID 9670W-16i, która obsługuje 16 portów wewnętrznych.
Karta MegaRAID 9670W-16i oparta jest na układzie RAID-on-Chip (RoC) SAS4116W, który jest kluczowym czynnikiem wpływającym na ogólną poprawę wydajności. Użytkownicy mogą podłączyć do 240 urządzeń SAS/SATA lub 32 urządzeń NVMe do jednego kontrolera za pomocą interfejsu x16 PCIe Gen 4.0.
Seria 9600 oferuje również sprzętowy system bezpiecznego rozruchu i obsługę atestacji SPDM, ochronę równowagi oraz wydajność dla RAID 0, 1, 5, 6, 10, 50 i 60 oraz JBOD. Ochrona pamięci podręcznej flash CacheVault to opcja dla użytkowników, którzy oczekują większego poziomu ochrony.
Dlaczego sprzętowy RAID dla NVMe?
Sprzętowy RAID był popularnym rozwiązaniem zapewniającym niezawodną pamięć masową, odkąd współcześni administratorzy IT zdążyli już posiwieć. Jednak wraz ze wzrostem szybkości pamięci masowej, zwłaszcza dysków SSD NVMe, karty RAID zaczęły mieć problemy z nadążaniem za duchem czasu. Dlatego, gdy Broadcom zaproponował nam recenzję karty MegaRAID 9670W-16i, mieliśmy pewne wątpliwości. Prawda jest taka, że karta RAID wiąże się z kosztami wydajności i dlatego przez wiele lat jej unikaliśmy. Mimo to, wartość sprzętowego RAID-u jest niezaprzeczalna.
W środowiskach, które nie oferują opcji RAID programowego, takich jak VMware ESXi, klienci nie mogą łatwo agregować pamięci masowej ani chronić jej za pomocą RAID. Chociaż vSAN można łatwo wdrożyć na poziomie klastra, nie można go używać w przypadku samodzielnego węzła ESXi na brzegu sieci. W takich przypadkach klienci mogą chcieć skorzystać z zalet łączenia wielu dysków SSD w RAID, aby uzyskać większy magazyn danych lub zapewnić pewną odporność danych.
Nawet w systemie Windows, który oferuje przestrzeń dyskową dla poszczególnych serwerów, niektóre typy RAID-ów programowych, takie jak RAID 5/6, znacząco tracą na wydajności. W przeszłości sprzętowy RAID był skutecznym rozwiązaniem niwelującym różnice w wydajności między urządzeniami SAS i SATA. MegaRAID 9670W ma to zmienić w przypadku urządzeń NVMe.
Platforma testowa Broadcom MegaRAID 9670W-16i
Na potrzeby tej recenzji współpracowaliśmy z firmami Micron, Supermicro i Broadcom, aby zbudować platformę testową. Serwer to system Supermicro AS-1114S-WN10RT o wysokości 1U z procesorem AMD Milan 7643 i 128 GB pamięci DDR4. Wewnątrz systemu znajduje się serwer 9670W-16i, podłączony do dwóch 8-zatokowych dysków JBOD NVMe. W każdym z nich znajduje się 8 dysków SSD Micron 7450 o pojemności 6.4 TB.
Aby zmierzyć wydajność dysków za pośrednictwem adaptera MegaRAID 9670W-16i, testy podzielono na następujące konfiguracje. Pierwsza obejmowała konfigurację JBOD mierzącą każdy dysk poza RAID (ale nadal przez kontroler HBA), następnie konfiguracje RAID10, a następnie RAID5. Konfiguracje te zostały poddane procesowi skryptowemu w celu wstępnego przygotowania pamięci flash, uruchomienia testów, do których zostały przygotowane, i przejścia do kolejnej kombinacji wstępnego przygotowania i obciążenia. Cały proces trwał łącznie około 16 godzin.
- Całkowity czas trwania testu wyniósł około 16 godzin w następującej kolejności:
- Sekwencyjne prekondycjonowanie (~2:15)
- Sekwencyjne testy na 16x JBOD, 2x 8DR10, 2x 8DR5 (~2 godziny)
- Losowe warunkowanie wstępne – 2 części (~4:30)
- Losowe testy optymalne na 16x JBOD, 2x 8DR10, 2x 8DR5 (~3 godziny)
- Losowe testy odbudowy na 1x 16DR10, 1x 16DR5 (~2:30)
- Losowe opóźnienie zapisu dla optymalizacji i przebudowy dla 1x 16DR5 (~1:40)
Pierwsza sekcja metryk wydajności koncentruje się na przepustowości karty w trybach JBOD, RAID10 i RAID5. Dzięki karcie MegaRAID 9670W-16i z gniazdem PCIe Gen4 x16, jej maksymalna wydajność wyniesie około 28 GB/s w jedną stronę i to właśnie na tym poziomie gniazdo Gen4 osiąga maksymalną wydajność. Dla porównania, dysk SSD U.2 Gen4 podłączany przez złącze x4 może osiągnąć maksymalną przepustowość około 7 GB/s, co jest wartością maksymalną dla większości dysków klasy enterprise w przypadku obciążeń odczytu.
Mimo to, MegaRAID 9670W całkowicie wykorzystuje potencjał podłączonego gniazda. Patrząc na wydajność odczytu, konfiguracja JBOD osiąga 28.3 GB/s z RAID10, a RAID5 jest nieznacznie gorszy, osiągając 28 GB/s. Przechodząc do wydajności zapisu, bazowa wartość JBOD wynosi 26.7 GB/s, podczas gdy konfiguracja RAID10 osiągnęła 10.1 GB/s, a RAID5 13.2 GB/s. Przy podziale 50:50 jednoczesnego odczytu i zapisu, konfiguracja JBOD osiągnęła 41.6 GB/s, RAID10 19.6 GB/s, a RAID5 25.8 GB/s.
| Obciążenie pracą | JBOD (MB/s) | RAID 10 – optymalnie (MB/s) | RAID 5 – optymalnie (MB/s) |
|---|---|---|---|
| Maksymalna liczba odczytów sekwencyjnych | 28,314 | 28,061 | 28,061 |
| Maksymalna liczba zapisów sekwencyjnych | 26,673 | 10,137 | 13,218 |
| Maksymalnie 50:50 Sekw. Odczytów:Zapisów | 41,607 | 19,639 | 25,833 |
Przechodząc do losowych transferów małych bloków, zauważyliśmy, że MegaRAID 9670W radził sobie całkiem dobrze pod względem wydajności odczytu w porównaniu z bazową wartością JBOD wynoszącą 7 mln IOPS. Prędkość ta spadała o około połowę (3.2 mln IOPS) podczas operacji odbudowy, gdy jeden z dysków SSD w grupie RAID uległ awarii. Patrząc na losową wydajność zapisu, bazowa wartość JBOD wyniosła 6.3 mln IOPS, w porównaniu z 2.2 mln dla RAID10 i 1 mln dla RAID5. Wartości te nie uległy znacznemu spadkowi, gdy dysk SSD w grupie uległ awarii, a karta RAID została zmuszona do odbudowy. W tej sytuacji RAID10 nie uległ zmianie, podczas gdy RAID5 spadł z 1 mln do 788 tys. IOPS.
W obciążeniu OLTP 4K z mieszaną wydajnością odczytu i zapisu, bazowa wartość JBOD wyniosła 7.8 mln IOPS, w porównaniu z RAID10 z 5.6 mln IOPS i RAID5 z 2.8 mln IOPS. Podczas odbudowy, RAID10 spadł z 5.6 mln IOPS do 2.4 mln IOPS, a RAID5 z 2.8 mln IOPS do 1.8 mln IOPS.
| Obciążenie pracą | JBOD | RAID 10 – Optymalny | RAID 5 – Optymalny | RAID 10 – Odbudowa | RAID 5 – Odbudowa |
|---|---|---|---|---|---|
| 4 KB losowych odczytów (IOP) | 7,017,041 | 7,006,027 | 6,991,181 | 3,312,304 | 3,250,371 |
| 4 KB losowych zapisów (IOP) | 6,263,549 | 2,167,101 | 1,001,826 | 2,182,173 | 788,085 |
| 4 KB OLTP (IOP) | 7,780,295 | 5,614,088 | 2,765,867 | 2,376,036 | 1,786,743 |
Kolejnym ważnym aspektem wydajności RAID jest to, jak dobrze pamięć masowa zachowuje się w warunkach optymalnych i jak dobrze radzi sobie z odbudową w przypadku awarii dysku. Jeśli wydajność lub opóźnienia ulegną znacznemu pogorszeniu, responsywność aplikacji może stać się problemem. W tym celu skupiliśmy się na losowym opóźnieniu zapisu RAID5 4K w trybie optymalnym i odbudowy. W całym spektrum opóźnienia pozostały dość zbliżone, co jest dokładnie tym, czego oczekujemy od systemu pamięci masowej w środowisku produkcyjnym.
Oceniliśmy nie tylko ogólną wydajność każdego trybu za pomocą metryk wydajności w danym momencie, które obejmowały również wydajność karty RAID podczas operacji odbudowy, ale także przeprowadziliśmy testy, aby określić całkowity czas potrzebny na odbudowę. W przypadku RAID10, usunięcie dysku SSD o pojemności 6.4 TB z grupy RAID i ponowne jego włożenie zajęło 60.7 minuty dla RAID10 z prędkością odbudowy 10.4 min/TB. Grupa RAID5 potrzebowała 82.3 minuty z prędkością 14.1 min/TB.
Uwagi końcowe
Szczerze mówiąc, przystąpiliśmy do tej recenzji z lekkim przechyleniem głowy i uniesioną brwią. Od jakiegoś czasu nie słyszeliśmy żadnej reklamy kart RAID dla dysków SSD NVMe, poza rozwijającą się kategorią rozwiązań projektowanych z myślą o procesorach graficznych. Musieliśmy więc zadać sobie fundamentalne pytanie: czy sprzętowy RAID w ogóle sprawdzi się w przypadku dysków SSD NVMe?
Odpowiedź brzmi: zdecydowanie tak. Wydajność PCIe Gen4 pozwala karcie MegaRAID 9670W-16i RAID dotrzymać kroku nowoczesnym dyskom SSD w przypadku różnych obciążeń. Owszem, niektóre obszary, takie jak przepustowość, będą ograniczone przez mniejszą liczbę linii PCIe, ale ponownie, większość środowisk produkcyjnych nie osiąga takich poziomów.
W zakresie przepustowości szczytowej karta MegaRAID 9670W-16i osiągnęła maksymalną przepustowość 28 GB/s dla odczytu na poziomie x16 PCIe Gen4 i do 13 GB/s dla zapisu w RAID5. Jeśli chodzi o przepustowość, losowy odczyt 4K osiągnął 7 mln IOPS, a zapis od 1 do 2.1 mln IOPS między RAID5 a RAID10. W przypadku wdrożeń wymagających konsolidacji pamięci flash w większe wolumeny lub obejścia systemów, które nie obsługują programowego RAID, karta MegaRAID 9670W ma wiele do zaoferowania.
Jeśli uwielbiasz adaptery pamięci masowej, wkrótce znajdziesz więcej tego typu informacji. Przyglądamy się już serwerom najnowszej generacji, takim jak Dell PowerEdge R760, który oferuje konfigurację z dwiema kartami RAID, opartą na tym samym krzemie co ta karta. W obudowie R760 Dell dołącza do każdej karty 8 dysków SSD NVMe, co daje nam bardziej solidne rozwiązanie klasy korporacyjnej niż to, które testowaliśmy tutaj w ramach walidacji. Wygląda więc na to, że karty RAID wracają do oferty serwerów z dyskami SSD NVMe.
Amazon