Seria macierzy all-flash Mangstor NX (AFA) to rodzina urządzeń zaprojektowanych z myślą o zapewnieniu wydajności i niskich opóźnień technologii NVMe w środowisku współdzielonej pamięci masowej. Oczywiście, pamięć masowa współdzielona nie jest nowością, ale możliwość wykorzystania zalet technologii NVMe w środowisku współdzielonym już tak. Koncepcyjnie, technologia NVMe over Fabrics wykorzystuje moc najlepszych dysków SSD, dotychczas wykorzystywanych wyłącznie w serwerach, i udostępnia je za pośrednictwem szybkiej sieci (Ethernet lub Infiniband). W szczególności, Mangstor NX6320 wykorzystuje technologię NVMe over Fabrics z dostępem do sieci RDMA, aby zapewnić korzyści wydajnościowe aplikacjom wrażliwym na opóźnienia. Ta skalowalna pamięć masowa ma wiele zastosowań, w tym aplikacje krytyczne, bazy danych i rozwiązania HPC.
Główną zaletą Mangstor NX6320 jest możliwość współdzielenia urządzeń pamięci masowej NVMe w sieci jako bezpośrednio podłączonej pamięci blokowej dla wielu serwerów. Serwery zyskują szybkość i niskie opóźnienia lokalnej pamięci masowej bez kosztów dysków SSD NVMe w każdym serwerze. Ta możliwość zapewnia administratorom scentralizowane zarządzanie i łatwość serwisowania.
NX6320 bazuje na konfigurowalnym programowo dysku SSD MX6300 NVMe firmy Mangstor , połączonym z pakietem pamięci masowej TITAN. Dysk MX6300, który recenzowaliśmy wcześniej, znacząco różni się od innych dysków SSD, ponieważ pozwala użytkownikowi skonfigurować kontroler w celu optymalizacji wykorzystania pamięci NAND, co może prowadzić do niższego zużycia energii. Oprogramowanie pamięci masowej TITAN umożliwia przekształcanie standardowych serwerów w macierze pamięci masowej all-flash za pomocą dysków SSD MX6300 NVMe. TITAN może również łączyć technologie NVMe, RDMA i wielordzeniowe, zapewniając, jak określa to Mangstor, niezrównaną przepustowość i opóźnienie dostępu do pamięci blokowej. W tym celu TITAN optymalizuje ścieżkę z sieci do MX6300, redukując obciążenie procesora.
Specyfikacja Mangstor NX6320
- Współczynnik kształtu: 2U
- Pojemność: 8TB | 12TB | 16TB | 32TB
- Przepustowość Rd/Wr (GB/s): 6.0 / 4.5 | 9.0 / 6.75 | 12.0 / 9.0 | 12.0 / 9.0
- Przepustowość Rd/Wr (4K) (IOPS): 1.5 M / 1.1 M | 2.25 M / 1.67 M | 3.0 M / 2.25 M | 3.0 M / 2.25 M
- Opóźnienie odczytu/zapisu: 110 µS / 30 µS
- Łączność we/wy
- 2×40/56 Gb/s QSFP Ethernet, 2×40 Gb/s QSFP InfiniBand | 4×40/56 Gb/s QSFP Ethernet, 4×40 Gb/s QSFP InfiniBand
- Obsługa protokołu Fabric
- RDMA przez Converged Ethernet (RoCE)
- InfiniBand
- iWARP
- Obsługa sterowników systemu operacyjnego klienta
- RHEL
- SLES
- CentOS
- Ubuntu
- Windows
- VMware ESXi 5.5/6.0 (VMDirectPath)
- Środowiskowy
- Temperatura wlotowa 10 – 35°C (50 – 95°F)
- Wysokość: od 0 do 7,500 stóp
- Wilgotność: 5-95% (bez kondensacji)
- Gwarancja: Sprzęt 5 lat; Oprogramowanie podstawowe 90 dni
- Moc: 350 W | 400 W | 450 W | 450 W
Budowa i projektowanie
Pod jasnoniebieską ramką Mangstor wykorzystuje serwer Dell PowerEdge 13G R730 jako rdzeń NX6320. Wykorzystanie serwera Tier 1 ma oczywiście swoje zalety, w tym wysoką kompatybilność sprzętową i odpowiednie sterowniki, a także opcje zarządzania, takie jak iDRAC, umożliwiające masowe wdrożenia.
Pod spersonalizowaną ramką kryje się to, czego można oczekiwać od Poweredge R730. Z przodu urządzenia znajduje się złącze wideo, etykieta informacyjna, gniazdo na kartę pamięci vFlash, złącze USB oraz port zarządzania USB/iDRAC Direct. Obecny jest również przycisk zasilania (i wskaźnik zasilania) oraz przycisk NMI, który służy do rozwiązywania problemów z oprogramowaniem i sterownikami urządzeń w niektórych systemach operacyjnych. Większość panelu przedniego zajmują wnęki na napędy, które Mangstor będzie mógł wykorzystać do zwiększenia pojemności w przyszłych wersjach produktu.
Od lewej do prawej, tylny panel zawiera przycisk identyfikacji systemu, złącze identyfikacji systemu oraz port iDRAC8 Enterprise. Widoczne są również gniazda PCIe, które w naszej konfiguracji obejmują różnorodne karty sieciowe Mellanox Ethernet (40G i 100G), a także trzy dyski SSD NVMe z serii MX6300. Dostępne są również złącza szeregowe, wideo (VGA) i dwa złącza USB, a cztery złącza Ethernet oferują łączność z kartami sieciowymi 10/100/1000 Mb/s.
Wydajność Sysbench
Aby zmierzyć wydajność 12-terabajtowej wersji macierzy NX6320 NVMe over Fabrics All-Flash firmy Mangstor, wykorzystaliśmy klaster obliczeniowy Dell PowerEdge 13G R730. Każdy serwer miał cztery karty sieciowe Mellanox ConnectX-3 Pro skonfigurowane w trybie pass-through w ESXI 6.0 i podłączone do konkretnych maszyn wirtualnych w naszym środowisku testowym Sysbench. Test ten zapewnił solidne wsparcie sterowników, dlatego skupiliśmy się na nim w testach wydajnościowych.
W naszym układzie testowym przetestowaliśmy jedną statyczną konfigurację 8 maszyn wirtualnych Sysbench. O ile macierz NX6320 z łatwością obsłużyłaby więcej, zarówno pod względem pojemności, jak i wydajności, sterownik OFED ESXi 6.0 karty sieciowej Mellanox ConnectX-3 Pro w trybie passthrough obsługuje tylko połączenie jednej fizycznej karty sieciowej z jedną maszyną wirtualną. Z zaledwie 8 kartami sieciowymi ConnectX-3 Pro w laboratorium, nasza największa obsługiwana konfiguracja obejmowała 8 maszyn wirtualnych. Mellanox i Mangstor pracują nad obsługą sterownika OFED ESXi 6.0 karty ConnectX-4, dzięki czemu jedna karta mogłaby obsługiwać wiele wirtualnych kart sieciowych w trybie passthrough, co dodatkowo zwiększyłoby gęstość maszyn wirtualnych. Jednak w momencie przeprowadzania testu sterowniki nie były jeszcze sfinalizowane.
Specyfikacje klastra 2-węzłowego Dell PowerEdge R730
- Serwery Dell PowerEdge R730 (x2)
- Procesory: osiem Intel Xeon E5-2690 v3 2.6 GHz (12 rdzeni/24 wątki)
- Pamięć: 32 x 16 GB DDR4 RDIMM
- Mellanox ConnectX-3 Pro
- VMware ESXi 6.0
W ramach tego testu skonfigurowaliśmy 8 maszyn wirtualnych identycznie i przeanalizowaliśmy wyniki indywidualne oraz łączne. Każda maszyna wirtualna Sysbench jest skonfigurowana z trzema dyskami wirtualnymi: jednym do rozruchu (~92 GB), jednym z predefiniowaną bazą danych (~447 GB) i trzecim dla testowanej bazy danych (400 GB). Trzeci dysk wirtualny to współdzielone urządzenie pamięci masowej NVMe.
Konfiguracja testów Sysbench (na maszynę wirtualną)
- CentOS 6.3 64-bit
- Zajęta przestrzeń dyskowa: 1 TB, wykorzystane 800 GB
- Percona XtraDB 5.5.30-rel30.1
- Tabele bazy danych: 100
- Rozmiar bazy danych: 10 000 000
- Wątki bazy danych: 32
- Bufor RAM: 24 GB
- Długość testu: 3 godziny
- 2 godziny wstępnego kondycjonowania 32 wątków
- 1 godzina 32 wątki
Nasz test Sysbench mierzy średnią liczbę transakcji na sekundę (TPS), średnie opóźnienie, a także średnie opóźnienie na poziomie 99. percentyla przy obciążeniu szczytowym 32 wątków. Analizując skalowalną liczbę transakcji na sekundę, poszczególne maszyny wirtualne Mangstor NX6320 osiągnęły wynik około 1,600 TPS (w przedziale od 1,579 do 1,600 TPS). Łączny wynik NX6320 wyniósł 12 722 TPS.
Patrząc na średnie opóźnienie, NX6320 był dość stabilny, utrzymując się na poziomie około 20 ms (w zakresie od 20.00 ms do 20.27 ms). Nic dziwnego, że łączny wynik był również bardzo stabilny i niski – 20.12 ms.
W naszym najgorszym scenariuszu opóźnień MySQL (99. percentyl opóźnienia), NX6320 po raz kolejny wykazał się wysoką i spójną wydajnością, tym razem mieszcząc się w przedziale od 35 ms do 37 ms (od 35.94 ms do 36.72 ms). Łączny wynik wyniósł 36.20 ms.
Wniosek
Mangstor NX6320 to macierz all-flash o wysokości 2U, która przenosi zalety lokalnej technologii NVMe na środowisko pamięci masowej o wysokiej wydajności i niższych opóźnieniach. Aby uzyskać te korzyści w zakresie wydajności i opóźnień, Mangstor wykorzystuje własne dyski SSD MX6300 NVMe oraz oprogramowanie TITAN. Połączenie tych dwóch technologii pozwala Mangstorowi zoptymalizować system, aby uzyskać wyższą wydajność i niższe opóźnienia. Mangstor twierdzi, że wersja NX6320-16TB charakteryzuje się wyższą wydajnością pojedynczej macierzy i stale zwiększa wydajność w miarę dodawania kolejnych macierzy. Nie jest to jednak pozbawione pewnych kompromisów. Obecnie wadą rozwiązań NVMe over Fabrics, takich jak Mangstor, jest ograniczone wsparcie sterowników w porównaniu z tradycyjnymi rozwiązaniami pamięci masowej. Chociaż wsparcie rośnie z dnia na dzień, wciąż jest wiele do zrobienia. Ta implementacja NVMe over Fabrics wymaga również nieco więcej wysiłku, aby zintegrować ją ze środowiskiem produkcyjnym.
Analizując wydajność, przeprowadziliśmy test aplikacji Sysbench na modelu NX6320 o pojemności 12 TB, z pamięcią masową przydzieloną do ośmiu identycznych maszyn wirtualnych. Podczas testu model NX6320 przekroczył nasze oczekiwania pod względem wydajności poszczególnych maszyn wirtualnych, a także spójności w obrębie grupy maszyn wirtualnych. Model NX6320 zapewnił wiodącą w branży wydajność przy 8 maszynach wirtualnych, uzyskując dwukrotną przewagę nad najbliższą testowaną przez nas dotychczas macierzą flash. Analizując przepustowość, każda maszyna wirtualna osiągnęła około 1,600 TPS, a łączny wynik wyniósł 2 12,722 TPS. Dla porównania, w naszym teście Sysbench dla 8 maszyn wirtualnych zwirtualizowanych górny limit wynosił zazwyczaj poniżej 1,000 TPS na maszynę wirtualną. Do tej pory jedynym sposobem na przekroczenie tego limitu było wykorzystanie lokalnych dysków SSD NVMe lub SAS3, których oczywiście nie da się łatwo udostępniać bez znacznego spadku wydajności. W naszym teście skalowanego średniego opóźnienia, NX6320 wahał się tylko o 0.27 ms w opóźnieniu dla wszystkich maszyn wirtualnych i łącznego wyniku. W najgorszym scenariuszu (99. percentyl opóźnienia) NX6320 ponownie uzyskał spójne wyniki, tym razem różniące się jedynie o 0.78 ms od najniższego do najwyższego.
Ostatecznie, to wciąż wczesny etap dla technologii NVMe w sieciach Fabric. Testy pokazują wczesny potencjał, ale wiele jeszcze przed nami. Rozwój sterowników trwa w stałym tempie, a dostawcy tacy jak Mellanox inwestują w pozytywne rezultaty i szerszą akceptację szybszych połączeń międzysystemowych. Seria NX w połączeniu z rozwiązaniem Mellanox 100GbE ConnectX-4 będzie wkrótce dostępna, co powinno umożliwić skalowanie do jeszcze większej liczby maszyn wirtualnych i lepszą ogólną skalowalność.
ZALETY
- Najlepsza wydajność zaobserwowana dotychczas w przypadku pamięci współdzielonej
- Stałe niskie opóźnienie w teście Sysbench
Wady
- Ograniczone wsparcie dla kierowców, ale z czasem sytuacja się poprawia
Bottom Line
Mangstor NX6320 to rozwiązanie wykorzystujące technologię NVMe over Fabrics w obudowie 2U, zapewniające wysoką wydajność i niskie opóźnienia w szerokiej gamie aplikacji i przypadków użycia, w których występują duże wrażliwości na opóźnienia.
Amazon