Macierz współdzielonej pamięci masowej Mangstor NX6325 NVMe Over Fabrics (NVMf) oferuje do 21.6 TB pamięci flash w serwerze HP DL380 2U. Podobnie jak testowany przez nas wcześniej w tym roku model NX6320 , NX6325 agreguje dyski NVMe z kartami rozszerzeń (AIC) firmy Mangstor i udostępnia je za pośrednictwem sieci. Dzięki temu aplikacje wrażliwe na opóźnienia mogą korzystać ze wszystkich zalet pamięci masowej NVMe, bez konieczności instalowania karty AIC w każdym serwerze. W połączeniu z przełącznikiem Mellanox SN2700 100 GbE i technologią ConnectX4 (Ethernet lub InfiniBand), NX6325 oferuje imponujące możliwości, oferując deklarowaną wydajność odczytu na poziomie 12 GB/s i zapisu na poziomie 9 GB/s z pojedynczej macierzy.
Za koordynację pamięci masowej odpowiada oprogramowanie TITAN firmy Mangstor. Wczesną wersję TITAN widzieliśmy w modelu NX6320; Mangstor udostępnił je na początku tego miesiąca . W swojej istocie TITAN zapewnia ścisłą integrację dysków SSD NVMe z kartami sieciowymi (NIC) RDMA (Remote Direct Memory Access), jednocześnie efektywnie wykorzystując możliwości serwera HPE. TITAN umożliwia menedżerom IT dynamiczne dostarczanie pamięci flash zarówno lokalnie, jak i zdalnie, dzięki scentralizowanemu zarządzaniu. Wśród dostępnych funkcji znajdują się również buforowanie pamięci masowej i zarządzanie klastrami. TITAN oferuje interfejs API REST i narzędzia graficzne, które umożliwiają menedżerom IT łatwe wdrażanie i zarządzanie dużymi klastrami pamięci masowej NVMf.
Mangstor oferuje dwie opcje pojemności skonfigurowane dla Ethernetu lub InfiniBand. Kupujący mogą wybierać między systemem o pojemności 10.8 TB i czterema dyskami 2.7 TB lub systemem o pojemności 21.6 TB i czterema dyskami 5.4 TB. Nasz testowany system to konfiguracja Ethernetu 10.8 TB.
Specyfikacja Mangstor NX6325
- Macierze pamięci flash
- Ethernet
- NX6325R-016TF-2P100GQSF, 10.8 TB (4 dyski SSD o pojemności 2.7 TB)
- NX6325R-032TF-2P100GQSF, 21.6 TB (4 dyski SSD o pojemności 5.4 TB)
- InfiniBand
- NX6325I-016TF-2P100GQSF, 10.8 TB (4 dyski SSD o pojemności 2.7 TB)
- NX6325I-032TF-2P100GQSF, 21.6 TB (4 dyski SSD o pojemności 5.4 TB)
- Ethernet
- Przepustowość Rd/Wr (GB/s): 12.0 / 9.0
- Przepustowość Rd/Wr (4K) (IOPS): 3.0 M / 2.25 M
- Zasilanie
- 450 W typowo
- Maksymalna moc szczytowa 800 W
- Łączność we/wy
- 2x100 Gb/s QSFP Ethernet
- 2x100 Gb/s QSFP InfiniBand
- Opóźnienie odczytu/zapisu: 110 uS / 30 uS
- Atrybuty urządzenia
- Montaż w szafie 2U (wys. x szer. x gł.): 3.44 x 17.54 x 26.75 cala (8.73 x 44.55 x 67.94 cm)
- Napięcie zasilania: 100 do 240 V AC, 50/60 Hz – 800 W Zasilacz nadmiarowy
- Rozpraszanie ciepła (BTU/godz.): 3207 BTU/godz. (przy 100 VAC), 3071 BTU/godz. (przy 200 VAC), 3112 BTU/godz. (przy 240 VAC)
- Maksymalny prąd rozruchowy: 30 A (czas trwania 10 ms)
- Przybliżona waga: 51.5 funta (23.6 kg) w pełni wyposażony
- Środowisko
- Standardowe wsparcie operacyjne: od 10° do 35°C (od 50° do 95°F) na poziomie morza ze spadkiem wartości granicznej wysokości o 1.0°C na każde 305 m (1.8°F na każde 1000 stóp) nad poziomem morza do maksymalnie 3050 m (10 000 stóp)
- Wilgotność: Wilgotność względna (Rh) w stanie spoczynku od 5 do 95%, maksymalna temperatura mokrego termometru 38.7°C (101.7°F), bez kondensacji
- Obsługa protokołów Fabric: RDMA przez konwergentny Ethernet (RoCE), InfniBand, iWARP
- Obsługa systemów operacyjnych klienta: RHEL, SLES, CentOS, Ubuntu, Windows, VMware ESXi 6.0 (VMDirectPath)
- Zarządzanie operacyjne: CLI, RESTful API, OpenStack Cinder
- Gwarancja na macierz i dysk SSD: 5 lat na sprzęt; 90 dni na oprogramowanie podstawowe
- Gwarancja na oprogramowanie: objęta opcjami serwisu i wsparcia na poziomie Gold lub Platinum na okres 1 roku, 3 lat lub 5 lat
Budowa i projektowanie
W recenzowanej wcześniej macierzy NX6320 firma Mangstor wykorzystała platformę opartą na Dell R730. Tym razem, w modelu NX6325, firma korzysta z serwera HPE ProLiant DL380 Gen9. Choć na pierwszy rzut oka zmiana wydaje się „podobna”, jest ona istotna dla klientów, którzy chcą wdrożyć sieć Ethernet 100 Gb/s lub Infiniband, maksymalnie wykorzystując potencjał pamięci masowej. Dell R730 oferuje 7 gniazd PCIe 3.0: cztery x16 o pełnej wysokości i trzy x8 o połowie wysokości. HPE DL380 Gen9 ma tylko 6 gniazd rozszerzeń PCIe 3.0, chociaż z odpowiednim zestawem podwyższającym PCIe użytkownicy mogą stworzyć konfigurację z sześcioma gniazdami x16 o pełnej wysokości.
Ta różnica jest znacząca, ponieważ karty oferowane przez Mangstor to dyski SSD PCIe o pełnej wysokości, a karty sieciowe 100GbE Mellanox ConnectX-4 to gniazda x16. W konfiguracji Dell użytkownicy musieliby usunąć jeden dysk SSD PCIe, aby zmieścić kartę 100GbE, podczas gdy w konfiguracji HPE użytkownicy mogą wyposażyć system w 4 dyski SSD PCIe i dwie karty sieciowe 100GbE jednocześnie. Jest to mniej dyskusja o tym, który serwer jest lepszy od drugiego, a raczej analiza tego, który serwer lepiej współpracuje z tą dość unikalną kombinacją kart. Mangstor zwraca uwagę, że dla klientów chcących korzystać z 40Gb Ethernetu lub 56Gb Infinibandu, zarówno produkty NX6320, jak i NX6325 oferują równoważne funkcje i wydajność. Ponieważ w tej recenzji testujemy 100Gb Ethernet, NX6325 jest właściwym wyborem.
Wydajność Sysbench
Każda maszyna wirtualna Sysbench jest skonfigurowana z trzema dyskami wirtualnymi: jednym do rozruchu (~92 GB), jednym z preinstalowaną bazą danych (~447 GB) i trzecim dla testowanej bazy danych (307 GB). Jednostki LUN są równo podzielone, co odpowiada 90% dostępnej pamięci masowej (11 TB), aby odpowiednio pomieścić bazę danych (o rozmiarze 253 GB). Z perspektywy zasobów systemowych, skonfigurowaliśmy każdą maszynę wirtualną z 16 procesorami wirtualnymi, 60 GB pamięci DRAM i wykorzystaliśmy kontroler LSI Logic SAS SCSI. Systemy generacji obciążenia to serwery Dell R730 ; w tym przeglądzie używamy od czterech do ośmiu serwerów, skalując serwery na grupę 4 maszyn wirtualnych.
Specyfikacje klastra 8-węzłowego Dell PowerEdge R730
- Serwery Dell PowerEdge R730 (x8)
- Procesory: Szesnaście Intel Xeon E5-2690 v3 2.6 GHz (12 rdzeni/24 wątki)
- Pamięć: 128 x 16 GB DDR4 RDIMM
- Mellanox ConnectX-4 LX
- VMware ESXi 6.0
W naszej poprzedniej recenzji serwera Mangstor NX6320 wykorzystaliśmy karty Mellanox ConnectX-3 i sterowniki OFED ESXi 6.0, gdzie do każdej maszyny wirtualnej przypisano jedną kartę (ograniczając skalę projektu do liczby dostępnych kart sieciowych). Obecna wersja NX6325 z kartami Mellanox ConnectX-4 LX i najnowszymi sterownikami SRIOV pozwoliła nam współdzielić wiele adapterów wirtualnych z maksymalnie 4 maszynami wirtualnymi jednocześnie. Dzięki jednej karcie przydzielonej do serwera, użyliśmy tej konfiguracji, aby umożliwić nam skalowanie do testowania łącznie 32 maszyn wirtualnych.
Przy pełnym obciążeniu 32 maszyn wirtualnych każdy serwer osiągnął poziom wykorzystania procesora na poziomie około 86%.
Konfiguracja testów Sysbench (na maszynę wirtualną)
- CentOS 6.3 64-bit
- Zajęta przestrzeń dyskowa: 1 TB, wykorzystane 800 GB
- Percona XtraDB 5.5.30-rel30.1
- Tabele bazy danych: 100
- Rozmiar bazy danych: 10 000 000
- Wątki bazy danych: 32
- Bufor RAM: 24 GB
- Długość testu: 3 godziny
- 2 godziny wstępnego kondycjonowania 32 wątków
- 1 godzina 32 wątki
W naszym teście Sysbench OLTP, podnieśliśmy macierz z niewielkiego obciążenia 4 maszyn wirtualnych do punktu całkowitego nasycenia przy 32 maszynach wirtualnych. Mangstor NX6325 pobił kilka imponujących rekordów. Przede wszystkim oferował najwyższą wydajność w Sysbench, bez lokalnie podłączonej pamięci flash, a w porównaniu z czymkolwiek innym, co testowaliśmy, podniósł poprzeczkę ponad dwukrotnie. NX6325 osiągnął maksymalną wydajność 38 673 TPS, podczas gdy poprzedni rekordzista nowoczesnego rozwiązania pamięci masowej flash ze współdzieloną pamięcią masową osiągnął „tylko” 17 316 TPS.
Patrząc na opóźnienie, stwierdzamy, że NX6325 radził sobie bardzo dobrze pod obciążeniem, utrzymując ogólne opóźnienie transakcyjne w zakresie od 14.3 ms przy 4 maszynach wirtualnych do 26.6 ms przy 32 maszynach wirtualnych. Tak więc, mimo ośmiokrotnego wzrostu obciążenia, opóźnienie nawet się nie podwoiło.
Patrząc na opóźnienie graniczne z naszymi danymi z 99. percentyla, Mangstor NX6325 radził sobie całkiem dobrze pod obciążeniem. Obserwowaliśmy powolny wzrost wartości wraz ze wzrostem ogólnego obciążenia, ale nie nastąpił gwałtowny wzrost.
Wniosek
Macierz współdzielonej pamięci masowej Mangstor NX6325 NVMe Over Fabrics (NVMf) to jeden z pierwszych dostępnych komercyjnie systemów, który umożliwia wyprowadzenie bardzo szybkiej pamięci masowej NVMe z serwerów aplikacji i umieszczenie jej w obudowie, z której może korzystać cały klaster serwerów. W tym przypadku testowany przez nas model NX6325 oferuje do 10.8 TB pamięci masowej NVMe w serwerze HPE ProLiant DL380 Gen9, w strukturze składającej się z przełącznika Mellanox SN2700 100 GbE i kart ConnectX4 LX. Rezultatem jest absolutnie oszałamiający zestaw, który jest najszybszą współdzieloną pamięcią masową, jaka kiedykolwiek trafiła do laboratorium. Prawdę mówiąc, nie da się go bezpośrednio porównać z innymi szybkimi rozwiązaniami, z którymi mieliśmy do czynienia (takimi jak bardziej tradycyjna macierz SAN all-flash), dlatego należy wyjaśnić kilka kwestii.
NVMf to wciąż bardzo młoda koncepcja pod względem wdrożenia. Mangstor, z kolei, jest na bardzo zaawansowanym etapie rozwoju, a w przypadku aplikacji wrażliwych na opóźnienia rezultaty są fenomenalne. Kilka aspektów musi jeszcze dojrzeć, aby zastąpić technologię SAN na całym świecie, ale w przypadku kluczowych obciążeń jest to fantastyczne rozwiązanie. W porównaniu z innymi rozwiązaniami NVMf, Mangstor wykorzystuje istniejący Ethernet lub IB dla struktury, co czyni go bardziej kompatybilnym niż niektóre rozwiązania wykorzystujące niestandardowy sprzęt. Należy również zauważyć, że sposób prezentacji pamięci masowej w tej macierzy nie zapewnia ochrony przed awarią dysku SSD PCIe. Macierz jest skonfigurowana w RAID0 w celu zapewnienia maksymalnej wydajności i pojemności. Istnieją aplikacje, które mogą poradzić sobie z takimi systemami, ale w przypadku tradycyjnych obciążeń należy podkreślić, że ta macierz nie jest rozwiązaniem uniwersalnym.
Analizując wydajność w naszym teście Sysbench OLTP, zaobserwowaliśmy niezwykłe wyniki. Przy 4 maszynach wirtualnych łączna wydajność TPS była wyższa niż oferowana przez większość macierzy lub lokalnie podłączona pamięć flash NVMe. Zwiększając obciążenie poprzez zwiększenie liczby maszyn wirtualnych, zaobserwowaliśmy dalszy wzrost łącznej wydajności, aż przewyższyła ona o ponad połowę najbliższe rozwiązanie pamięci flash współdzielonej. Główną wadą naszego środowiska jest obecnie obsługa sterowników, która uniemożliwia jego wykorzystanie jako współdzielonego magazynu danych VMware. Wiąże się to z pewnymi wyzwaniami, takimi jak migracja maszyn wirtualnych (powiązanie z wirtualnym urządzeniem sieciowym) lub obsługa systemu operacyjnego gościa, która obecnie koncentruje się wokół systemu Linux. Jednak dla użytkowników, którzy potrafią obejść te ograniczenia, Mangstor NX6325 otwiera drzwi do poziomów wydajności, z którymi niewiele, jeśli w ogóle, konkurencyjnych rozwiązań może się równać.
ZALETY
- Wykorzystuje cały potencjał wydajnościowy NVMe i udostępnia go za pośrednictwem szybkiej sieci
- Najszybsze rozwiązanie do współdzielonej pamięci masowej, jakie do tej pory testowaliśmy
- Nie jest powiązany ze sprzętem dostosowanym do struktury sieci
Wady
- Wymaga dużej ilości ręcznej konfiguracji
Bottom Line
Macierz pamięci masowej NVMe Over Fabrics (NVMf) Mangstor NX6325 zapewnia wyjątkowo szybką pracę pamięci flash NVMe w ramach współdzielonej struktury Ethernet.
Amazon