Mangstor NX6325 NVMf Array granskning

by StorageReview Enterprise Lab on August 28, 2016

Den delade lagringsmatrisen Mangstor NX6325 NVMe Over Fabrics (NVMf) erbjuder upp till 21.6 TB flashlagring i en HP DL380 2U-server. Liksom NX6320 som vi recenserade tidigare i år , aggregerar NX6325 Mangstors tilläggskort (AIC) NVMe-enheter och delar dem över nätverket. Detta gör det möjligt för latenskänsliga applikationer att dra nytta av alla de fantastiska fördelarna med NVMe-lagring, utan att behöva ha en AIC inuti varje server. I kombination med Mellanox SN2700 100GbE-switchen och ConnectX4 (Ethernet eller InfiniBand) har NX6325 imponerande funktioner och erbjuder rapporterade läsprestanda på 12 GB/s och skrivhastigheter på 9 GB/s från en enda matris.

Mangstors TITAN-programvara orkestrerar lagringen. Vi såg en tidig version av TITAN i NX6320; Mangstor gjorde programvaran allmänt tillgänglig tidigare denna månad . I grund och botten erbjuder TITAN en tät integration mellan NVMe SSD-diskar och RDMA-nätverkskort (NIC) för fjärråtkomst (Remote Direct Memory Access), samtidigt som HPE-serverfunktionerna används effektivt. TITAN gör det möjligt för IT-chefer att dynamiskt provisionera flashminne både lokalt eller på distans med centraliserad hantering. Funktionerna inkluderar även funktioner som lagringscaching och klusterhantering, och TITAN erbjuder ett REST API och GUI-verktyg som gör det möjligt för IT-chefer att enkelt distribuera och hantera stora kluster av NVMf-lagring.

Mangstor erbjuder två kapacitetsalternativ konfigurerade för antingen Ethernet eller InfiniBand. Köpare kan välja mellan ett 10.8 TB-system konfigurerat med fyra 2.7 TB-enheter eller ett 21.6 TB-system med fyra 5.4 TB-enheter. Vårt granskningssystem är 10.8 TB Ethernet-konfigurationen.

Mangstor NX6325 Specifikationer

Flash Storage Arrays
- ethernet
  - NX6325R-016TF-2P100GQSF, 10.8 TB (4 x 2.7 TB SSD)
  - NX6325R-032TF-2P100GQSF, 21.6 TB (4 x 5.4 TB SSD)
- InfiniBand
  - NX6325I-016TF-2P100GQSF, 10.8 TB (4 x 2.7 TB SSD)
  - NX6325I-032TF-2P100GQSF, 21.6 TB (4 x 5.4 TB SSD)
Bandbredd Rd/Wr (GB/s): 12.0 / 9.0
Genomströmning Rd/Wr (4K) (IOPS): 3.0M / 2.25M
Effekt
- 450 W Typiskt
- Maximal toppeffekt 800W
I/O-anslutning
- 2x100Gb/s QSFP Ethernet
- 2x100Gb/s QSFP InfiniBand
Läs-/skrivfördröjning: 110uS / 30uS
Apparatattribut
- 2U rackmontering (HxBxD): 3.44 x 17.54 x 26.75 tum (8.73 x 44.55 x 67.94 cm)
- Matningsspänning: 100 till 240 VAC, 50/60 Hz – 800W redundant strömförsörjning
- Värmeavledning (BTU/h): 3207 BTU/h (vid 100 VAC), 3071 BTU/h (vid 200 VAC), 3112 BTU/h (vid 240 VAC)
- Maximal startström: 30A (längd 10ms)
- Ungefärlig vikt: 51.5 lb (23.6 kg) fullt befolkat
Miljö
- Standarddriftstöd: 10° till 35°C (50° till 95°F) vid havsytan med en höjdnedsättning på 1.0°C per 305:e m (1.8°F per 1000 fot) över havet till maximalt 3050 m (10,000 XNUMX fot)
- Luftfuktighet: Ej i drift 5 till 95 % relativ luftfuktighet (Rh), 38.7°C (101.7°F) maximal våtlampatemperatur, icke-kondenserande
Stöd för tygprotokoll: RDMA over Converged Ethernet (RoCE), InfniBand, iWARP
Support för klientoperativsystem: RHEL, SLES, CentOS, Ubuntu, Windows, VMware ESXi 6.0 (VMDirectPath)
Operationell ledning: CLI, RESTful API, OpenStack Cinder
Array & SSD-garanti: Hårdvara 5 år; Basprogramvara 90 dagar
Programvarugaranti: Täcks under 1-, 3-, 5-års guld- eller platinanivå Service och supportalternativ

Bygg och design

I den tidigare granskade NX6320-arrayen utnyttjade Mangstor en Dell R730-baserad plattform. Den här gången, med NX6325, använder de en HPE ProLiant DL380 Gen9. Även om flytten på ytan verkar "som för lika", är förändringen betydande för kunder som vill distribuera 100 Gb Ethernet eller Infiniband, vilket pressar lagringspotentialen till max. Dell R730 har 7 PCIe 3.0-platser; fyra Full Height x16 och tre Half Height x8. HPE DL380 Gen9 har bara 6 PCIe 3.0-expansionsplatser, men med ett lämpligt PCIe-riser-kit kan användare skapa en konfiguration med sex Full Height x16-platser.

Den skillnaden är betydande, eftersom korten Mangstor erbjuder är Full Height PCIe SSD, och 100GbE Mellanox ConnectX-4 NIC är x16-platser. I Dell-konfigurationen skulle användarna behöva släppa en PCIe SSD för att passa i 100GbE-kortet, medan i HPE-konfigurationen kan användare utrusta systemet med 4 PCIe SSD och två 100GbE NIC samtidigt. Detta är mindre ett argument om vilken server som är bättre än den andra, utan snarare en analys om vilken server som fungerar bättre med denna ganska unika kortkombination. Mangstor påpekar att för kunder som vill använda 40Gb Ethernet eller 56Gb Infiniband, levererar både NX6320- och NX6325-produkterna likvärdiga funktioner och prestanda. Eftersom vi testar 100 Gb Ethernet i den här recensionen är NX6325 det rätta valet.

Sysbench Performance

Varje Sysbench VM är konfigurerad med tre virtuella diskar, en för start (~92 GB), en med den förbyggda databasen (~447 GB) och den tredje för databasen som testas (307 GB). LUN:erna är jämnt fördelade med 90 % av det användbara lagringsutrymmet (11 TB) för att tillräckligt passa databasen (253 GB stor). Ur ett systemresursperspektiv konfigurerade vi varje virtuell maskin med 16 virtuella processorer, 60 GB DRAM och utnyttjade LSI Logic SAS SCSI-styrenheten. Lastgenereringssystemen är Dell R730-servrar ; vi använder fyra till åtta i den här recensionen, vilket skalar servrar per 4VM-grupp.

Dell PowerEdge R730 8-nods klusterspecifikationer

Dell PowerEdge R730-servrar (x8)
CPU:er: Sexton Intel Xeon E5-2690 v3 2.6 GHz (12C/24T)
Minne: 128 x 16 GB DDR4 RDIMM
Mellanox ConnectX-4 LX
VMware ESXi 6.0

Vår tidigare granskning av Mangstor NX6320 utnyttjade Mellanox ConnectX-3-kort och OFED ESXi 6.0-drivrutiner, där ett kort tilldelades varje virtuell dator (som begränsar vår skala till antalet NIC till hands). Den nuvarande iterationen av NX6325 med Mellanox ConnectX-4 LX-kort och de senaste SRIOV-drivrutinerna gjorde det möjligt för oss att dela flera virtuella adaptrar med upp till 4 virtuella datorer samtidigt. Med ett kort tilldelat per server använde vi den här konfigurationen för att tillåta oss att skala upp till att testa totalt 32 virtuella datorer.

Under en full belastning på 32VM såg vi varje server utjämnas med ungefär 86 % CPU-användning.

Sysbench-testkonfiguration (per virtuell dator)

CentOS 6.3 64-bitars
Lagringsutrymme: 1 TB, 800 GB använt
Percona XtraDB 5.5.30-rel30.1
- Databastabeller: 100
- Databasstorlek: 10,000,000 XNUMX XNUMX
- Databastrådar: 32
- RAM-buffert: 24GB
Testlängd: 3 timmar
- 2 timmar förkonditionering 32 trådar
- 1 timme 32 trådar

I vårt Sysbench OLTP-test tog vi arrayen från en liten belastning på 4VMs upp till en total mättnadspunkt med 32VMs. Mangstor NX6325 slog några imponerande rekord. Till att börja med erbjöd den den snabbaste prestandan i Sysbench som inte var lokalt fäst blixt, och jämfört med något annat vi någonsin har testat höjde den ribban med mer än en faktor två. NX6325 toppade på 38,673 17,316 TPS, medan den tidigare rekordhållaren för en modern flash-lösning för delad lagring kom in på "bara" XNUMX XNUMX TPS.

När vi tittar på latens, finner vi att NX6325 klarade sig mycket bra under belastning och höll den totala transaktionslatensen inom ett intervall på 14.3 ms vid 4 VM till 26.6 ms vid 32 VM. Så medan belastningen ökade med 8x, fördubblades inte latensen ens.

Om man tittar på fransfördröjning med våra 99:e percentilsiffror klarade Mangstor NX6325 sig ganska bra under belastning. Vi såg värdena sakta öka när den totala belastningen gick upp, men ingenting steg dramatiskt.

Slutsats

Mangstor NX6325 NVMe Over Fabrics (NVMf) delad lagringsuppsättning är ett av de första kommersiellt tillgängliga systemen som gör att mycket snabb NVMe-lagring kan tas ut från applikationsservrarna och läggas i en låda där den kan utnyttjas av ett helt kluster av servrar . I det här fallet erbjuder NX6325 som vi granskar upp till 10.8 TB NVMe-lagring i en HPE ProLiant DL380 Gen9, över ett tyg som består av en Mellanox SN2700 100GbE-switch och ConnectX4 LX-adapterkort. Nettoresultatet är ett paket som är helt brännande till den grad att det är den snabbaste delade lagring som någonsin kommit till labbet. För att vara rättvis är detta inte direkt jämförbart med andra snabba saker vi har sett (som det mer traditionella all flash SAN) och på grund av det måste några saker klargöras.

NVMf är fortfarande ett mycket ungt koncept vad gäller utförande. Mangstor å sin sida är väldigt långt på vägen, och för extremt latenskänsliga applikationer är resultaten fenomenala. Några saker måste fortfarande mogna för att detta ska förskjuta SAN-teknik överallt, men för viktiga arbetsbelastningar är det ett fantastiskt alternativ. Jämfört med andra NVMf-lösningar utnyttjar Mangstor befintligt Ethernet eller IB för tyget, vilket gör det mer kompatibelt än vissa som använder anpassad hårdvara. Det är också viktigt att notera att hur lagring presenteras i denna array inte erbjuder skydd mot ett PCIe SSD-fel. Arrayen är konfigurerad i RAID0 för toppprestanda och kapacitet. Det finns vissa applikationer som klarar av sådana här system, men för traditionella arbetsbelastningar måste det betonas att denna array inte är en "en storlek som passar alla."

När vi tittade på prestanda i vårt Sysbench OLTP-test såg vi extraordinära siffror. Vid 4VM var den sammanlagda TPS högre än vad de flesta arrayer erbjuder totalt, eller vad lokalt ansluten NVMe-flash kan erbjuda. När vi ökade den arbetsbelastningen genom att öka antalet virtuella datorer såg vi den sammanlagda prestandan fortsätta att klättra tills den överträffade närmaste flash-lösning för delad lagring med mer än en faktor två. Den största nackdelen för vår miljö just nu är drivrutinsstöd, vilket förhindrar att den används som en delad datalagring av VMware. Detta innebär några utmaningar, som VM-migrering (att vara bunden till en virtuell nätverksenhet) eller gäst-OS-stöd, som för närvarande är centrerat kring Linux. Men för användare som kan komma runt dessa begränsningar, öppnar Mangstor NX6325 dörren till prestandanivåer som få, om några, konkurrerande lösningar kan matcha.

Fördelar