Mangstor NX6325 NVMf Array-recensie

De Mangstor NX6325 NVMe Over Fabrics (NVMf) gedeelde opslagarray biedt tot 21.6 TB aan flashopslag in een HP DL380 2U-server. Zoals de NX6320 hebben we eerder dit jaar getest, verzamelt de NX6325 Mangstor's add-in card (AIC) NVMe-drives en deelt ze uit via het netwerk. Hierdoor kunnen latentiegevoelige applicaties profiteren van alle grote voordelen van NVMe-opslag, zonder dat elke server een AIC hoeft te hebben. In combinatie met de Mellanox SN2700 100GbE-switch en ConnectX4 (Ethernet of InfiniBand), heeft de NX6325 indrukwekkende mogelijkheden, met gerapporteerde leesprestaties van 12 GB/s en schrijfsnelheden van 9 GB/s uit een enkele array.

Het orkestreren van de opslag is de TITAN-software van Mangstor. We zagen een vroege versie van TITAN in de NX6320; Mangstor heeft de software gemaakt algemeen beschikbaar eerder deze maand. In de kern brengt TITAN een nauwe integratie tussen de NVMe SSD's en Remote Direct Memory Access (RDMA) Network Interface Cards (NIC's) terwijl het efficiënt gebruik maakt van de HPE servermogelijkheden. TITAN stelt IT-managers in staat om flash dynamisch in te richten, zowel lokaal als op afstand met gecentraliseerd beheer. Mogelijkheden omvatten ook functies zoals opslagcaching en clusterbeheer, en TITAN biedt een REST API en GUI-tools waarmee IT-managers eenvoudig grote clusters van NVMf-opslag kunnen implementeren en beheren.

Mangstor biedt twee capaciteitsopties die zijn geconfigureerd voor Ethernet of InfiniBand. Kopers kunnen kiezen uit een systeem van 10.8 TB met vier schijven van 2.7 TB of een systeem van 21.6 TB met vier schijven van 5.4 TB. Ons beoordelingssysteem is de 10.8 TB Ethernet-configuratie.

Mangstor NX6325 Specificaties

Flash-opslagarrays
- Ethernet
  - NX6325R-016TF-2P100GQSF, 10.8 TB (4 x 2.7 TB SSD)
  - NX6325R-032TF-2P100GQSF, 21.6 TB (4 x 5.4 TB SSD)
- InfiniBand
  - NX6325I-016TF-2P100GQSF, 10.8 TB (4 x 2.7 TB SSD)
  - NX6325I-032TF-2P100GQSF, 21.6 TB (4 x 5.4 TB SSD)
Bandbreedte Rd/Wr (GB/s): 12.0 / 9.0
Doorvoer Rd/Wr (4K) (IOPS): 3.0M / 2.25M
Power
- 450 W Typisch
- Maximaal piekvermogen 800W
I / O-connectiviteit
- 2x100Gb/s QSFP-ethernet
- 2x100Gb/s QSFP InfiniBand
Latentie bij lezen/schrijven: 110uS / 30uS
Toestelkenmerken
- 2U rekmontage (HxBxD): 3.44 x 17.54 x 26.75 inch (8.73 x 44.55 x 67.94 cm)
- Voedingsspanning: 100 tot 240 VAC, 50/60 Hz - 800 W redundante voeding
- Warmteafvoer (BTU/uur): 3207 BTU/uur (bij 100 VAC), 3071 BTU/uur (bij 200 VAC), 3112 BTU/uur (bij 240 VAC)
- Maximale inschakelstroom: 30A (duur 10ms)
- Gewicht bij benadering: 51.5 kg (23.6 lb) volledig gevuld
omgevingen
- Standaard bedrijfsondersteuning: 10° tot 35°C (50° tot 95°F) op zeeniveau met een hoogtecorrectie van 1.0°C per elke 305 m (1.8°F per elke 1000 ft) boven zeeniveau tot een maximum van 3050 m (10,000 voet)
- Vochtigheid: Niet in bedrijf 5 tot 95% relatieve vochtigheid (Rh), 38.7°C (101.7°F) maximale natteboltemperatuur, niet-condenserend
Fabric Protocol-ondersteuning: RDMA over Converged Ethernet (RoCE), InfniBand, iWARP
Client OS-ondersteuning: RHEL, SLES, CentOS, Ubuntu, Windows, VMware ESXi 6.0 (VMDirectPath)
Operationeel beheer: CLI, RESTful API, OpenStack Cinder
Array & SSD Garantie: Hardware 5 jaar; Basissoftware 90 dagen
Softwaregarantie: Gedekt onder 1 jaar, 3 jaar, 5 jaar Gold of Platinum Level service- en ondersteuningsopties

Bouw en Ontwerp

In de eerder beoordeelde NX6320-array maakte Mangstor gebruik van een op Dell R730 gebaseerd platform. Deze keer gebruiken ze bij de NX6325 een HPE ProLiant DL380 Gen9. Hoewel de verhuizing op het eerste gezicht "like for like" lijkt, is de verandering aanzienlijk voor klanten die 100 Gb Ethernet of Infiniband willen inzetten, waardoor het opslagpotentieel maximaal wordt benut. De Dell R730 biedt 7 PCIe 3.0-slots; vier Full Height x16 en drie Half Height x8. De HPE DL380 Gen9 heeft slechts 6 PCIe 3.0-uitbreidingsslots, hoewel gebruikers met een geschikte PCIe-riserkit een configuratie kunnen maken met zes x16-slots op volledige hoogte.

Dat verschil is aanzienlijk, aangezien de kaarten die Mangstor aanbiedt Full Height PCIe SSD's zijn en de 100GbE Mellanox ConnectX-4 NIC's x16-slots zijn. In de Dell-configuratie zouden gebruikers één PCIe SSD moeten laten vallen om in de 100GbE-kaart te passen, terwijl gebruikers in de HPE-configuratie het systeem kunnen uitrusten met 4 PCIe SSD's en twee 100GbE NIC's tegelijkertijd. Dit is minder een argument over welke server beter is dan de andere, maar eerder een analyse over welke server beter werkt met deze vrij unieke kaartcombinatie. Mangstor wijst erop dat voor klanten die 40Gb Ethernet of 56Gb Infiniband willen gebruiken, zowel de NX6320- als de NX6325-producten gelijkwaardige functies en prestaties leveren. Aangezien we in deze review het 100Gb Ethernet testen, is de NX6325 de juiste keuze.

Sysbench-prestaties

Elke sysbench VM is geconfigureerd met drie vDisks, één voor opstarten (~ 92 GB), één met de vooraf gebouwde database (~ 447 GB) en de derde voor de database die wordt getest (307 GB). De LUN's zijn een gelijkmatige verdeling van 90% van de bruikbare opslag (11 TB) om voldoende in de database te passen (253 GB groot). Vanuit het perspectief van systeemresources hebben we elke VM geconfigureerd met 16 vCPU's, 60 GB DRAM en de LSI Logic SAS SCSI-controller gebruikt. Load gen-systemen zijn Dell R730-servers; we gebruiken vier tot acht servers in deze review, schaalbare servers per 4VM-groep.

Dell PowerEdge R730 8-node clusterspecificaties

Dell PowerEdge R730-servers (x8)
CPU's: Zestien Intel Xeon E5-2690 v3 2.6GHz (12C/24T)
Geheugen: 128 x 16 GB DDR4 RDIMM
Mellanox ConnectX-4 LX
VMware ESXi 6.0

Onze vorige beoordeling van de Mangstor NX6320 maakte gebruik van Mellanox ConnectX-3-kaarten en OFED ESXi 6.0-stuurprogramma's, waarbij één kaart werd toegewezen aan elke VM (waardoor onze schaal werd beperkt tot het aantal beschikbare NIC's). Met de huidige iteratie van de NX6325 met Mellanox ConnectX-4 LX-kaarten en de nieuwste SRIOV-stuurprogramma's konden we meerdere virtuele adapters met maximaal 4 VM's tegelijkertijd delen. Met één kaart toegewezen per server, hebben we deze configuratie gebruikt om ons in staat te stellen op te schalen naar het testen van in totaal 32 VM's.

Onder een volledige belasting van 32 VM's zagen we elke server afvlakken met ongeveer 86% CPU-gebruik.

Sysbench-testconfiguratie (per VM)

CentOS 6.3 64-bits
Opslagcapaciteit: 1 TB, 800 GB gebruikt
Percona XtraDB 5.5.30-rel30.1
- Databasetabellen: 100
- Databasegrootte: 10,000,000
- Database-threads: 32
- RAM-buffer: 24 GB
Testduur: 3 uur
- 2 uur preconditionering 32 threads
- 1 uur 32 draden

In onze Sysbench OLTP-test hebben we de array van een kleine belasting van 4 VM's naar een volledig verzadigingspunt met 32 VM's gebracht. De Mangstor NX6325 behaalde een aantal indrukwekkende records. Om te beginnen bood het de snelste prestaties in Sysbench die geen lokaal aangesloten flash was, en vergeleken met al het andere dat we ooit hebben getest, legde het de lat met meer dan een factor twee hoger. De NX6325 bereikte een topscore van 38,673 TPS, terwijl de vorige recordhouder voor een moderne flash-oplossing voor gedeelde opslag binnenkwam op "slechts" 17,316 TPS.

Als we naar latentie kijken, zien we dat de NX6325 het erg goed deed onder belasting, waardoor de totale transactielatentie binnen een bereik van 14.3 ms bij 4 VM's tot 26.6 ms bij 32 VM's bleef. Dus terwijl de belasting met 8x toenam, verdubbelde de latentie niet eens.

Kijkend naar marginale latentie met onze 99e percentielcijfers, handelde de Mangstor NX6325 zichzelf redelijk goed onder belasting. We zagen de waarden langzaam toenemen naarmate de totale belasting toenam, maar niets steeg dramatisch.

Conclusie

De Mangstor NX6325 NVMe Over Fabrics (NVMf) gedeelde opslagarray is een van de eerste commercieel verkrijgbare systemen waarmee zeer snelle NVMe-opslag uit de applicatieservers kan worden gehaald en in een doos kan worden geplaatst waar het kan worden gebruikt door een heel cluster van servers . In dit geval biedt de NX6325 die we beoordelen tot 10.8 TB aan NVMe-opslag in een HPE ProLiant DL380 Gen9, over een structuur die bestaat uit een Mellanox SN2700 100GbE-switch en ConnectX4 LX-adapterkaarten. Het nettoresultaat is een pakket dat absoluut zo verschroeiend is dat het de snelste gedeelde opslag is die ooit in het lab is verschenen. Om eerlijk te zijn, dit is niet direct vergelijkbaar met andere snelle dingen die we hebben gezien (zoals de meer traditionele all-flash SAN) en daarom moeten een paar dingen duidelijk worden gemaakt.

NVMf is qua uitvoering nog een heel jong concept. Mangstor van hun kant is erg ver op weg en voor extreem latentiegevoelige toepassingen zijn de resultaten fenomenaal. Er moeten nog een paar dingen rijpen om de SAN-technologie overal te verdringen, maar voor belangrijke workloads is het een fantastische optie. In vergelijking met andere NVMf-oplossingen maakt Mangstor gebruik van bestaand Ethernet of IB voor de fabric, waardoor het meer compatibel is dan sommige die aangepaste hardware gebruiken. Het is ook belangrijk op te merken dat de manier waarop opslag in deze array wordt gepresenteerd, geen bescherming biedt tegen een PCIe SSD-storing. De array is geconfigureerd in RAID0 voor topprestaties en capaciteit. Er zijn enkele applicaties die met dergelijke systemen overweg kunnen, maar voor traditionele workloads moet worden benadrukt dat deze array geen "one size fits all" is.

Kijkend naar de prestaties in onze Sysbench OLTP-test, zagen we buitengewone cijfers. Bij 4VM's was de totale TPS hoger dan de meeste arrays in totaal bieden, of wat lokaal aangesloten NVMe-flash kan bieden. Door die werklast op te voeren door het aantal VM's te vergroten, zagen we dat de totale prestaties bleven stijgen totdat ze de dichtstbijzijnde gedeelde flash-opslagoplossing met meer dan een factor twee overtroffen. Het belangrijkste nadeel voor onze omgeving op dit moment is de ondersteuning van stuurprogramma's, waardoor deze niet kan worden gebruikt als een gedeelde VMware-datastore. Dit brengt enkele uitdagingen met zich mee, zoals VM-migratie (gekoppeld zijn aan een virtueel netwerkapparaat) of gast-OS-ondersteuning, die momenteel rond Linux draait. Maar voor gebruikers die deze beperkingen kunnen omzeilen, opent de Mangstor NX6325 de deur naar prestatieniveaus die weinig of geen concurrerende oplossingen kunnen evenaren.

VOORDELEN