Das gemeinsam genutzte Speicher-Array Mangstor NX6325 NVMe Over Fabrics (NVMf) bietet bis zu 21.6 TB Flash-Speicher in einem HP DL380 2U-Server. Wie NX6320 haben wir Anfang des Jahres getestetDer NX6325 bündelt die NVMe-Laufwerke der Add-in-Karte (AIC) von Mangstor und verteilt sie über das Netzwerk. Dadurch können latenzempfindliche Anwendungen alle großen Vorteile des NVMe-Speichers nutzen, ohne dass in jedem Server ein AIC vorhanden sein muss. In Verbindung mit dem Mellanox SN2700 100GbE-Switch und ConnectX4 (Ethernet oder InfiniBand) verfügt der NX6325 über beeindruckende Fähigkeiten und bietet eine Leseleistung von 12 GB/s und eine Schreibleistung von 9 GB/s aus einem einzelnen Array.
Das gemeinsam genutzte Speicher-Array Mangstor NX6325 NVMe Over Fabrics (NVMf) bietet bis zu 21.6 TB Flash-Speicher in einem HP DL380 2U-Server. Wie NX6320 haben wir Anfang des Jahres getestetDer NX6325 bündelt die NVMe-Laufwerke der Add-in-Karte (AIC) von Mangstor und verteilt sie über das Netzwerk. Dadurch können latenzempfindliche Anwendungen alle großen Vorteile des NVMe-Speichers nutzen, ohne dass in jedem Server ein AIC vorhanden sein muss. In Verbindung mit dem Mellanox SN2700 100GbE-Switch und ConnectX4 (Ethernet oder InfiniBand) verfügt der NX6325 über beeindruckende Fähigkeiten und bietet eine Leseleistung von 12 GB/s und eine Schreibleistung von 9 GB/s aus einem einzelnen Array.
Die Orchestrierung des Speichers übernimmt die TITAN-Software von Mangstor. Eine frühe Version von TITAN haben wir im NX6320 gesehen; Mangstor hat die Software erstellt allgemein ab Anfang dieses Monats verfügbar. Im Kern sorgt TITAN für eine enge Integration zwischen den NVMe-SSDs und RDMA-Netzwerkschnittstellenkarten (Remote Direct Memory Access) und nutzt gleichzeitig die HPE-Serverfunktionen effizient. TITAN ermöglicht IT-Managern die dynamische Bereitstellung von Flash sowohl lokal als auch remote mit zentraler Verwaltung. Zu den Funktionen gehören auch Funktionen wie Speicher-Caching und Cluster-Management, und TITAN bietet eine REST-API und GUI-Tools, die es IT-Managern ermöglichen, große Cluster von NVMf-Speichern einfach bereitzustellen und zu verwalten.
Mangstor bietet zwei Kapazitätsoptionen, die entweder für Ethernet oder InfiniBand konfiguriert sind. Käufer können zwischen einem 10.8-TB-System mit vier 2.7-TB-Laufwerken oder einem 21.6-TB-System mit vier 5.4-TB-Laufwerken wählen. Unser Testsystem ist die 10.8-TB-Ethernet-Konfiguration.
Spezifikationen des Mangstor NX6325
- Flash-Speicher-Arrays
- Ethernet
- NX6325R-016TF-2P100GQSF, 10.8 TB (4 x 2.7 TB SSD)
- NX6325R-032TF-2P100GQSF, 21.6 TB (4 x 5.4 TB SSD)
- InfiniBand
- NX6325I-016TF-2P100GQSF, 10.8 TB (4 x 2.7 TB SSD)
- NX6325I-032TF-2P100GQSF, 21.6 TB (4 x 5.4 TB SSD).
- Ethernet
- Bandbreite Rd/Wr (GB/s): 12.0 / 9.0
- Durchsatz Rd/Wr (4K) (IOPS): 3.0 Mio. / 2.25 Mio
- Power
- 450 W Typisch
- Maximale Spitzenleistung 800 W
- E / A-Konnektivität
- 2x100Gb/s QSFP-Ethernet
- 2x100Gb/s QSFP InfiniBand
- Lese-/Schreiblatenz: 110uS / 30uS
- Appliance-Attribute
- 2U-Rackmontage (HxBxT): 3.44 x 17.54 x 26.75 Zoll (8.73 x 44.55 x 67.94 cm)
- Versorgungsspannung: 100 bis 240 VAC, 50/60 Hz – 800 W redundantes Netzteil
- Wärmeableitung (BTU/h): 3207 BTU/h (bei 100 VAC), 3071 BTU/h (bei 200 VAC), 3112 BTU/h (bei 240 VAC)
- Maximaler Einschaltstrom: 30 A (Dauer 10 ms)
- Ungefähres Gewicht: 51.5 kg, voll bestückt
- Umwelt
- Standardbetriebsunterstützung: 10° bis 35°C (50° bis 95°F) auf Meereshöhe mit einer Höhenreduzierung von 1.0°C pro 305 m (1.8°F pro 1000 Fuß) über dem Meeresspiegel bis maximal 3050 m (10,000 Fuß)
- Luftfeuchtigkeit: Bei Nichtbetrieb 5 bis 95 % relative Luftfeuchtigkeit (RH), 38.7 °C (101.7 °F) maximale Feuchtkugeltemperatur, nicht kondensierend
- Fabric-Protokollunterstützung: RDMA über Converged Ethernet (RoCE), InfniBand, iWARP
- Client-Betriebssystemunterstützung: RHEL, SLES, CentOS, Ubuntu, Windows, VMware ESXi 6.0 (VMDirectPath)
- Betriebsmanagement: CLI, RESTful API, OpenStack Cinder
- Array- und SSD-Garantie: Hardware 5 Jahre; Basissoftware 90 Tage
- Softwaregarantie: Abgedeckt durch 1-Jahres-, 3-Jahres-, 5-Jahres-Service- und Support-Optionen auf Gold- oder Platin-Niveau
Aufbau und Design
Im zuvor getesteten NX6320-Array nutzte Mangstor eine Dell R730-basierte Plattform. Dieses Mal verwenden sie beim NX6325 einen HPE ProLiant DL380 Gen9. Auch wenn der Schritt oberflächlich betrachtet „gleichmäßig“ erscheint, ist die Änderung für Kunden von Bedeutung, die 100-Gb-Ethernet oder Infiniband einsetzen und das Speicherpotenzial auf das Maximum ausschöpfen möchten. Der Dell R730 bietet 7 PCIe 3.0-Steckplätze; vier volle Höhe x16 und drei halbe Höhe x8. Der HPE DL380 Gen9 verfügt nur über 6 PCIe 3.0-Erweiterungssteckplätze. Mit einem entsprechenden PCIe-Riser-Kit können Benutzer jedoch eine Konfiguration mit sechs x16-Steckplätzen in voller Höhe erstellen.
Dieser Unterschied ist erheblich, da es sich bei den von Mangstor angebotenen Karten um PCIe-SSDs mit voller Höhe handelt und es sich bei den 100-GbE-Mellanox-ConnectX-4-NICs um x16-Steckplätze handelt. In der Dell-Konfiguration müssten Benutzer eine PCIe-SSD weglassen, um in die 100-GbE-Karte zu passen, während Benutzer in der HPE-Konfiguration das System gleichzeitig mit 4 PCIe-SSDs und zwei 100-GbE-NICs ausstatten können. Hierbei handelt es sich weniger um ein Argument darüber, welcher Server besser ist als der andere, sondern eher um eine Analyse darüber, welcher Server mit dieser eher einzigartigen Kartenkombination besser funktioniert. Mangstor weist darauf hin, dass für Kunden, die 40-Gbit-Ethernet oder 56-Gbit-Infiniband nutzen möchten, die Produkte NX6320 und NX6325 gleichwertige Funktionen und Leistung bieten. Da wir in diesem Test das 100-Gb-Ethernet testen, ist der NX6325 die richtige Wahl.
Sysbench-Leistung
. Systembankben Die VM ist mit drei vDisks konfiguriert, eine für den Start (~92 GB), eine mit der vorgefertigten Datenbank (~447 GB) und die dritte für die zu testende Datenbank (307 GB). Die LUNs sind eine gleichmäßige Aufteilung von 90 % des nutzbaren Speichers (11 TB), um ausreichend Platz für die Datenbank (Größe 253 GB) zu bieten. Aus Sicht der Systemressourcen haben wir jede VM mit 16 vCPUs und 60 GB DRAM konfiguriert und den LSI Logic SAS SCSI-Controller genutzt. Lastgenerierungssysteme sind Dell R730-Server; In diesem Testbericht beschäftigen wir vier bis acht Server und skalieren die Server pro 4VM-Gruppe.
Technische Daten des Dell PowerEdge R730 8-Knoten-Clusters
- Dell PowerEdge R730 Server (x8)
- CPUs: Sechzehn Intel Xeon E5-2690 v3 2.6 GHz (12C/24T)
- Speicher: 128 x 16 GB DDR4 RDIMM
- Mellanox ConnectX-4 LX
- VMware ESXi 6.0
Unser vorheriger Test des Mangstor NX6320 nutzte Mellanox ConnectX-3-Karten und OFED ESXi 6.0-Treiber, wobei jeder VM eine Karte zugewiesen wurde (was unsere Skala auf die Anzahl der vorhandenen Netzwerkkarten beschränkte). Die aktuelle Version des NX6325 mit Mellanox ConnectX-4 LX-Karten und den neuesten SRIOV-Treibern ermöglichte es uns, mehrere virtuelle Adapter mit bis zu 4 VMs gleichzeitig zu teilen. Mit einer pro Server zugewiesenen Karte haben wir diese Konfiguration verwendet, um eine Skalierung auf insgesamt 32 VMs zum Testen zu ermöglichen.
Bei einer Vollauslastung von 32 VMs stellten wir fest, dass sich jeder Server bei einer CPU-Auslastung von etwa 86 % einpendelte.
Sysbench-Testkonfiguration (pro VM)
- CentOS 6.3 64-Bit
- Speicherbedarf: 1 TB, 800 GB genutzt
- Percona XtraDB 5.5.30-rel30.1
- Datenbanktabellen: 100
- Datenbankgröße: 10,000,000
- Datenbankthreads: 32
- RAM-Puffer: 24 GB
- Testdauer: 3 Stunden
- 2 Stunden Vorkonditionierung von 32 Threads
- 1 Stunde 32 Threads
In unserem Sysbench-OLTP-Test haben wir das Array von einer kleinen Last von 4 VMs bis zu einem völligen Sättigungspunkt mit 32 VMs gebracht. Der Mangstor NX6325 erzielte einige beeindruckende Rekorde. Zunächst einmal bot es die schnellste Leistung im Sysbench, wenn kein lokal angeschlossener Flash vorhanden war, und im Vergleich zu allem anderen, das wir je getestet haben, legte es die Messlatte um mehr als das Zweifache höher. Der NX6325 erreichte die Spitze bei 38,673 TPS, während der bisherige Rekordhalter für eine moderne Flash-Shared-Storage-Lösung „nur“ 17,316 TPS erreichte.
Was die Latenz angeht, stellen wir fest, dass der NX6325 unter Last sehr gut zurechtkommt und die gesamte Transaktionslatenz in einem Bereich von 14.3 ms bei 4 VMs bis 26.6 ms bei 32 VMs hält. Während also die Last um das Achtfache anstieg, verdoppelte sich die Latenz nicht einmal.
Betrachtet man die Randlatenz mit unseren 99. Perzentilzahlen, kam der Mangstor NX6325 unter Last recht gut zurecht. Wir sahen, dass die Werte mit zunehmender Gesamtlast langsam anstiegen, aber nichts stieg dramatisch an.
Fazit
Das gemeinsam genutzte Speicher-Array Mangstor NX6325 NVMe Over Fabrics (NVMf) ist eines der ersten kommerziell erhältlichen Systeme, das es ermöglicht, sehr schnellen NVMe-Speicher aus den Anwendungsservern herauszunehmen und in eine Box zu packen, wo er von einem ganzen Servercluster genutzt werden kann . In diesem Fall bietet der von uns getestete NX6325 bis zu 10.8 TB NVMe-Speicher in einem HPE ProLiant DL380 Gen9 über eine Struktur bestehend aus einem Mellanox SN2700 100GbE-Switch und ConnectX4 LX-Adapterkarten. Das Endergebnis ist ein Paket, das dermaßen brennend ist, dass es sich um den schnellsten Shared Storage handelt, der jemals im Labor erhältlich war. Fairerweise muss man sagen, dass dies nicht direkt mit anderen schnellen Dingen vergleichbar ist, die wir gesehen haben (wie dem traditionelleren All-Flash-SAN), und aus diesem Grund müssen einige Dinge klargestellt werden.
NVMf ist hinsichtlich der Umsetzung noch ein sehr junges Konzept. Mangstor ist seinerseits schon sehr weit auf dem Weg und für extrem latenzempfindliche Anwendungen sind die Ergebnisse phänomenal. Damit die SAN-Technologie überall verdrängt wird, müssen noch einige Dinge ausgereift werden, aber für wichtige Workloads ist sie eine fantastische Option. Im Vergleich zu anderen NVMf-Lösungen nutzt Mangstor vorhandenes Ethernet oder IB für die Fabric und ist damit kompatibler als einige, die maßgeschneiderte Hardware verwenden. Es ist auch wichtig zu beachten, dass die Art und Weise, wie der Speicher in diesem Array bereitgestellt wird, keinen Schutz vor einem PCIe-SSD-Ausfall bietet. Das Array ist in RAID0 für Spitzenleistung und Kapazität konfiguriert. Es gibt einige Anwendungen, die mit Systemen wie diesem zurechtkommen, aber für herkömmliche Workloads muss betont werden, dass es sich bei diesem Array nicht um eine Einheitslösung handelt, die für alle passt.
Als wir die Leistung in unserem Sysbench-OLTP-Test betrachteten, sahen wir außergewöhnliche Zahlen. Bei 4 VMs war die Gesamt-TPS höher, als die meisten Arrays insgesamt bieten oder was lokal angeschlossener NVMe-Flash bieten kann. Als wir die Arbeitslast durch die Erhöhung der Anzahl der VMs steigerten, stieg die Gesamtleistung weiter an, bis sie die nächstgelegene Flash-Shared-Storage-Lösung um mehr als das Zweifache übertraf. Der größte Nachteil unserer Umgebung ist derzeit die Treiberunterstützung, die die Verwendung als gemeinsam genutzter VMware-Datenspeicher verhindert. Dies bringt einige Herausforderungen mit sich, wie z. B. die VM-Migration (die an ein virtuelles Netzwerkgerät gebunden ist) oder die Unterstützung von Gastbetriebssystemen, die sich derzeit auf Linux konzentriert. Für Benutzer, die diese Einschränkungen umgehen können, öffnet der Mangstor NX6325 jedoch die Tür zu Leistungsniveaus, mit denen, wenn überhaupt, nur wenige konkurrierende Lösungen mithalten können.
Vorteile
- Nutzt das gesamte Leistungspotenzial von NVMe und teilt es über ein Hochgeschwindigkeitsnetzwerk
- Die schnellste Shared-Storage-Lösung, die wir bisher getestet haben
- Nicht an maßgeschneiderte Hardware für die Netzwerkstruktur gebunden
Nachteile
- Erfordert viel manuelle Konfiguration
Fazit
Das gemeinsam genutzte Speicher-Array Mangstor NX6325 NVMe Over Fabrics (NVMf) bietet außergewöhnlich schnelle NVMe-Flash-Leistung über eine gemeinsam genutzte Ethernet-Fabric.
Besprechen Sie diese Rezension
