Die Mangstor NX-Serie von All-Flash-Arrays (AFA) ist eine Appliance-Familie, die darauf ausgelegt ist, die Leistung und die geringen Latenzvorteile von NVMe in eine gemeinsam genutzte Speicherumgebung zu bringen. Freigegebener Speicher ist natürlich nichts Neues, aber die Möglichkeit, die Vorteile von NVMe in einer gemeinsam genutzten Umgebung nutzen zu können, schon. Konzeptionell nutzt NVMe over Fabrics die Leistung der besten SSDs ihrer Klasse, die bisher auf die serverinterne Verwendung beschränkt waren, und teilt sie über ein Hochgeschwindigkeitsnetzwerk (Ethernet oder Infiniband). Insbesondere nutzt der Mangstor NX6320 NVMe over Fabrics mit RDMA-Netzwerkzugriff, um latenzempfindlichen Anwendungen Leistungsvorteile zu bieten. Dieser skalierbare Speicher bietet mehrere Anwendungsfälle, darunter kritische Anwendungen, Datenbanken und HPC.
Der Hauptvorteil des Mangstor NX6320 ist seine Fähigkeit, NVMe-Speichergeräte über ein Netzwerk als direkt angeschlossenen Blockspeicher für viele Server zu teilen. Die Server profitieren von der Geschwindigkeit und geringen Latenz des lokalen Speichers, ohne dass die Kosten für NVMe-SSDs in jedem Server anfallen. Diese Fähigkeit ermöglicht Administratoren eine zentrale Verwaltung und Wartungsfreundlichkeit.
Die NX6320 basiert auf Mangstors softwarekonfigurierbarer MX6300 NVMe SSD in Kombination mit dem TITAN-Speicherstack. Die MX6300, die wir bereits getestet haben, unterscheidet sich deutlich von anderen SSDs, da sie dem Benutzer die Konfiguration des Controllers ermöglicht, um die NAND-Speichernutzung zu optimieren und so den Stromverbrauch zu senken. Die TITAN-Speichersoftware kann branchenübliche Server mithilfe von MX6300 NVMe SSDs in All-Flash-Speicherarrays verwandeln. TITAN kombiniert zudem NVMe-, RDMA- und Multi-Core-Technologien, um laut Mangstor eine beispiellose Bandbreite und Latenz beim Block-Speicherzugriff zu erzielen. Dazu optimiert TITAN den Pfad vom Netzwerk zur MX6300 und reduziert so die CPU-Auslastung.
Spezifikationen des Mangstor NX6320
- Formfaktor: 2U
- Kapazität: 8 TB | 12 TB | 16 TB | 32 TB
- Bandbreite Rd/Wr (GB/s): 6.0 / 4.5 | 9.0 / 6.75 | 12.0 / 9.0 | 12.0 / 9.0
- Durchsatz Rd/Wr (4K) (IOPS): 1.5 M / 1.1 M | 2.25 M / 1.67 M | 3.0 M / 2.25 M | 3.0 M / 2.25 M
- Lese-/Schreiblatenz: 110 uS / 30 uS
- E / A-Konnektivität
- 2×40/56Gb/s QSFP Ethernet, 2x40Gb/s QSFP InfiniBand | 4 x 40/56 Gbit/s QSFP-Ethernet, 4 x 40 Gbit/s QSFP InfiniBand
- Unterstützung des Fabric-Protokolls
- RDMA über Converged Ethernet (RoCE)
- InfiniBand
- iWARP
- Unterstützung für Client-Betriebssystemtreiber
- RHEL
- SLES
- CentOS
- Ubuntu
- Windows
- VMware ESXi 5.5/6.0 (VMDirectPath)
- Environmental
- Einlasstemperatur 10 – 35 °C (50 – 95 °F)
- Höhe: 0 bis 7,500 Fuß
- Luftfeuchtigkeit: 5-95% (nicht kondensierend)
- Garantie: Hardware 5 Jahre; Basissoftware 90 Tage
- Leistung: 350 W | 400 W | 450 W | 450 W
Aufbau und Design
Hinter der leuchtend blauen Blende des Mangstor NX6320 verbirgt sich der Dell PowerEdge 13G R730 als Herzstück. Der Einsatz eines Tier-1-Servers bietet natürlich Vorteile wie hohe Hardwarekompatibilität und qualifizierte Treiber sowie Managementoptionen wie iDRAC für die Massenbereitstellung.
Unter der maßgeschneiderten Blende verbirgt sich das, was man von einem Poweredge R730 erwarten würde. An der Vorderseite des Geräts befinden sich ein Videoanschluss, ein Informationsschild, ein vFlash-Medienkartensteckplatz, ein USB-Anschluss und ein USB-Verwaltungsanschluss/iDRAC Direct. Außerdem sind der Netzschalter (und die Betriebsanzeige) und ein NMI-Knopf vorhanden. Letzterer dient zur Behebung von Software- und Gerätetreiberfehlern beim Ausführen bestimmter Betriebssysteme. Den größten Teil der Frontplatte nehmen die Laufwerksschächte ein, die Mangstor in zukünftigen Produktveröffentlichungen für zusätzliche Kapazität nutzen kann.
Von links nach rechts umfasst die Rückseite eine Systemidentifikationstaste, einen Systemidentifikationsanschluss und einen iDRAC8-Enterprise-Port. Es sind auch PCIe-Steckplätze sichtbar, die in unserer Konfiguration eine Vielzahl von Mellanox-Ethernet-NIC-Optionen (40G und 100G) sowie drei NVMe-SSDs der MX6300-Serie umfassen. Die seriellen, Video- (VGA) und 2x USB-Anschlüsse sind ebenfalls vorhanden, während die vier Ethernet-Anschlüsse NIC-Konnektivität mit 10/100/1000 Mbit/s bieten.
Sysbench-Leistung
Um die Leistung der 12-TB-Version des NX6320 NVMe over Fabrics All-Flash-Arrays von Mangstor zu messen, haben wir unseren Dell PowerEdge 13G R730-Rechencluster genutzt. Jeder Server verfügte über vier Mellanox ConnectX-3 Pro-NIC-Karten, die im Pass-Through-Modus in ESXI 6.0 konfiguriert und mit bestimmten VMs in unserer Sysbench-Benchmarking-Umgebung verbunden waren. Dieser Test bot eine starke Treiberunterstützung, daher haben wir uns bei Leistungstests darauf konzentriert.
In unserem Testlayout haben wir eine statische Konfiguration von 8 Sysbench-VMs getestet. Während das NX6320-Array sowohl in Bezug auf Kapazität als auch Leistung problemlos mehr unterstützen würde, unterstützt der Mellanox ConnectX-3 Pro NIC OFED ESXi 6.0-Treiber im Passthrough-Modus nur die Verknüpfung einer physischen Netzwerkkarte mit einer VM. Mit nur 8 ConnectX-3 Pro-NICs im Labor bestand unsere größte unterstützte Konfiguration aus 8 VMs. Mellanox und Mangstor arbeiten an der Treiberunterstützung für ConnectX-4 OFED ESXi 6.0, bei der eine Karte mehrere virtuelle NICs im Pass-Through-Modus unterstützen kann, wodurch die VM-Dichte weiter erhöht wird. Doch zum Zeitpunkt der Überprüfung standen die Treiber noch nicht fest.
Technische Daten des Dell PowerEdge R730 2-Knoten-Clusters
- Dell PowerEdge R730 Server (x2)
- CPUs: Acht Intel Xeon E5-2690 v3 2.6 GHz (12C/24T)
- Speicher: 32 x 16 GB DDR4 RDIMM
- Mellanox ConnectX-3 Pro
- VMware ESXi 6.0
Für diesen Test haben wir 8 VMs identisch konfiguriert und uns die Einzelbewertungen sowie die Gesamtbewertung angesehen. Jede Sysbench-VM ist mit drei vDisks konfiguriert, eine für den Start (~92 GB), eine mit der vorgefertigten Datenbank (~447 GB) und die dritte für die zu testende Datenbank (400 GB). Die dritte vDisk ist das gemeinsam genutzte NVMe-Blockspeichergerät.
Sysbench-Testkonfiguration (pro VM)
- CentOS 6.3 64-Bit
- Speicherbedarf: 1 TB, 800 GB genutzt
- Percona XtraDB 5.5.30-rel30.1
- Datenbanktabellen: 100
- Datenbankgröße: 10,000,000
- Datenbankthreads: 32
- RAM-Puffer: 24 GB
- Testdauer: 3 Stunden
- 2 Stunden Vorkonditionierung von 32 Threads
- 1 Stunde 32 Threads
Unser Sysbench-Test misst die durchschnittliche TPS (Transaktionen pro Sekunde), die durchschnittliche Latenz sowie die durchschnittliche 99. Perzentil-Latenz bei einer Spitzenlast von 32 Threads. Betrachtet man die skalierten Transaktionen pro Sekunde, liefen die einzelnen VMs des Mangstor NX6320 mit etwa 1,600 TPS (zwischen 1,579 und 1,600 TPS). Der NX6320 hatte einen Gesamtwert von 12,722 TPS.
Betrachtet man die durchschnittliche Latenz, lief das NX6320 durchgehend ziemlich konstant um die 20 ms (im Bereich von 20.00 ms bis 20.27 ms). Es überrascht nicht, dass auch die Gesamtpunktzahl mit 20.12 ms sehr konstant und niedrig war.
In Bezug auf unser Worst-Case-MySQL-Latenzszenario (99. Perzentil-Latenz) lieferte das NX6320 erneut eine starke und konstante Leistung, dieses Mal lag es zwischen 35 ms und 37 ms (von 35.94 ms auf 36.72 ms). Die Gesamtpunktzahl betrug 36.20 ms
Fazit
Der Mangstor NX6320 ist ein 2U-All-Flash-Array, das die Leistungs- und Latenzvorteile von lokalem NVMe in eine Umgebung mit gemeinsam genutztem Speicher bringt. Um diese Verbesserungen bei Leistung und Latenz zu erzielen, nutzt Mangstor seine eigenen MX6300 NVMe SSDs und die TITAN-Software. Durch die Kombination dieser beiden Technologien kann Mangstor sein System optimieren, um eine höhere Leistung und eine geringere Latenz zu erzielen. Mangstor behauptet, dass die NX6320-16TB-Version eine höhere Einzel-Array-Leistung bietet und die Leistung weiter skaliert, wenn zusätzliche Arrays hinzugefügt werden. Dies geht jedoch nicht ohne Kompromisse. Der Nachteil von NVMe gegenüber Fabrics-Lösungen wie Mangstor ist derzeit jedoch die begrenzte Treiberunterstützung im Vergleich zu herkömmlichen Speicherlösungen. Während die Unterstützung von Tag zu Tag wächst, gibt es noch viel zu tun. Diese Implementierung von NVMe over Fabrics erfordert auch etwas mehr Aufwand bei der Integration in eine Produktionsumgebung.
Im Hinblick auf die Leistung haben wir unseren Sysbench-Anwendungstest auf der 6320-TB-Version der NX12 durchgeführt, wobei der Speicher auf acht identischen VMs bereitgestellt wurde. Während dieses Tests übertraf der NX6320 unsere Erwartungen hinsichtlich der Leistung einzelner VMs sowie der Konsistenz in der gesamten VM-Gruppe. Das NX6320 lieferte eine branchenführende Leistung bei 8 VMs und erreichte einen doppelten Vorteil gegenüber dem nächstgelegenen Flash-Array, das wir bisher getestet haben. Betrachtet man den Durchsatz, lief jede VM etwa 2 TPS mit einem Gesamtwert von 1,600 TPS. Um das ins rechte Licht zu rücken: Wir haben in unserem 12,722VM-virtualisierten Sysbench-Test im Allgemeinen festgestellt, dass die Obergrenze unter 8 TPS pro VM liegt. Die einzige Möglichkeit, dies zu übertreffen, besteht bisher in der Nutzung lokaler NVMe- oder SAS1,000-SSDs, denen natürlich die Möglichkeit einer einfachen gemeinsamen Nutzung ohne große Leistungseinbußen fehlt. In unserem skalierten durchschnittlichen Latenztest variierte die Latenz des NX3 über alle VMs und die Gesamtpunktzahl hinweg nur um 6320 ms. In unserem Worst-Case-Szenario (0.27. Perzentil-Latenz) lieferte das NX99 erneut konstante Ergebnisse, diesmal nur mit einer Abweichung von 6320 ms vom niedrigsten zum höchsten Wert.
Letztlich steckt NVMe over Fabrics noch in den Kinderschuhen. Dieser Test zeigt das frühe Potenzial, aber es wird noch viel mehr kommen. Die Entwicklung der Treiber schreitet stetig voran und Anbieter wie Mellanox hoffen auf ein positives Ergebnis und eine breitere Akzeptanz schnellerer Verbindungen. Die NX-Serie gepaart mit Mellanox 100GbE ConnectX-4 wird bald verfügbar sein, was eine Skalierung auf noch höhere VM-Anzahlen und eine bessere Gesamtskalierbarkeit ermöglichen sollte.
Vorteile
- Bisher beste Leistung im Shared Storage
- Konstant niedrige Latenz im Sysbench-Test
Nachteile
- Eingeschränkte Treiberunterstützung, die sich jedoch mit der Zeit verbessert
Fazit
Der Mangstor NX6320 bietet NVMe über Fabrics in einem 2U-Formfaktor und bietet hohe Leistung mit geringer Latenz für eine Vielzahl von Anwendungen und Anwendungsfällen, die sehr latenzempfindlich sind.
Amazon