Die MegaRAID 9600-Serie ist ein Speicheradapter der dritten Generation, der SATA-, SAS- und NVMe-Laufwerke unterstützt und darauf ausgelegt ist, die bestmögliche Leistung und Datenverfügbarkeit für Speicherserver zu bieten. Im Vergleich zur Vorgängergeneration bietet die 9600-Serie eine zweifache Steigerung der Bandbreite, eine über vierfache Steigerung der IOPs, eine 2-fache Reduzierung der Schreiblatenz und eine 4-fache Leistungssteigerung bei Neuerstellungen.
Die MegaRAID 9600-Serie ist ein Speicheradapter der dritten Generation, der SATA-, SAS- und NVMe-Laufwerke unterstützt und darauf ausgelegt ist, die bestmögliche Leistung und Datenverfügbarkeit für Speicherserver zu bieten. Im Vergleich zur Vorgängergeneration bietet die 9600-Serie eine zweifache Steigerung der Bandbreite, eine über vierfache Steigerung der IOPs, eine 2-fache Reduzierung der Schreiblatenz und eine 4-fache Leistungssteigerung bei Neuerstellungen. Wie üblich umfasst die 25-Kartenfamilie eine Reihe von Konfigurationen. In diesem Test betrachten wir den Broadcom MegaRAID 60W-9600i, der 9670 interne Ports unterstützt.
Der MegaRAID 9670W-16i basiert auf dem SAS4116W RAID-on-Chip (RoC), was ein Schlüsselfaktor für allgemeine Leistungsverbesserungen ist. Mit der x240 PCIe Gen 32-Schnittstelle können Benutzer bis zu 16 SAS/SATA-Geräte oder 4.0 NVMe-Geräte pro Controller anschließen.
Die 9600-Serie bietet außerdem Hardware-Secure-Boot- und SPDM-Bescheinigungsunterstützung, Balance-Schutz und Leistung für RAID 0, 1, 5, 6, 10, 50 und 60 und JBOD. Der CacheVault-Flash-Cache-Schutz ist eine Option für diejenigen, die mehr Schutz wünschen.
Warum Hardware-RAID für NVMe?
Hardware-RAID war schon lange die erste Wahl für die Bereitstellung stabilen Speichers, bevor die Bärte der heutigen IT-Administratoren grau waren. Doch da der Speicher immer schneller wird, insbesondere NVMe-SSDs, haben RAID-Karten Schwierigkeiten, mit der Zeit Schritt zu halten. Als Broadcom uns einen Testbericht zum MegaRAID 9670W-16i vorschlug, waren wir etwas skeptisch. Die Wahrheit ist, dass eine RAID-Karte mit Leistungseinbußen verbunden ist, und wir haben diese daher seit vielen Jahren vermieden. Dennoch ist der Wert dessen, was Hardware-RAID bietet, unbestreitbar.
In Umgebungen, die keine Software-RAID-Optionen bieten, zu denen auch VMware ESXi gehört, können Kunden Speicher nicht einfach aggregieren oder Speicher mit RAID schützen. Obwohl vSAN problemlos auf Clusterebene implementiert werden kann, kann es nicht für einen eigenständigen ESXi-Knoten am Edge verwendet werden. Hier möchten Kunden möglicherweise die Vorteile der Zusammenführung mehrerer SSDs in RAID für einen größeren Datenspeicher oder eine gewisse Datenstabilität nutzen.
Selbst in Windows, das Speicherplatz für einzelne Server bietet, sind bestimmte Software-RAID-Typen, wie z. B. RAID5/6, erheblich betroffen. In der Vergangenheit war Hardware-RAID eine effektive Lösung zur Überbrückung der Leistungslücke bei SAS- und SATA-Geräten. Das MegaRAID 9670W soll dies für NVMe-Geräte ändern.
Broadcom MegaRAID 9670W-16i Testumgebung
Für diesen Test haben wir mit Micron, Supermicro und Broadcom zusammengearbeitet, um eine Testumgebung zusammenzustellen. Der Server ist ein Supermicro AS-1114S-WN10RT 1U-System mit AMD Milan 7643 CPU und 128 GB DDR4. In diesem System befindet sich der 9670W-16i, der mit zwei 8-Bay-NVMe-JBODs verkabelt ist. Im Inneren befinden sich jeweils 8 x Micron 7450 SSDs, die auf eine Kapazität von 6.4 TB formatiert sind.
Um die Leistung der Laufwerke über den MegaRAID 9670W-16i-Adapter zu messen, wurden die Benchmarks in die folgenden Konfigurationen aufgeteilt. Die erste umfasste eine JBOD-Konfiguration, bei der jedes Laufwerk außerhalb von RAID (aber immer noch über den HBA) gemessen wurde, RAID10- und dann RAID5-Konfigurationen. Diese Konfigurationen wurden einem Skriptprozess unterzogen, um den Flash vorzukonditionieren, die Tests auszuführen, für die sie konditioniert wurden, und mit der nächsten Vorkonditionierungs-/Workload-Mischung fortzufahren. Insgesamt dauerte dieser Vorgang etwa 16 Stunden.
- Gesamttestlaufzeit von rund 16 Stunden in dieser Reihenfolge:
- Sequentielle Vorkonditionierung (~2:15)
- Sequentielle Tests auf 16x JBOD, 2x 8DR10, 2x 8DR5 (~2 Stunden)
- Zufällige Vorkonditionierung – 2 Teile (~4:30)
- Zufällige optimale Tests auf 16x JBOD, 2x 8DR10, 2x 8DR5 (~3 Stunden)
- Zufällige Umbautests auf 1x 16DR10, 1x 16DR5 (~2:30)
- Zufällige Schreiblatenz für optimale und erneute Erstellung für 1x 16DR5 (~1:40)
Der erste Abschnitt der Leistungsmetriken konzentriert sich auf die Bandbreite durch die Karte in den Modi JBOD, RAID10 und RAID5. Da der MegaRAID 9670W-16i eine x16-PCIe-Gen4-Steckplatzbreite bietet, liegt seine Spitzenleistung in einer Richtung bei etwa 28 GB/s, und hier ist der Gen4-Steckplatz am besten. Im Vergleich dazu wird eine U.2 Gen4 SSD über eine x4-Verbindung angeschlossen und kann eine Spitzengeschwindigkeit von etwa 7 GB/s erreichen, und hier können die meisten Enterprise-Laufwerke ihre Höchstleistung für Lese-Workloads erreichen.
Abgesehen davon überlastet der MegaRAID 9670W den Steckplatz, an den er angeschlossen ist, vollständig. Betrachtet man die Leseleistung, liegt die JBOD-Konfiguration mit RAID28.3 bei 10GB/s und RAID5 liegt mit 28GB/s knapp darunter. Wenn wir unseren Fokus auf die Schreibleistung verlagern, liegt die JBOD-Basislinie bei 26.7 GB/s, während die RAID10-Konfiguration bei 10.1 GB/s und RAID5 bei 13.2 GB/s lag. Wenn wir uns eine 50:50-Aufteilung des gleichzeitigen Lese- und Schreibverkehrs ansehen, ergab die JBOD-Konfiguration 41.6 GB/s, RAID10 19.6 GB/s und RAID5 25.8 GB/s.
| Arbeitsbelastung | JBOD (MB/s) | RAID 10 – Optimal (MB/s) | RAID 5 – Optimal (MB/s) |
|---|---|---|---|
| Maximale sequentielle Lesevorgänge | 28,314 | 28,061 | 28,061 |
| Maximale sequentielle Schreibvorgänge | 26,673 | 10,137 | 13,218 |
| Maximal 50:50 seq. Lesevorgänge: Schreibvorgänge | 41,607 | 19,639 | 25,833 |
Wenn wir unseren Fokus auf zufällige Übertragungen in kleinen Blöcken verlagern, sehen wir, dass sich der MegaRAID 9670W bei der Leseleistung im Vergleich zum JBOD-Basiswert von 7 Mio. IOPS recht gut behauptet. Diese Geschwindigkeit sank während eines Wiederherstellungsvorgangs auf etwa die Hälfte (3.2 Mio. IOPS), wenn eine SSD in der RAID-Gruppe ausfiel. Betrachtet man die zufällige Schreibleistung, so ergab die JBOD-Basislinie 6.3 Mio. IOPS gegenüber 2.2 Mio. bei RAID10 und 1 Mio. bei RAID5. Diese Zahlen sanken nicht wesentlich, als eine SSD aus der Gruppe ausfiel und die RAID-Karte neu aufgebaut werden musste. In dieser Situation änderte sich RAID10 nicht, obwohl RAID5 von 1 Mio. auf 788 IOPS sank.
Bei der 4K-OLTP-Workload mit einer Mischung aus Lese- und Schreibleistung betrug die JBOD-Basislinie 7.8 Mio. IOPS im Vergleich zu RAID10 mit 5.6 Mio. IOPS und RAID5 mit 2.8 Mio. IOPS. Während einer Neuerstellung sank RAID10 von 5.6 Mio. auf 2.4 Mio. IOPS und RAID5 von 2.8 Mio. auf 1.8 Mio. IOPS.
| Arbeitsbelastung | JBOD | RAID 10 – Optimal | RAID 5 – Optimal | RAID 10 – Neuaufbau | RAID 5 – Neuaufbau |
|---|---|---|---|---|---|
| 4 KB zufällige Lesevorgänge (IOPs) | 7,017,041 | 7,006,027 | 6,991,181 | 3,312,304 | 3,250,371 |
| 4 KB zufällige Schreibvorgänge (IOPs) | 6,263,549 | 2,167,101 | 1,001,826 | 2,182,173 | 788,085 |
| 4 KB OLTP (IOPs) | 7,780,295 | 5,614,088 | 2,765,867 | 2,376,036 | 1,786,743 |
Ein weiterer wichtiger Aspekt der RAID-Leistung ist, wie gut sich der Speicher zwischen optimalen Bedingungen und der Wiederherstellungsleistung verhält, wenn ein Laufwerk ausfällt. Wenn Leistung oder Latenz massiv beeinträchtigt werden, kann die Reaktionsfähigkeit der Anwendung zum Problem werden. Zu diesem Zweck haben wir uns auf die zufällige Schreiblatenz von RAID5 4K im optimalen Modus und im Wiederherstellungsmodus konzentriert. Die Latenz blieb im gesamten Spektrum recht ähnlich, was genau das ist, was Sie in einem Speichersystem in einer Produktionsumgebung sehen möchten.
Wir haben nicht nur die Gesamtleistung jedes Modus anhand punktueller Leistungsmetriken bewertet, die auch die Leistung der RAID-Karte während eines Wiederherstellungsvorgangs umfassten, sondern wir haben auch Tests durchgeführt, um die Gesamtzeit zu ermitteln, die für die Wiederherstellung benötigt wurde. Hier bei RAID10 dauerte das Entfernen einer 6.4-TB-SSD aus der RAID-Gruppe und das erneute Hinzufügen bei RAID60.7 10 Minuten mit einer Wiederherstellungsgeschwindigkeit von 10.4 Min./TB. Die RAID5-Gruppe benötigte 82.3 Minuten mit einer Geschwindigkeit von 14.1 Min./TB.
Abschließende Überlegungen
Um ehrlich zu sein, sind wir mit leicht geneigtem Kopf und hochgezogener Augenbraue zu dieser Rezension gekommen. Wir haben seit einiger Zeit nichts mehr von einer RAID-Karte für NVMe-SSDs gehört, abgesehen von der aufstrebenden Klasse von Lösungen, die auf GPUs basieren. Wir mussten uns also die grundlegende Frage stellen: Kann Hardware-RAID überhaupt für NVMe-SSDs geeignet sein?
Die Antwort lautet eindeutig Ja. Dank der Leistung von PCIe Gen4 kann die MegaRAID 9670W-16i RAID-Karte bei einer Vielzahl von Arbeitslasten mit modernen SSDs mithalten. Ja, einige Bereiche wie die Bandbreite werden durch weniger PCIe-Lanes begrenzt sein, aber auch hier erreichen die meisten Produktionsumgebungen nicht dieses Niveau.
Bei der Spitzenbandbreite haben wir gesehen, dass der MegaRAID 9670W-16i die x16 PCIe Gen4-Grenze von 28 GB/s beim Lesen erreicht und bis zu 13 GB/s bei RAID5 bei der Schreibbandbreite bietet. Auf der Durchsatzseite erreichte die zufällige 4K-Leseleistung ihren Höhepunkt bei 7 Mio. IOPS, wobei die Schreibleistung zwischen 1 und 2.1 Mio. IOPS zwischen RAID5 und RAID10 lag. Für Bereitstellungen, die Flash in größeren Volumes konsolidieren oder Systeme umgehen möchten, die kein Software-RAID unterstützen, hat der MegaRAID 9670W viel zu bieten.
Wenn Sie Speicheradapter lieben, werden Sie gleich mehr von dieser Art von Abdeckung erhalten. Wir untersuchen bereits Server der neuesten Generation, wie den Dell PowerEdge R760, der eine Doppel-RAID-Kartenkonfiguration bietet, die auf dem gleichen Silizium wie diese Karte basiert. Im R760-Fall fügt Dell jeder Karte 8 NVMe-SSDs hinzu, wodurch wir eine robustere Unternehmenslösung erhalten als die, die wir hier zur Validierung getestet haben. Jetzt, da es so aussieht, als ob RAID-Karten wieder auf der Speisekarte für Server mit NVMe-SSDs stehen, wird es also noch viel mehr geben.
Broadcom 9670W-16i Produktseite
Beteiligen Sie sich an StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
