In unserem Test des Dell PowerEdge R760 Servers haben wir bewusst auf die Angabe der Speicherkapazität verzichtet, da der R760 über zahlreiche Speicherkonfigurationsoptionen verfügt, die den ursprünglichen Test zu umfangreich gemacht hätten. In diesem Test gehen wir nun detailliert auf die vom Dell PowerEdge unterstützten Speicheroptionen für Gen4 NVMe SSDs sowie auf das Leistungsprofil der von Dell als Direct Drives bezeichneten Systeme im Vergleich zur PERC 12 Hardware-RAID-Karte ein.
Optionen für die Dell PowerEdge NVMe-Rückwandplatine
Dell bietet in seinen 16G PowerEdge-Servern verschiedene Speicher-Backplanes an. Bei der Konfiguration des R760 stehen fast 50 Laufwerksgehäuse zur Auswahl. Obwohl einige davon ältere Systeme unterstützen (z. B. PERC 11), ist die Wahl des Gehäuses von großer Bedeutung. Hinzu kommt die zukünftige Unterstützung für E3.S NVMe SSDs, die die einzige Möglichkeit bietet, Gen5 SSDs in PowerEdge-Servern einzusetzen. Wenn Sie mehr über die Vorteile von Gen5 und den EDSFF-Formfaktoren erfahren möchten, haben wir E3.S im Dell PowerEdge R660 genauer unter die Lupe genommen.
Zurück zur eigentlichen Aufgabe. Für diesen Test möchten wir die Auswirkungen der Auswahl der Direct Drives-Option von Dell im Vergleich zur PERC 12 HWRAID-Kartenoption verstehen. Wie bereits erwähnt, liegt der explizite Fokus hier nur auf der Berücksichtigung von Gen4 U.2/U.3 NVMe SSDs. Vorerst ignorieren wir Gehäuseoptionen für SATA/SAS und 3.5-Zoll-Festplatten. Diese Konfigurationen sind viel einfacher.
Beim R760 bietet Dell mehrere Gehäuseoptionen an, um Gen4-NVMe-Laufwerke an Bord zu bekommen. Die Direct Drives-Option kann für die Unterstützung von 8 oder 16 Laufwerken konfiguriert werden. Für die HWRAID-Konfigurationen bietet Dell die PERC 12 HWRAID-Karte auf die gleiche Weise an, mit einer RAID-Karte für jeden Stapel von 8 SSDs. Diese Entscheidung ist wichtig, da sie von grundlegender Bedeutung dafür ist, dass ein vollbestückter R760 mit 16 NVMe-SSDs die bestmögliche Leistung erzielen kann.
Dell PERC 12 Übersicht
Der Dell PowerEdge RAID-Controller (PERC) 12 basiert auf dem Broadcom SAS4116W-Chip. Trotz der Bezeichnung „SAS“ handelt es sich um einen Tri-Mode-RAID-on-Chip (ROC). Derselbe RAID-Controller kommt auch in der Broadcom MegaRAID-Produktreihe zum Einsatz. Wir haben kürzlich den MegaRAID 9670W getestet und seine wichtigsten Funktionen hervorgehoben. Beim Dell PERC 12 ergeben sich jedoch je nach Dell Server- und Speicherfamilie wesentliche Designunterschiede.
Was PowerEdge betrifft, nutzen die meisten Konfigurationen die PERC 965-Karte „H12i Front“. In unserem Test des R760-Systems mit HWRAID haben wir zwei dieser H965i-Frontkarten im System, eine für jeden Satz von 8x Solidigm P5520 SSDs. Erwähnenswert ist, dass diese Karten deutlich kleiner sind als die Zusatzkarte. Das PCB-Design und das Wärmemanagement sind wirklich beeindruckend. Diese Karten werden direkt auf der NVMe-Rückwandplatine mit 8 Laufwerken montiert und mit zwei x8-PCIe-Kabeln mit dem Motherboard verbunden. Dadurch werden PCIe-Steckplätze auf der Leseseite des Servers für andere Geräte frei.
Apropos Erweiterungskarten: Die Standard-PERC-12-H965i ist eine Karte im Halbhöhen-Halblängen-Format mit integriertem Lüfter. Diese PERC-12-Version ist in einigen PowerEdge-Konfigurationen und auch in einigen der neuen Dell PowerVault MD JBODs zu finden . Schließlich gibt es noch die H965i MX, eine lange, schmale Platine, die beispielsweise für das modulare Gehäuse MX7000 entwickelt wurde.
Dell PERC 11 vs. PERC 12
Die Dell PERC 11-Karte unterstützte zwar NVMe-SSDs, doch die Vorteile von Hardware-RAID gingen leider mit erheblichen Leistungseinbußen einher. Genau deshalb ist die Branche so begeistert von dem neuen Broadcom-Chip und Dells Version dieser Karte, der PERC. Dell hat einige Zahlen zum Unterschied zwischen PERC 11 und PERC 12 veröffentlicht , die verblüffend sind.
Die Latenzvorteile von PERC 12 liegen klar auf der Hand; Aber schauen Sie sich die Leistung unter Worst-Case-Bedingungen an, die Leistung während eines Umbaus. PERC 12 verzeichnet eine Verbesserung um einige tausend Prozent, und selbst die RAID-Wiederaufbauzeit weist erhebliche Vorteile auf.
Wenn wir uns die Bandbreiten- und IOPS-Zahlen ansehen, die Dell angibt, können wir erneut den enormen Fortschritt erkennen, den der PERC 12 im Vergleich zum PERC 11 macht. Generell lässt sich sagen, dass alle diese Workloads bei der PERC 2-Karte eine mindestens zweifache Verbesserung verzeichnen. Natürlich haben wir unsere Tests durchgeführt, um die Leistung des PERC 12 zu überprüfen, und dazu kommen wir gleich.
Leistung von Dell Direct Drives vs. Dell PERC 12
Um die Speicherleistung von Direct Drives mit der von PERC 12 zu vergleichen, haben wir unsere R760-Server-„Verwandten“ mit Solidigm P5520 7.68 TB SSDs ausgestattet . Der Dell R760 mit Direct Drives verfügt über 8 NVMe-Einschübe. Der R760 mit PERC 12 hat 16 NVMe-Einschübe mit zwei H965i-RAID-Karten an der Vorderseite.
Auf den ersten Blick ist es vielleicht nicht offensichtlich, dass es auf beiden Seiten gewisse Leistungseinschränkungen gibt. Beginnend mit dem Direct-Drives-Ansatz verfügt jede SSD über eine eigene x4-PCIe-Verbindung, was bedeutet, dass acht SSDs über 32 PCIe-Lanes verfügen.
Dies ermöglicht eine unglaubliche Bandbreite, im Allgemeinen über 52 GB/s, wenn jedes Gen4-Laufwerk seine 6.5 GB/s-Verbindung auslasten kann. Im Vergleich zum PERC 12 H965i-Setup ist jede Gruppe von acht SSDs direkt mit der RAID-Karte verbunden, die über eine x16-PCIe-Verbindung wieder mit dem Motherboard verbunden ist. Dadurch wird die von der Direct Drives-Konfiguration unterstützte Bandbreite halbiert. Offensichtlich gewinnen also die nativen NVMe-Verbindungen? Nicht genau.
Beim Umgang mit mehreren NVMe-Geräten in einem Multi-CPU-System kommen die NUMA-Zuordnung zwischen Laufwerk und CPU sowie Systeminterrupts ins Spiel. Dies kann optimiert werden, erfordert jedoch erhebliche Anpassungen. Nicht alle Anwendungen berücksichtigen dies.
Bei der Virtualisierung ist die Verwaltung der NUMA-Zuordnung eine Herausforderung, da gemeinsam genutzte Ressourcen in Echtzeit ausgeglichen werden, manchmal auf eine CPU, die möglicherweise keinen direkten Zugriff auf die zugewiesenen PCIe-Ressourcen hat. Hardware-RAID-Karten mildern viele dieser Probleme und optimieren Systemunterbrechungen und Kontextwechsel, wodurch CPU-Ressourcen frei werden. Auch die NUMA-Zuordnung wird weniger komplex, da Sie statt 16 einzelner SSDs, die auf zwei CPUs aufgeteilt sind, nur eine Speicherkarte pro CPU verwalten müssen.
Unser Testplan konzentriert sich auf zwei Bereiche. Das erste sind Vdbench-Workloads, die die JBOD-Leistung mit acht SSDs messen, die an einen der R760 weitergeleitet werden. Auf den Direct Drives R760 befinden sich acht native SSDs, während auf dem HWRAID R760 der PERC 12 acht Rohspeichergeräte durchläuft. Beide werden unverändert ohne Optimierungen getestet. Die 2. Testphase zeigt die skalierte Leistung der PERC 12-Lösung von einem Einzelkarten-Setup bis hin zu einem optimierten Dual-Karten-Setup.
Unser Testgerät Direct Drives PowerEdge R760 hat die folgende Konfiguration:
- Dual Intel Xeon Gold 6430 (32 Kerne/64 Threads, 1.9 GHz Basis)
- 1 TB DDR5-RAM
- 8 Solidigm P5520 7.68 TB Gen4 SSDs
- RHEL 9
Das Testgerät HWRAID NVMe PowerEdge R760 hat die folgende Konfiguration:
- Dual Intel Xeon Gold 6430 (32 Kerne/64 Threads, 1.9 GHz Basis)
- 1 TB DDR5-RAM
- 16 Solidigm P5520 7.68 TB Gen4 SSDs
- Dual PERC 12 H965i
- RHEL 9
Vdbench-Workload-Analyse
Beim Benchmarking von Speichergeräten sind Anwendungstests am besten, gefolgt von synthetischen Tests. Obwohl sie keine perfekte Darstellung der tatsächlichen Arbeitslasten sind, helfen synthetische Tests dabei, Speichergeräte mit einem Wiederholbarkeitsfaktor zu vergleichen, der es einfach macht, konkurrierende Lösungen direkt miteinander zu vergleichen. Diese Workloads bieten eine Reihe von Testprofilen, die von „Vier-Ecken“-Tests und allgemeinen Datenbankübertragungsgrößentests bis hin zu Trace-Erfassungen aus verschiedenen VDI-Umgebungen reichen.
Diese Tests nutzen den typischen Vdbench-Workload-Generator mit einer Skript-Engine, um Ergebnisse über einen großen Compute-Test-Cluster zu automatisieren und zu erfassen. Dadurch können wir dieselben Arbeitslasten auf verschiedenen Speichergeräten wiederholen, einschließlich Flash-Arrays und einzelnen Speichergeräten. Unser Testprozess für diese Benchmarks füllt die gesamte Laufwerksoberfläche mit Daten und partitioniert dann einen Laufwerksabschnitt, der 25 Prozent der Laufwerkskapazität entspricht, um zu simulieren, wie das Laufwerk auf Anwendungsauslastungen reagieren könnte. Dies unterscheidet sich von vollständigen Entropietests, bei denen 100 Prozent des Antriebs genutzt und in einen stationären Zustand gebracht werden. Infolgedessen spiegeln diese Zahlen höhere Dauerschreibgeschwindigkeiten wider.
Profile:
- 4K Random Read and Write: 100 Prozent Lesen oder Schreiben, 128 Threads, 0–120 Prozent Iorate
- 64K sequentielles Lesen: 100 Prozent Lesen, 32 Threads, 0–120 Prozent Leserate
- 64K sequentielles Schreiben: 100 Prozent Schreiben, 16 Threads, 0-120 Prozent Iorate
- 4K 70R/30W und 90R/10W Random Mix, 64 Threads, 0-120 Prozent Iorate
Wenn wir unseren ersten Test betrachten, der sich auf die Leseübertragungsbandbreite konzentriert, können wir den PCIe-Kanalvorteil erkennen, den der Direct Drives-Ansatz mit 32 PCIe-Lanes gegenüber dem einzelnen PERC 12 mit 16 Lanes hat. Dies entspricht 41.6 GB/s bei Direktlaufwerken im Vergleich zu 28 GB/s beim PERC 12 im JBOD-Modus.
Beim Wechsel von Lese- auf Schreibbandbreite schrumpft der Vorteil der zusätzlichen PCIe-Lanes, da die Schreibgeschwindigkeit des Solidigm P5520 geringer ist als seine Lesegeschwindigkeit. Hier wurden bei der Direct Drives-Konfiguration 18.3 GB/s gemessen, verglichen mit 20.3 GB/s beim PERC 12.
Bei unserem zufälligen 4K-Lese-Workload haben die 8 Solidigm P5520 SSDs im Direct Drive PowerEdge R760 eine Spitzenleistung von 5.55 Mio. IOPS gemessen, verglichen mit 4.34 Mio. IOPS beim PERC 12-Setup.
Bei 4K-Zufallsschreibvorgängen verringert sich dieser Unterschied erneut: Direktlaufwerke messen 3.96 Mio. IOPS gegenüber 4.15 Mio. IOPS auf PERC 12.
In unserem ersten von zwei gemischten Workloads betrachten wir eine 4K-Zufallsübertragung mit einer Lese-/Schreibverteilung von 70/30. Hier wurden bei der Direct Drives PowerEdge R760-Konfiguration Spitzenwerte von 4.47 Mio. IOPS gemessen, während der PERC 12 3.66 Mio. IOPS erreichte.
Als wir den Leseprozentsatz im selben 90K-Übertragungstest auf 4 Prozent erhöhten, haben wir 5.04 Mio. IOPS vom Direct Drives-Server im Vergleich zu 3.62 Mio. IOPS vom PERC 12-System gemessen.
FIO-Workload-Analyse
Um die Leistung der Laufwerke der Direct Drive- und PERC 12 HWRAID-Angebote von Dell zu messen, wurden die Benchmarks in die folgenden Konfigurationen aufgeteilt. Die erste umfasste eine JBOD-Konfiguration, bei der jedes Laufwerk außerhalb der RAID-, RAID10- und dann RAID5-Konfigurationen gemessen wurde.
Beim Direct Drives-Ansatz werden die SSDs dem Betriebssystem wie gewohnt angezeigt. Beim PERC 12 werden sie als Rohspeichergeräte durch den HBA geleitet. Diese Konfigurationen wurden einem Skriptprozess unterzogen, um den Flash vorzukonditionieren, die Tests auszuführen, für die sie konditioniert wurden, und mit der nächsten Vorkonditionierungs-/Workload-Mischung fortzufahren.
- Sequentielle Vorkonditionierung
- Sequentielle Tests auf JBOD, 8DR10, 8DR5 (Single und Dual PERC)
- Zufällige Vorkonditionierung
- Zufällige optimale Tests für JBOD, 8DR10, 8DR5 (Single und Dual PERC)
- Zufällige Wiederherstellungstests auf 8DR10, 8DR5 (Single und Dual PERC)
- Zufällige Schreiblatenz für optimale und erneute Erstellung für 8DR5 (Single PERC)
Da der PERC 12 H965i über einen x16-PCIe-Gen4-Steckplatz verfügt, liegt seine Spitzenleistung in einer Richtung bei etwa 28 GB/s, und hier ist der Gen4-Steckplatz am besten. Dell verfolgte einen einzigartigen Ansatz zur Lösung dieser Bandbreitenbeschränkung, indem es in seinem PowerEdge R12 eine Dual-PERC-760-Konfiguration anbot. Anstelle von 16 SSD-Schächten, die alle mit einer einzigen Karte verbunden sind, wird die Last aufgeteilt, wobei jeder PERC 12 seinen eigenen Satz von 8 SSDs steuert. Dieser Ansatz umgeht die Bandbreitenbeschränkung und erhöht gleichzeitig den verfügbaren Spitzendurchsatz bei anspruchsvollen Arbeitslasten erheblich.
Wenn wir uns zunächst die sequentielle Übertragungsleistung ansehen, erkennen wir den Bandbreitenvorteil der Direct Drives-Konfiguration mit einer Lesegeschwindigkeit von 54.4 GB/s gegenüber 12 GB/s beim einzelnen PERC 28.1. Auch die native Schreibgeschwindigkeit hat einen Vorteil: Sie beträgt 33.4 GB/s gegenüber 28.3 GB/s beim einzelnen PERC 12 mit acht Laufwerken dahinter. Bei den Schreibgeschwindigkeiten wird es hier im Allgemeinen keinen großen Unterschied geben, da diese Klasse von SSDs im Allgemeinen eine Lesegeschwindigkeit aufweist, die weit über der Schreibgeschwindigkeit liegt.
| Arbeitsbelastung | JBOD-Direktlaufwerke (MB/s) | JBOD 1 x PERC 12 (MB/s) | JBOD 2 x PERC 12 (MB/s) | RAID 10 1 x PERC 12 – Optimal (MB/s) | RAID 10 2 x PERC 12 – Optimal (MB/s) | RAID 5 1 x PERC 12 – Optimal (MB/s) | RAID 5 2 x PERC 12 – Optimal (MB/s) |
|---|---|---|---|---|---|---|---|
| Maximale sequentielle Lesevorgänge | 54,396 | 28,076 | 56,114 | 27,450 | 55,482 | 24,049 | 56,107 |
| Maximale sequentielle Schreibvorgänge | 33,367 | 28,284 | 56,541 | 11,037 | 22,120 | 12,269 | 24,351 |
| Maximal 50:50 seq. Lesevorgänge: Schreibvorgänge | 33,569 | 28,286 | 56,541 | 11,011 | 21,875 | 12,269 | 24,360 |
Wenn wir unseren Fokus auf die zufällige Übertragungsleistung verlagern, sehen wir eine Verschiebung dahingehend, wo die Vorteile der RAID-Karte in Bezug auf den NUMA-Balancing zum Tragen kommen können. Bei der Leseleistung haben die Solidigm 7.68 TB P5520 SSDs in unserem 7.96K-Lesetest 4 Millionen IOPS gemessen, wobei die PERC 12 JBOD-Konfiguration 7 Millionen IOPS misst. Die Schreibgeschwindigkeit durch die Direct Drives-Konfiguration sank auf 3.4 Mio. IOPS, während der PERC 12 5.97 Mio. IOPS beibehielt. Bei der 4K-OLTP-Arbeitslast wird dies noch deutlicher, da die Direktlaufwerke 3.6 Mio. IOPS im Vergleich zu 10.2 Mio. IOPS beim PERC 12 messen.
Während die traditionelle Meinung war, dass Hardware-RAID bei modernen SSDs keinen Wert hat, sehen wir, dass dies nicht mehr der Fall ist. Ja, das Direct Drives NVMe-Setup kann optimiert werden, aber es ist ein bewegliches Ziel für mehrere SSDs, die auf zwei CPUs verteilt sind.
Dies steht im direkten Gegensatz zur PERC 12 HWRAID-Karte, die diese ganze Komplexität bewältigt und nur eine Verbindung zu einer CPU herstellt. Zur Skalierung wird die zweite PERC-Karte im Dell PowerEdge R2 mit der anderen CPU verbunden und bietet so einen Ausgleich für größere Arbeitslasten, die auf diese beiden Festplattengruppen aufgeteilt werden. Es ist zu beachten, dass das System bei etwa 760 Mio. IOPS begann, die CPUs zu sättigen, weshalb wir mit der zusätzlichen PERC 10-Karte in einigen Bereichen keine lineare Skalierung feststellen konnten.
| Arbeitsbelastung | JBOD-Direktlaufwerke (MB/s) | JBOD 1 x PERC 12 (MB/s) | JBOD 2 x PERC 12 (MB/s) | RAID 10 1 x PERC 12 – Optimal (MB/s) | RAID 10 2 x PERC 12 – Optimal (MB/s) | RAID 5 1 x PERC 12 – Optimal (MB/s) | RAID 5 2 x PERC 12 – Optimal (MB/s) |
|---|---|---|---|---|---|---|---|
| 4 KB zufällige Lesevorgänge (IOPs) | 7,958,204 | 7,003,556 | 12,447,020 | 6,757,498 | 13,067,852 | 6,974,826 | 13,205,656 |
| 4 KB zufällige Schreibvorgänge (IOPs) | 3,473,446 | 5,974,265 | 11,323,633 | 2,204,738 | 4,684,333 | 862,769 | 1,725,198 |
| 4 KB OLTP (IOPs) | 3,553,974 | 10,195,618 | 11,967,984 | 6,441,868 | 12,288,219 | 2,635,711 | 5,279,999 |
Während wir uns bei der Direct Drives PowerEdge R760-Konfiguration keine Software-RAID-Optionen angesehen haben, hatten wir die Möglichkeit zu sehen, wie gut die RAID-Konfiguration auf PERC 12 in einem herabgesetzten Zustand funktioniert. Während die Leistung im Vergleich zur optimalen Leistung erheblich zurückging, boten sowohl RAID10 als auch RAID5 eine starke Leistung beim Neuaufbau ihrer RAID-Gruppen.
| Arbeitsbelastung | RAID 10 1 x PERC 12 – Neuaufbau (MB/s) | RAID 10 2 x PERC 12 – Neuaufbau (MB/s) | RAID 5 1 x PERC 12 – Neuaufbau (MB/s) | RAID 5 2 x PERC 12 – Neuaufbau (MB/s) |
|---|---|---|---|---|
| 4 KB zufällige Lesevorgänge (IOPs) | 1,345,175 | 2,692,738 | 2,350,889 | 4,676,748 |
| 4 KB zufällige Schreibvorgänge (IOPs) | 1,666,967 | 3,174,430 | 242,802 | 479,144 |
| 4 KB OLTP (IOPs) | 1,618,209 | 3,253,603 | 243,349 | 486,251 |
Während die optimale RAID-Leistung ein wichtiger Aspekt bei der Auswahl einer Speicherlösung ist, kann es ebenso wichtig sein, zu sehen, wie sie unter suboptimalen Bedingungen funktioniert. Zu diesem Zweck haben wir die 4K-Schreiblatenz in RAID5 unter optimalen Bedingungen gemessen und die Wiederherstellungsleistung bei einem Laufwerksausfall gemessen. Sollten Leistung oder Latenz massiv beeinträchtigt werden, könnte die Reaktionsfähigkeit der Anwendung zum Problem werden. Während die Wiederherstellungsleistung im Vergleich zum Optimum abnimmt, steigt die Latenz der Leistung gegenüber dem Ausgangswert nicht an.
Fazit
Die neue PERC12 NVMe RAID-Karte von Dell verändert die Spielregeln für NVMe-Speicheroptionen in PowerEdge-Servern. In der Vergangenheit zögerten einige Kunden, von SAS-SSDs zu wechseln oder sich für NVMe-Laufwerke zu entscheiden, die an verschiedene SDS oder Hypervisoren angeschlossen waren. Die Einführung der PERC 12-Karte hat jedoch die Gleichung für PowerEdge geändert und es zu einer praktikableren Option gemacht.
Der Grund für die gute Leistung von PERC 12 ist auch auf das Layout des PowerEdge-Servers zurückzuführen. Unser R760 verfügt über zwei PERC 12-Karten (H965i Front) mit jeweils x16 Lanes. Dadurch können wir die 8 Solidigm-SSDs mit jeder Karte nutzen und so eine maximale Bandbreite von bis zu 28 GB/s pro Karte bereitstellen. Der Anschluss aller 16 SSDs an eine einzige RAID-Karte würde zu einem Verlust der Hälfte der potenziellen Leistung führen.
Sie fragen sich vielleicht: „Warum nicht 24 SSDs mit HWRAID?“ Denken Sie daran, dass jedes System irgendwo einen Engpass hat. In diesem Fall können wir die CPU ziemlich leicht auslasten, sodass der x86 im Server zum Gating-Faktor wird. Wenn es sich um eine Clusterlösung handelt, binden wir auch das Netzwerk ein. Eine Handvoll SSDs können problemlos 200 GbE oder sogar 400 GbE füllen. Da die SSD-Kapazitäten mittlerweile über 30.72 TB liegen, ist es auch bei Systemkapazitätsproblemen weniger erforderlich, einen Server voller Laufwerke zu haben.
Wer unseren Test der Broadcom 9600 Series RAID-Karte gelesen hat, weiß, dass wir anfangs skeptisch waren, ob der neue Chip die Datensicherheit und die Wiederherstellungsfunktionen von HWRAID tatsächlich bieten würde, ohne die Leistung von NVMe-SSDs einzuschränken. Wir waren von den Ergebnissen im damaligen Test positiv überrascht und sind hier sogar noch mehr begeistert, da der PERC 12 im R760 die doppelte Spitzenleistung erzielt. Obwohl Dell Direct Drives in vielen Anwendungsfällen, wie z. B. softwaredefiniertem Speicher, weiterhin bevorzugt werden, dürfte die PERC 12-Option für die meisten Unternehmensanwendungen äußerst beliebt sein.
Amazon