Examen des disques directs Dell PowerEdge par rapport à PERC 12

En publiant notre revue de la Dell PowerEdge R760 serveur, nous avons délibérément retenu les numéros de stockage, notant que le R760 dispose de nombreuses options de configuration de stockage qui auraient rendu l'examen initial trop long. Dans cette revue, nous explorons les options de stockage prises en charge par Dell PowerEdge pour les SSD NVMe Gen4 et le profil de performances de ce que Dell appelle les lecteurs directs par rapport à la carte RAID matérielle PERC 12.

En publiant notre revue de la Dell PowerEdge R760 serveur, nous avons délibérément retenu les numéros de stockage, notant que le R760 dispose de nombreuses options de configuration de stockage qui auraient rendu l'examen initial trop long. Dans cette revue, nous explorons les options de stockage prises en charge par Dell PowerEdge pour les SSD NVMe Gen4 et le profil de performances de ce que Dell appelle les lecteurs directs par rapport à la carte RAID matérielle PERC 12.

Options de fond de panier Dell PowerEdge NVMe

Dell propose divers fonds de panier de stockage dans ses serveurs PowerEdge 16G. Lors de la configuration du R760, il existe près de 50 options de châssis de disque. Bien qu'une partie de cela soit un support hérité (PERC 11, par exemple), le fait est que la décision du châssis est importante. Cela ne tient même pas compte de la prochaine prise en charge du SSD E3.S NVMe, qui est le seul moyen d'obtenir des SSD Gen5 dans les serveurs PowerEdge. Nous avons examiné E3.S dans le Dell PowerEdge R660 si vous souhaitez en savoir plus sur les avantages des facteurs de forme Gen5 et EDSFF.

Retour à la tâche à accomplir. Pour cet examen, nous souhaitons comprendre les implications de la sélection de l'option Direct Drives de Dell par rapport à l'option de carte PERC 12 HWRAID. Comme mentionné, l'accent explicite ici ne concerne que les SSD Gen4 U.2/U.3 NVMe. Pour l'instant, nous ignorons les options de châssis pour les disques durs SATA/SAS et 3.5″. Ces configurations sont beaucoup plus simples.

Dans le R760, Dell propose quelques options de châssis pour intégrer des disques Gen4 NVMe. L'option Direct Drives peut être configurée pour la prise en charge de 8 ou 16 disques. Pour les configurations HWRAID, Dell propose la carte PERC 12 HWRAID de la même manière, avec une carte RAID pour chaque lot de 8 SSD. Cette décision est importante car elle est fondamentale pour permettre à un R760 entièrement équipé de 16 SSD NVMe d'obtenir les meilleures performances possibles.

Présentation du Dell PERC 12

Le contrôleur RAID Dell PowerEdge (PERC) 12 est basé sur le silicium Broadcom SAS4116W. Malgré SAS dans le nom du produit, le contrôleur est un périphérique RAID-on-Chip (ROC) tri-mode. Le même contrôleur RAID est utilisé dans la gamme Broadcom MegaRAID. Nous avons récemment revu le MégaRAID 9670W mettant en évidence les capacités clés. Avec le Dell PERC 12, cependant, des différences de conception essentielles entrent en jeu en fonction du serveur Dell et de la famille de stockage qui vous intéressent.

En ce qui concerne PowerEdge, la plupart des configurations tireront parti de la carte PERC 965 "H12i Front". Dans notre examen du système R760 avec HWRAID, nous avons deux de ces cartes frontales H965i dans le système, une pour chaque ensemble de 8x SSD Solidigm P5520. Il convient de mentionner que ces cartes sont nettement plus petites que la carte complémentaire. La conception du PCB et la gestion thermique sont vraiment impressionnantes. Ces cartes sont montées directement sur le fond de panier NVMe à 8 disques et connectées à la carte mère avec deux câbles PCIe x8. Cela libère des emplacements PCIe du côté lecture du serveur pour d'autres périphériques.

En parlant de cartes d'extension, le PERC 12 H965i standard est une carte mi-hauteur, mi-longueur qui comprend un ventilateur intégré. Cette version de PERC 12 apparaîtra dans certaines configurations PowerEdge et peut également être trouvée dans certains des nouveaux JBOD Dell PowerVault MD. Enfin, il y a un H965i MX, qui est un PCB long et étroit conçu pour quelque chose comme le châssis modulaire MX7000.

Dell PERC 11 contre PERC 12

La carte Dell PERC 11 prenait en charge les SSD NVMe, mais malheureusement, les avantages du RAID matériel se sont traduits par un coût de performance élevé. Ce succès est précisément la raison pour laquelle l'industrie est si enthousiasmée par le nouveau silicium Broadcom et la version Dell de cette carte, le PERC. Dell a publié quelques chiffres sur la différence entre le PERC 11 et le PERC 12, qui sont stupéfiants.

Les avantages de la latence du PERC 12 sont clairement évidents ; mais regardez les performances dans les pires conditions, les performances lors d'une reconstruction. Le PERC 12 enregistre une amélioration de quelques milliers de pour cent, et même le temps de reconstruction RAID présente des avantages significatifs.

En regardant la bande passante et les nombres d'IOPS cités par Dell, nous pouvons à nouveau voir l'énorme pas en avant que fait le PERC 12 par rapport au PERC 11. Dans l'ensemble, toutes ces charges de travail voient une amélioration minimale de 2X dans la carte PERC 12. Bien sûr, nous avons effectué nos tests pour vérifier les performances du PERC 12, et nous y reviendrons.

Performances des disques directs Dell par rapport aux performances du Dell PERC 12

Pour comparer les performances de stockage dans Direct Drives par rapport à PERC 12, nous avons configuré nos "cousins" de serveur R760 avec SSD Solidigm P5520 7.68 To. Le Dell R760 avec Direct Drives dispose de 8 baies NVMe. Le R760 avec PERC 12 dispose de 16 baies NVMe avec deux cartes RAID avant H965i.

À première vue, il n'est peut-être pas évident qu'il existe certaines limitations de performances de chaque côté. À partir de l'approche Direct Drives, chaque SSD possède sa propre connexion PCIe x4, ce qui signifie que huit SSD ont 32 voies PCIe qui leur sont dédiées.

Cela permet une bande passante incroyable, généralement supérieure à 52 Go/s si chaque lecteur Gen4 peut saturer sa connexion de 6.5 Go/s. Par rapport à la configuration PERC 12 H965i, chaque groupe de huit SSD s'interface directement avec la carte RAID, qui se connecte à la carte mère avec une connexion PCIe x16. Cela réduit de moitié la bande passante prise en charge par la configuration Direct Drives. Alors évidemment, les connexions NVMe natives gagnent ? Pas exactement.

Lorsqu'il s'agit de plusieurs périphériques NVMe dans un système multi-CPU, le mappage NUMA entre le lecteur et le CPU, ainsi que les interruptions système, entrent en jeu. Cela peut être optimisé mais nécessite un réglage important. Toutes les applications n'en tiennent pas compte.

La virtualisation en est une où il est difficile de gérer le mappage NUMA car les ressources partagées sont équilibrées en temps réel, parfois vers un processeur qui n'a peut-être pas un accès direct aux ressources PCIe attribuées. Les cartes RAID matérielles atténuent bon nombre de ces problèmes et optimisent les interruptions du système et la commutation de contexte, ce qui libère des ressources CPU. Le mappage NUMA devient également moins complexe, car au lieu d'avoir 16 SSD individuels répartis sur deux processeurs, vous n'avez qu'une seule carte de stockage par processeur à gérer.

Notre plan de test se concentre sur deux domaines. Le premier concerne les charges de travail Vdbench mesurant les performances JBOD avec huit SSD transmis à l'un ou l'autre R760. Sur le Direct Drives R760 se trouvent huit SSD natifs, tandis que sur le HWRAID R760, le PERC 12 passe par huit périphériques de stockage bruts. Les deux sont testés tels quels sans optimisations. La 2e étape des tests montre les performances à l'échelle de la solution PERC 12, d'une configuration à une seule carte à une configuration optimisée à deux cartes.

Notre unité d'examen Direct Drives PowerEdge R760 a la configuration suivante :

• Double processeur Intel Xeon Gold 6430 (32 cœurs/64 threads, base 1.9 GHz)
• 1 To de RAM DDR5
• 8 SSD Solidigm P5520 7.68 To Gen4
• RHEL 9

L'unité d'examen HWRAID NVMe PowerEdge R760 a la configuration suivante :

• Double processeur Intel Xeon Gold 6430 (32 cœurs/64 threads, base 1.9 GHz)
• 1 To de RAM DDR5
• 16 SSD Solidigm P5520 7.68 To Gen4
• Double PERC 12 H965i
• RHEL 9

Analyse de la charge de travail Vdbench

Lors de l'analyse comparative des périphériques de stockage, les tests d'application sont les meilleurs, suivis des tests synthétiques. Bien qu'ils ne soient pas une représentation parfaite des charges de travail réelles, les tests synthétiques aident à référencer les périphériques de stockage avec un facteur de répétabilité qui facilite la comparaison de pommes à pommes entre des solutions concurrentes. Ces charges de travail offrent une gamme de profils de test allant des tests « aux quatre coins » et des tests de taille de transfert de base de données communs aux captures de traces à partir de différents environnements VDI.

Ces tests exploitent le générateur de charge de travail Vdbench typique avec un moteur de script pour automatiser et capturer les résultats sur un grand cluster de test de calcul. Cela nous permet de répéter les mêmes charges de travail sur divers périphériques de stockage, y compris les baies flash et les périphériques de stockage individuels. Notre processus de test pour ces benchmarks remplit toute la surface du disque avec des données, puis partitionne une section de disque égale à 25 % de la capacité du disque pour simuler la façon dont le disque pourrait répondre aux charges de travail des applications. Cela diffère des tests d'entropie complets, qui utilisent 100% du disque et les amènent dans un état stable. Par conséquent, ces chiffres refléteront des vitesses d'écriture plus soutenues.

Profils:

• Lecture et écriture aléatoires 4K : 100 % lecture ou écriture, 128 threads, 0-120 % iorate
• Lecture séquentielle 64K : 100 % de lecture, 32 threads, 0-120 % de vitesse
• Écriture séquentielle 64K : 100 % d'écriture, 16 threads, 0-120 % de vitesse
• Mélange aléatoire 4K 70R/30W et 90R/10W, 64 fils, 0-120 % de vitesse

En regardant notre premier test axé sur la bande passante de transfert en lecture, nous pouvons voir l'avantage du canal PCIe que l'approche Direct Drives a avec 32 voies PCIe par rapport au seul PERC 12 avec 16 voies. Cela équivaut à 41.6 Go/s à partir de Direct Drives contre 28 Go/s à partir du PERC 12 en mode JBOD.

En passant de la bande passante de lecture à celle d'écriture, l'avantage des voies PCIe supplémentaires diminue car la vitesse d'écriture du Solidigm P5520 est inférieure à sa vitesse de lecture. Ici, la configuration Direct Drives mesurait 18.3 Go/s contre 20.3 Go/s pour le PERC 12.

Dans notre charge de travail de lecture 4K aléatoire, les 8 SSD Solidigm P5520 du Direct Drive PowerEdge R760 ont mesuré un pic d'IOPS de 5.55 millions, contre 4.34 millions d'IOPS sur la configuration PERC 12.

En écriture aléatoire 4K, cette différence se réduit à nouveau, avec des disques directs mesurant 3.96 millions d'IOPS contre 4.15 millions d'IOPS sur PERC 12.

Dans notre première des deux charges de travail mixtes, nous examinons un transfert aléatoire 4K avec une répartition en lecture/écriture de 70/30. Ici, la configuration Direct Drives PowerEdge R760 mesurait un pic d'IOPS de 4.47 millions, contre le PERC 12 avec 3.66 millions d'IOPS.

En augmentant le pourcentage de lecture à 90 % dans le même test de transfert 4K, nous avons mesuré 5.04 millions d'IOPS à partir du serveur Direct Drives contre 3.62 millions d'IOPS à partir du système PERC 12.

Analyse de la charge de travail FIO

Pour mesurer les performances des disques des offres Direct Drive et PERC 12 HWRAID de Dell, les tests de performances ont été répartis dans les configurations suivantes. Le premier comprenait une configuration JBOD mesurant chaque disque en dehors des configurations RAID, RAID10, puis RAID5.

Pour l'approche Direct Drives, les SSD s'affichent normalement sur le système d'exploitation ; pour le PERC 12, ils sont transmis via le HBA en tant que périphériques de stockage bruts. Ces configurations ont été parcourues à travers un processus de script pour préconditionner le flash, exécuter les tests pour lesquels elles ont été conditionnées et passer au mélange de préconditionnement/charge de travail suivant.

• Préconditionnement séquentiel
• Tests séquentiels sur JBOD, 8DR10, 8DR5 (Single et Dual PERC)
• Préconditionnement aléatoire
• Tests optimaux aléatoires sur JBOD, 8DR10, 8DR5 (Single et Dual PERC)
• Tests de reconstruction aléatoires sur 8DR10, 8DR5 (Single et Dual PERC)
• Latence d'écriture aléatoire pour une reconstruction optimale pour 8DR5 (Single PERC)

Avec le PERC 12 H965i doté d'un emplacement PCIe Gen16 x4, ses performances de pointe seront d'environ 28 Go/s dans une direction, et c'est là que l'emplacement Gen4 atteint son maximum. Dell a adopté une approche unique de cette limite de bande passante en proposant une configuration double PERC 12 dans son PowerEdge R760. Au lieu de 16 baies SSD toutes connectées à une seule carte, la charge est divisée, chaque PERC 12 contrôlant son propre ensemble de 8 SSD. Cette approche contourne la limitation de la bande passante tout en augmentant considérablement le débit maximal disponible sous des charges de travail exigeantes.

En examinant d'abord les performances de transfert séquentiel, nous pouvons voir l'avantage de la bande passante de la configuration Direct Drives, avec une vitesse de lecture de 54.4 Go/s par rapport au seul PERC 12 mesurant 28.1 Go/s. La vitesse d'écriture native a également un avantage, avec une mesure de 33.4 Go/s contre 28.3 Go/s du seul PERC 12 avec huit disques derrière lui. Les vitesses d'écriture, en général, ne verront pas une énorme différence ici car, d'une manière générale, cette classe de SSD a une vitesse de lecture bien supérieure à la vitesse d'écriture.

En nous concentrant sur les performances de transfert aléatoire, nous commençons à voir un changement dans les avantages de la carte RAID en ce qui concerne l'équilibrage NUMA. Avec les performances de lecture, les SSD Solidigm 7.68 To P5520 ont mesuré 7.96 millions d'IOPS lors de notre test de lecture 4K, avec la configuration PERC 12 JBOD mesurant 7 millions d'IOPS. La vitesse d'écriture via la configuration Direct Drives a chuté à 3.4 millions d'IOPS tandis que le PERC 12 a maintenu 5.97 millions d'IOPS. Avec la charge de travail OLTP 4K, cela devient encore plus prononcé avec les lecteurs directs mesurant 3.6 millions d'IOPS contre 10.2 millions d'IOPS du PERC 12.

Alors que la pensée traditionnelle était que le RAID matériel n'a pas de valeur avec les SSD modernes, nous pouvons voir que ce n'est plus le cas. Oui, la configuration Direct Drives NVMe peut être réglée, mais c'est une cible mobile sur plusieurs SSD équilibrés sur deux processeurs.

Ceci est en contraste direct avec la carte PERC 12 HWRAID, qui gère toute cette complexité et se connecte à un seul processeur. Pour la mise à l'échelle, la deuxième carte PERC du Dell PowerEdge R2 se connecte à l'autre processeur, offrant un équilibrage pour les charges de travail plus importantes réparties sur ces deux groupes de disques. Il convient de noter qu'environ 760 millions d'IOPS, le système a commencé à saturer les processeurs, c'est pourquoi nous n'avons pas vu de mise à l'échelle linéaire dans certaines zones avec la carte PERC 10 supplémentaire.

Bien que nous n'ayons pas examiné les options RAID logicielles avec la configuration Direct Drives PowerEdge R760, nous avons eu l'occasion de voir les performances de la configuration RAID sur PERC 12 dans un état dégradé. Alors que les performances ont connu une baisse significative par rapport à leurs performances optimales, RAID10 et RAID5 ont offert de solides performances lors de la reconstruction de leurs groupes RAID.

Bien que des performances RAID optimales soient un aspect important du choix d'une solution de stockage, voir comment elle fonctionne dans des conditions sous-optimales peut être tout aussi important. À cette fin, nous avons mesuré la latence d'écriture 4K en RAID5 dans des conditions optimales et reconstruit les performances avec un disque en panne. Si les performances ou la latence devaient subir un coup dur, la réactivité des applications pourrait devenir un problème. Alors que les performances de reconstruction diminuent par rapport à l'optimum, la latence des performances n'augmente pas par rapport à la ligne de base.

Réflexions finales

La nouvelle carte RAID PERC12 NVMe de Dell change la donne pour les options de stockage NVMe dans les serveurs PowerEdge. Par le passé, certains clients hésitaient à passer des SSD SAS ou optaient pour des disques NVMe connectés à divers SDS ou hyperviseurs. Cependant, l'introduction de la carte PERC 12 a modifié l'équation pour PowerEdge, ce qui en fait une option plus viable.

La raison pour laquelle PERC 12 fonctionne si bien est également attribuable à la disposition du serveur PowerEdge. Notre R760 dispose de deux cartes PERC 12 (H965i Front), chacune avec x16 voies. Cela nous permet d'utiliser les 8 SSD Solidigm avec chaque carte, offrant une bande passante maximale allant jusqu'à 28 Go/s par carte. La connexion des 16 SSD à une seule carte RAID entraînerait une perte de la moitié des performances potentielles.

Vous pourriez demander, "Pourquoi pas 24 SSD avec HWRAID?" N'oubliez pas que chaque système a un goulot d'étranglement quelque part. Dans ce cas, nous pouvons saturer le processeur assez facilement, de sorte que le x86 au sein du serveur devient le facteur de déclenchement. Si nous parlons d'une solution en cluster, nous allons également ancrer le réseau. Une poignée de SSD peut facilement remplir 200GbE ou même 400GbE. Avec des capacités SSD dépassant désormais 30.72 To, il est également moins nécessaire d'avoir un serveur plein de disques pour les problèmes de capacité du système.

Si vous lisez notre Examen de la carte RAID Broadcom série 9600, nous avons commencé assez sceptiques quant au fait que le nouveau silicium fournirait de manière réaliste toute la résilience des données et reconstruirait les avantages de HWRAID sans écraser le profil de performances du SSD NVMe. Nous avons été agréablement surpris des résultats de cet examen et encore plus ici, le PERC 12 pouvant doubler dans le R760 pour obtenir deux fois plus de performances de pointe. Bien que les disques directs Dell puissent toujours être préférés dans de nombreux cas d'utilisation, comme le stockage défini par logiciel, l'option PERC 12 devrait être extrêmement populaire pour la plupart des cas d'utilisation en entreprise.

S'engager avec StorageReview

Newsletter |  YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Flux RSS