Bij het publiceren van onze recensie van de Dell PowerEdge R760 server, hebben we doelbewust de opslagnummers achtergehouden, waarbij we opmerkten dat de R760 veel opslagconfiguratie-opties heeft die de eerste beoordeling te lang zouden hebben gemaakt. In deze review gaan we dieper in op de opslagopties die Dell PowerEdge ondersteunt voor Gen4 NVMe SSD's en het prestatieprofiel van wat Dell Direct Drives vs. PERC 12 hardware RAID-kaart noemt.
Dell PowerEdge NVMe backplane-opties
Dell biedt verschillende backplanes voor opslag in hun 16G PowerEdge-servers. Bij het configureren van de R760 zijn er bijna 50 aandrijfchassisopties. Hoewel een deel hiervan legacy-ondersteuning is (bijvoorbeeld PERC 11), gaat het erom dat de chassisbeslissing groot is. Dit houdt niet eens rekening met de aanstaande E3.S NVMe SSD-ondersteuning, wat de enige manier is om Gen5 SSD's in PowerEdge-servers te krijgen. We keken naar E3.S in de Dell PowerEdge R660 als u meer wilt weten over de voordelen van Gen5- en EDSFF-vormfactoren.
Terug naar de taak die voorhanden is. Voor deze beoordeling willen we de implicaties begrijpen van het selecteren van Dell's Direct Drives-optie in vergelijking met de PERC 12 HWRAID-kaartoptie. Zoals vermeld, is de expliciete focus hier alleen gericht op Gen4 U.2/U.3 NVMe SSD's. Voorlopig negeren we chassisopties voor SATA/SAS en 3.5″ HDD's. Die configuraties zijn veel eenvoudiger.
In de R760 biedt Dell een aantal chassisopties om Gen4 NVMe-schijven aan boord te krijgen. De Direct Drives-optie kan worden geconfigureerd voor ondersteuning van 8 of 16 schijven. Voor de HWRAID-configuraties biedt Dell de PERC 12 HWRAID-kaart op dezelfde manier aan, met één RAID-kaart voor elke batch van 8 SSD's. Deze beslissing is belangrijk omdat het van fundamenteel belang is om een volledig gevulde R760 met 16 NVMe SSD's de best mogelijke prestaties te laten krijgen.
Dell PERC 12 Overzicht
De Dell PowerEdge RAID-controller (PERC) 12 is gebaseerd op Broadcom SAS4116W-silicium. Ondanks SAS in de productnaam, is de controller een tri-mode RAID-on-Chip (ROC)-apparaat. Dezelfde RAID-controller wordt gebruikt in de Broadcom MegaRAID-lijn. We hebben onlangs de MegaRAID 9670W het benadrukken van de belangrijkste capaciteiten. Bij de Dell PERC 12 spelen echter essentiële ontwerpverschillen een rol, afhankelijk van de Dell server- en storagefamilie waarin u geïnteresseerd bent.
Wat PowerEdge betreft, zullen de meeste configuraties gebruikmaken van de "H965i Front" PERC 12-kaart. In onze review van het R760-systeem met HWRAID hebben we twee van deze H965i Front-kaarten in het systeem, één voor elke set van 8x Solidigm P5520 SSD's. Het is vermeldenswaard dat deze kaarten aanzienlijk kleiner zijn dan de uitbreidingskaart. Het PCB-ontwerp en thermisch beheer zijn echt indrukwekkend. Deze kaarten worden rechtstreeks op de NVMe-backplane met 8 schijven gemonteerd en met twee x8 PCIe-kabels op het moederbord aangesloten. Dit maakt PCIe-slots aan de leeszijde van de server vrij voor andere apparaten.
Over uitbreidingskaarten gesproken, de standaard PERC 12 H965i is een kaart van halve hoogte en halve lengte met een ingebouwde ventilator. Deze versie van PERC 12 verschijnt in sommige PowerEdge-configuraties en is ook te vinden in enkele van de nieuwe Dell PowerVault MD JBOD's. Ten slotte is er een H965i MX, een lange, smalle PCB die is ontworpen voor zoiets als het modulaire MX7000-chassis.
Dell PERC 11 versus PERC 12
De Dell PERC 11-kaart ondersteunde NVMe SSD's, maar helaas brachten de voordelen van hardware-RAID hoge prestatiekosten met zich mee. Die hit is precies waarom de industrie zo enthousiast is over het nieuwe Broadcom-silicium en de Dell-versie van die kaart, de PERC. Dell heeft enkele cijfers gepubliceerd over het verschil tussen PERC 11 en PERC 12, die verbazingwekkend zijn.
De latentievoordelen van PERC 12 zijn duidelijk zichtbaar; maar kijk naar de prestaties onder de slechtste omstandigheden, prestaties tijdens een verbouwing. PERC 12 levert een verbetering van enkele duizenden procenten op, en zelfs de tijd die nodig is om de RAID opnieuw op te bouwen, levert aanzienlijke voordelen op.
Als we kijken naar de bandbreedte en IOPS-cijfers die Dell citeert, zien we opnieuw de enorme stap voorwaarts die de PERC 12 maakt in vergelijking met de PERC 11. Over de hele linie zien al deze workloads een minimale 2x verbetering in de PERC 12-kaart. Natuurlijk hebben we onze tests gedaan om de PERC 12-prestaties te controleren, en daar komen we op terug.
Dell Direct Drives vs. Dell PERC 12 Prestaties
Om de opslagprestaties in Direct Drives versus PERC 12 te vergelijken, hebben we onze R760-server "neven" geconfigureerd met Solidigm P5520 7.68TB SSD's. De Dell R760 met Direct Drives heeft 8x NVMe-bays. De R760 met PERC 12 heeft 16x NVMe-bays met dubbele H965i Front RAID-kaarten.
Op het eerste gezicht is het misschien niet duidelijk dat er aan beide kanten bepaalde prestatiebeperkingen zijn. Beginnend met de Direct Drives-benadering, heeft elke SSD zijn eigen x4 PCIe-verbinding, wat betekent dat acht SSD's 32 speciale PCIe-banen hebben.
Dit maakt een ongelooflijke bandbreedte mogelijk, meestal meer dan 52 GB/s als elke Gen4-schijf zijn 6.5 GB/s-verbinding kan verzadigen. Vergeleken met de PERC 12 H965i-opstelling, is elke groep van acht SSD's rechtstreeks verbonden met de RAID-kaart, die via een x16 PCIe-verbinding weer op het moederbord wordt aangesloten. Dit halveert de bandbreedte die de Direct Drives-configuratie ondersteunt. Dus het is duidelijk dat de native NVMe-verbindingen winnen? Niet precies.
Bij het omgaan met meerdere NVMe-apparaten in een multi-CPU-systeem, spelen NUMA-mapping tussen drive en CPU, evenals systeemonderbrekingen een rol. Dit kan rond worden geoptimaliseerd, maar vereist een aanzienlijke afstemming. Niet alle toepassingen houden hier rekening mee.
Bij virtualisatie is het een uitdaging om NUMA-mapping te beheren, aangezien gedeelde bronnen in realtime worden gebalanceerd, soms naar een CPU die mogelijk geen directe toegang heeft tot de toegewezen PCIe-bronnen. Hardware RAID-kaarten verminderen veel van deze problemen en optimaliseren voor systeemonderbrekingen en contextwisselingen, waardoor CPU-bronnen worden vrijgemaakt. NUMA-toewijzing wordt ook minder complex, omdat in plaats van 16 afzonderlijke SSD's over twee CPU's te verdelen, u slechts één geheugenkaart per CPU hoeft te beheren.
Ons testplan richt zich op twee gebieden. De eerste is Vdbench-workloads die JBOD-prestaties meten met acht SSD's die worden doorgegeven aan een van beide R760. Op de Direct Drives R760 bevinden zich acht native SSD's, terwijl op de HWRAID R760 de PERC 12 door acht onbewerkte opslagapparaten gaat. Beide worden getest zoals ze zijn, zonder optimalisaties. De 2e testfase toont de geschaalde prestaties van de PERC 12-oplossing van een enkele tot een geoptimaliseerde opstelling met twee kaarten.
Onze Direct Drives PowerEdge R760 review unit heeft de volgende configuratie:
- Dual Intel Xeon Gold 6430 (32 kernen/64 threads, 1.9 GHz basis)
- 1 TB DDR5 RAM
- 8 Solidigm P5520 7.68TB Gen4 SSD's
- RHEL 9
De HWRAID NVMe PowerEdge R760 review unit heeft de volgende configuratie:
- Dual Intel Xeon Gold 6430 (32 kernen/64 threads, 1.9 GHz basis)
- 1 TB DDR5 RAM
- 16 Solidigm P5520 7.68TB Gen4 SSD's
- Dubbele PERC 12 H965i
- RHEL 9
Vdbench werklastanalyse
Bij het benchmarken van opslagapparaten is het testen van applicaties het beste, gevolgd door synthetisch testen. Hoewel het geen perfecte weergave is van de werkelijke werklast, helpen synthetische tests bij het bepalen van basisopslagapparaten met een herhaalbaarheidsfactor die het gemakkelijk maakt om appels met appels te vergelijken tussen concurrerende oplossingen. Deze workloads bieden een scala aan testprofielen, variërend van "four corners"-tests en algemene tests voor de grootte van databaseoverdrachten tot het traceren van captures uit verschillende VDI-omgevingen.
Deze tests maken gebruik van de typische Vdbench-workloadgenerator met een scripting-engine om resultaten te automatiseren en vast te leggen over een groot rekentestcluster. Hierdoor kunnen we dezelfde workloads herhalen op verschillende opslagapparaten, inclusief flash-arrays en individuele opslagapparaten. Ons testproces voor deze benchmarks vult het volledige schijfoppervlak met gegevens en verdeelt vervolgens een schijfgedeelte dat gelijk is aan 25 procent van de schijfcapaciteit om te simuleren hoe de schijf zou kunnen reageren op applicatieworkloads. Dit verschilt van volledige entropietests, die 100 procent van de schijf gebruiken en deze in een stabiele toestand brengen. Als gevolg hiervan weerspiegelen deze cijfers hogere aanhoudende schrijfsnelheden.
profielen:
- 4K willekeurig lezen en schrijven: 100 procent lezen of schrijven, 128 threads, 0-120 procent snelheid
- 64K sequentieel lezen: 100 procent lezen, 32 threads, 0-120 procent iorate
- 64K sequentieel schrijven: 100 procent schrijven, 16 threads, 0-120 procent snelheid
- 4K 70R/30W en 90R/10W Random Mix, 64 threads, 0-120 procent iorate
Als we naar onze eerste test kijken die zich richt op bandbreedte voor leesoverdracht, zien we het PCIe-kanaalvoordeel dat de Direct Drives-benadering heeft met 32 PCIe-banen ten opzichte van de enkele PERC 12 met 16 banen. Dit komt neer op 41.6 GB/s van Direct Drives versus 28 GB/s van de PERC 12 in JBOD-modus.
Bij het overschakelen van lees- naar schrijfbandbreedte, wordt het voordeel van de extra PCIe-lanes kleiner omdat de schrijfsnelheid van de Solidigm P5520 lager is dan de leessnelheid. Hier was de Direct Drives-configuratie 18.3 GB/s vergeleken met 20.3 GB/s van de PERC 12.
In onze willekeurige 4K-leeswerklast hadden de 8 Solidigm P5520 SSD's in de Direct Drive PowerEdge R760 een piek van 5.55 miljoen IOPS, vergeleken met 4.34 miljoen IOPS in de PERC 12-opstelling.
Bij willekeurig schrijven in 4K wordt dat verschil weer kleiner, met Direct Drives die 3.96 miljoen IOPS meten versus 4.15 miljoen IOPS op PERC 12.
In onze eerste van twee gemengde workloads kijken we naar een willekeurige overdracht van 4K met een 70/30 lees-/schrijfspreiding. Hier had de Direct Drives PowerEdge R760-configuratie een piek van 4.47 miljoen IOPS, tegen de PERC 12 met 3.66 miljoen IOPS.
Door het leespercentage te verhogen tot 90 procent in dezelfde 4K-overdrachtstest, maten we 5.04 miljoen IOPS van de Direct Drives-server versus 3.62 miljoen IOPS van het PERC 12-systeem.
FIO-werklastanalyse
Om de prestaties van de schijven van Dell's Direct Drive- en PERC 12 HWRAID-aanbiedingen te meten, werden de benchmarks opgesplitst in de volgende configuraties. De eerste omvatte een JBOD-configuratie die elke schijf meet buiten de RAID-, RAID10- en vervolgens RAID5-configuraties.
Voor de Direct Drives-benadering worden de SSD's normaal weergegeven voor het besturingssysteem; voor de PERC 12 worden ze door de HBA geleid als onbewerkte opslagapparaten. Deze configuraties werden door een scriptingproces geleid om de flash te preconditioneren, de tests uit te voeren waarvoor ze waren geconditioneerd en naar de volgende mix van preconditionering en werklast te gaan.
- Sequentiële preconditionering
- Sequentiële tests op JBOD, 8DR10, 8DR5 (enkele en dubbele PERC)
- Willekeurige voorconditionering
- Willekeurige optimale tests op JBOD, 8DR10, 8DR5 (enkele en dubbele PERC)
- Willekeurige herbouwtests op 8DR10, 8DR5 (enkele en dubbele PERC)
- Willekeurige schrijflatentie voor optimaal en opnieuw opbouwen voor 8DR5 (Single PERC)
Met de PERC 12 H965i met een x16 PCIe Gen4-slot, zullen de piekprestaties rond de 28GB/s in één richting liggen, en dat is waar het Gen4-slot uitblinkt. Dell heeft deze bandbreedtelimiet op unieke wijze benaderd door een dubbele PERC 12-configuratie aan te bieden in hun PowerEdge R760. In plaats van 16 SSD-bays die allemaal op één kaart zijn aangesloten, wordt de belasting gesplitst, waarbij elke PERC 12 zijn eigen set van 8 SSD's bestuurt. Deze benadering omzeilt de bandbreedtebeperking terwijl de piek beschikbare doorvoer onder veeleisende workloads drastisch wordt verhoogd.
Als we eerst naar de sequentiële overdrachtsprestaties kijken, zien we het bandbreedtevoordeel van de Direct Drives-configuratie, met een leessnelheid van 54.4 GB/s ten opzichte van de enkele PERC 12 van 28.1 GB/s. Native schrijfsnelheid heeft ook een voordeel, met een meting van 33.4 GB/s tegen 28.3 GB/s van de enkele PERC 12 met acht schijven erachter. Schrijfsnelheden zullen hier over het algemeen geen groot verschil zien, aangezien deze klasse SSD over het algemeen een leessnelheid heeft die veel hoger ligt dan de schrijfsnelheid.
| Werkdruk | JBOD Directe schijven (MB/s) | JBOD 1 x PERC 12 (MB/s) | JBOD 2 x PERC 12 (MB/s) | RAID 10 1 x PERC 12- Optimaal (MB/s) | RAID 10 2 x PERC 12- Optimaal (MB/s) | RAID 5 1 x PERC 12 – Optimaal (MB/s) | RAID 5 2 x PERC 12 – Optimaal (MB/s) |
|---|---|---|---|---|---|---|---|
| Maximale sequentiële aflezingen | 54,396 | 28,076 | 56,114 | 27,450 | 55,482 | 24,049 | 56,107 |
| Maximale sequentiële schrijfbewerkingen | 33,367 | 28,284 | 56,541 | 11,037 | 22,120 | 12,269 | 24,351 |
| Maximaal 50:50 Seq Leest:Schrijft | 33,569 | 28,286 | 56,541 | 11,011 | 21,875 | 12,269 | 24,360 |
Als we onze focus verleggen naar willekeurige overdrachtsprestaties, beginnen we een verschuiving te zien in waar de voordelen van de RAID-kaart een rol kunnen spelen met betrekking tot NUMA-balancering. Met leesprestaties maten de Solidigm 7.68TB P5520 SSD's 7.96M IOPS in onze 4K leestest, met de PERC 12 JBOD-configuratie die 7M IOPS meet. De schrijfsnelheid via de Direct Drives-configuratie daalde naar 3.4 miljoen IOPS, terwijl de PERC 12 5.97 miljoen IOPS handhaafde. Met de 4K OLTP-workload wordt dit zelfs nog meer uitgesproken met de Direct Drives die 3.6 miljoen IOPS meten versus 10.2 miljoen IOPS van de PERC 12.
Hoewel de traditionele gedachte was dat hardware-RAID geen waarde heeft met moderne SSD's, kunnen we zien dat dit niet langer het geval is. Ja, de NVMe-configuratie van Direct Drives kan worden afgesteld, maar het is een bewegend doelwit over meerdere SSD's, gebalanceerd over twee CPU's.
Dit staat in schril contrast met de PERC 12 HWRAID-kaart, die al die complexiteit beheert en verbinding maakt met slechts één CPU. Voor schaalbaarheid maakt de 2e PERC-kaart in de Dell PowerEdge R760 verbinding met de andere CPU, waardoor een evenwichtige verdeling wordt geboden voor grotere workloads verdeeld over deze twee schijfgroepen. Opgemerkt moet worden dat rond 10 miljoen IOPS het systeem de CPU's begon te verzadigen, en daarom zagen we in sommige gebieden geen lineaire schaling met de extra PERC 12-kaart.
| Werkdruk | JBOD Directe schijven (MB/s) | JBOD 1 x PERC 12 (MB/s) | JBOD 2 x PERC 12 (MB/s) | RAID 10 1 x PERC 12 – Optimaal (MB/s) | RAID 10 2 x PERC 12 – Optimaal (MB/s) | RAID 5 1 x PERC 12 – Optimaal (MB/s) | RAID 5 2 x PERC 12 – Optimaal (MB/s) |
|---|---|---|---|---|---|---|---|
| 4KB willekeurige leesbewerkingen (IOP's) | 7,958,204 | 7,003,556 | 12,447,020 | 6,757,498 | 13,067,852 | 6,974,826 | 13,205,656 |
| 4KB willekeurige schrijfbewerkingen (IOP's) | 3,473,446 | 5,974,265 | 11,323,633 | 2,204,738 | 4,684,333 | 862,769 | 1,725,198 |
| 4 KB OLTP (IOP's) | 3,553,974 | 10,195,618 | 11,967,984 | 6,441,868 | 12,288,219 | 2,635,711 | 5,279,999 |
Hoewel we niet naar software-RAID-opties hebben gekeken met de Direct Drives PowerEdge R760-configuratie, hebben we wel de kans gehad om te zien hoe goed de RAID-configuratie presteert op PERC 12 in een gedegradeerde staat. Hoewel de prestaties aanzienlijk daalden in vergelijking met de optimale prestaties, boden zowel RAID10 als RAID5 sterke prestaties bij het opnieuw opbouwen van hun RAID-groepen.
| Werkdruk | RAID 10 1 x PERC 12 – Opnieuw opbouwen (MB/s) | RAID 10 2 x PERC 12 – Opnieuw opbouwen (MB/s) | RAID 5 1 x PERC 12 – Opnieuw opbouwen (MB/s) | RAID 5 2 x PERC 12 – Opnieuw opbouwen (MB/s) |
|---|---|---|---|---|
| 4KB willekeurige leesbewerkingen (IOP's) | 1,345,175 | 2,692,738 | 2,350,889 | 4,676,748 |
| 4KB willekeurige schrijfbewerkingen (IOP's) | 1,666,967 | 3,174,430 | 242,802 | 479,144 |
| 4 KB OLTP (IOP's) | 1,618,209 | 3,253,603 | 243,349 | 486,251 |
Hoewel optimale RAID-prestaties een belangrijk aspect zijn bij het kiezen van een opslagoplossing, kan het net zo belangrijk zijn om te zien hoe deze presteert onder suboptimale omstandigheden. Daartoe hebben we de 4K-schrijflatentie in RAID5 onder optimale omstandigheden gemeten en de prestaties opnieuw opgebouwd met een uitgevallen schijf. Als de prestaties of latentie een enorme klap zouden krijgen, zou de responsiviteit van applicaties een probleem kunnen worden. Hoewel de prestaties van het opnieuw opbouwen afnemen in vergelijking met optimaal, neemt de latentie van de prestaties niet toe ten opzichte van de basislijn.
Conclusie
De nieuwe PERC12 NVMe RAID-kaart van Dell verandert het spel voor NVMe-opslagopties in PowerEdge-servers. In het verleden aarzelden sommige klanten om over te stappen van SAS SSD's of kozen ze voor NVMe-schijven die waren aangesloten op verschillende SDS- of hypervisors. De introductie van de PERC 12-kaart heeft echter de vergelijking voor PowerEdge veranderd, waardoor het een beter haalbare optie is geworden.
De reden waarom PERC 12 zo goed presteert, is ook toe te schrijven aan de lay-out van de PowerEdge-server. Onze R760 heeft twee PERC 12 (H965i Front) kaarten, elk met x16 rijstroken. Hierdoor kunnen we de 8 Solidigm SSD's met elke kaart gebruiken, wat een maximale bandbreedte tot 28 GB/s per kaart oplevert. Het aansluiten van alle 16 SSD's op een enkele RAID-kaart zou resulteren in een verlies van de helft van de potentiële prestaties.
U vraagt zich misschien af: "Waarom geen 24 SSD's met HWRAID?" Vergeet niet dat elk systeem ergens een bottleneck heeft. In dit geval kunnen we de CPU vrij gemakkelijk verzadigen, zodat de x86 binnen de server de poortfactor wordt. Als we het hebben over een geclusterde oplossing, dan koppelen we het netwerk ook. Een handvol SSD's kan gemakkelijk 200GbE of zelfs 400GbE vullen. Met een SSD-capaciteit van meer dan 30.72 TB is er ook minder behoefte aan een server vol met schijven voor systeemcapaciteitsproblemen.
Als u onze leest Broadcom 9600 Series RAID-kaart review, we begonnen vrij sceptisch dat het nieuwe silicium realistisch gezien alle gegevensveerkracht zou bieden en de voordelen van HWRAID opnieuw zou kunnen opbouwen zonder het NVMe SSD-prestatieprofiel te beperken. We waren aangenaam verrast met de resultaten in die recensie en nog meer hier, met PERC 12 die in staat was om te verdubbelen in de R760 om twee keer zoveel topprestaties te krijgen. Hoewel Dell Direct Drives in veel use-cases nog steeds de voorkeur hebben, zoals softwaregedefinieerde opslag, zou de PERC 12-optie extreem populair moeten zijn voor de meeste zakelijke use-cases.
Amazon