När vi publicerade vår recension av Dell PowerEdge R760 servern höll vi målmedvetet på lagringsnummer och noterade att R760 har många lagringskonfigurationsalternativ som skulle ha gjort den första granskningen för lång. I den här recensionen undersöker vi lagringsalternativen som Dell PowerEdge stöder för Gen4 NVMe SSD och prestandaprofilen för vad Dell kallar Direct Drives vs. PERC 12 hårdvaru-RAID-kort.
När vi publicerade vår recension av Dell PowerEdge R760 servern höll vi målmedvetet på lagringsnummer och noterade att R760 har många lagringskonfigurationsalternativ som skulle ha gjort den första granskningen för lång. I den här recensionen undersöker vi lagringsalternativen som Dell PowerEdge stöder för Gen4 NVMe SSD och prestandaprofilen för vad Dell kallar Direct Drives vs. PERC 12 hårdvaru-RAID-kort.
Dell PowerEdge NVMe-bakplansalternativ
Dell erbjuder olika bakplan för lagring i sina 16G PowerEdge-servrar. När du konfigurerar R760 finns det nästan 50 alternativ för drivchassi. Även om en del av detta är äldre support (PERC 11, till exempel), är poängen att chassibeslutet är stort. Detta tar inte ens hänsyn till kommande E3.S NVMe SSD-stöd, vilket är det enda sättet att få Gen5 SSD:er i PowerEdge-servrar. Vi tittade på E3.S i Dell PowerEdge R660 om du vill lära dig mer om fördelarna med Gen5 och EDSFF formfaktorer.
Tillbaka till uppgiften. För den här recensionen vill vi förstå konsekvenserna av att välja Dells Direct Drives-alternativ jämfört med PERC 12 HWRAID-kortalternativet. Som nämnts är det explicita fokuset här endast med tanke på Gen4 U.2/U.3 NVMe SSD:er. För närvarande ignorerar vi chassialternativ för SATA/SAS och 3.5-tums hårddiskar. Dessa konfigurationer är mycket enklare.
I R760 erbjuder Dell ett par chassialternativ för att få Gen4 NVMe-enheter ombord. Alternativet Direct Drives kan konfigureras för stöd för 8- eller 16-enheter. För HWRAID-konfigurationerna erbjuder Dell PERC 12 HWRAID-kortet på samma sätt, med ett RAID-kort för varje batch av 8 SSD:er. Detta beslut är viktigt eftersom det är grundläggande för att låta en fullbefolkad R760 med 16 NVMe SSD:er få bästa möjliga prestanda.
Dell PERC 12 Översikt
Dell PowerEdge RAID Controller (PERC) 12 är baserad på Broadcom SAS4116W-kisel. Trots SAS i produktnamnet är kontrollern en tri-mode RAID-on-Chip (ROC) enhet. Samma RAID-kontroller används i Broadcom MegaRAID-linjen. Vi har nyligen granskat MegaRAID 9670W lyfta fram nyckelfunktioner. Med Dell PERC 12 spelar emellertid väsentliga designskillnader in beroende på vilken Dell-server och lagringsfamilj du är intresserad av.
När det gäller PowerEdge kommer de flesta konfigurationer att utnyttja "H965i Front" PERC 12-kortet. I vår recension av R760-systemet med HWRAID har vi två av dessa H965i Front-kort i systemet, ett för varje uppsättning av 8x Solidigm P5520 SSD. Det är värt att nämna att dessa kort är betydligt mindre än tilläggskortet. PCB-designen och värmehanteringen är verkligen imponerande. Dessa kort monteras direkt på NVMe-bakplanet med 8 enheter och ansluts till moderkortet med två x8 PCIe-kablar. Detta frigör PCIe-platser på lässidan av servern för andra enheter.
På tal om tilläggskort, standard PERC 12 H965i är ett halvhögt, halvlångt kort som inkluderar en inbyggd fläkt. Den här versionen av PERC 12 kommer att visas i vissa PowerEdge-konfigurationer och kan även hittas i några av de nya Dell PowerVault MD JBODs. Slutligen finns det en H965i MX, som är en lång, smal PCB designad för något som MX7000 modulära chassit.
Dell PERC 11 vs PERC 12
Dell PERC 11-kortet stödde NVMe SSD, men tyvärr kom fördelarna med hårdvaru-RAID till en omfattande prestandakostnad. Den träffen är just därför branschen är så exalterad över det nya Broadcom-kiseln och Dells version av det kortet, PERC. Dell har publicerat några siffror på skillnaden mellan PERC 11 och PERC 12, vilket är häpnadsväckande.
Latensfördelarna med PERC 12 är tydligt uppenbara; men titta på prestandan under värsta tänkbara förhållanden, prestanda under en ombyggnad. PERC 12 plockar upp några tusen procents förbättring, och även RAID-återuppbyggnadstiden ser betydande fördelar.
Om vi tittar på bandbredden och IOPS-siffrorna som Dell citerar, kan vi återigen se det enorma steget framåt som PERC 12 tar jämfört med PERC 11. Överlag ser alla dessa arbetsbelastningar en minsta 2X förbättring i PERC 12-kortet. Naturligtvis har vi gjort våra tester för att kontrollera PERC 12-prestanda, och vi kommer till det.
Dell Direct Drives vs. Dell PERC 12 Performance
För att jämföra lagringsprestanda i Direct Drives vs. PERC 12 konfigurerade vi vår R760-server "kusiner" med Solidigm P5520 7.68TB SSD. Dell R760 med Direct Drives har 8x NVMe-fack. R760 med PERC 12 har 16x NVMe-fack med dubbla H965i Front RAID-kort.
Till nominellt värde kanske det inte är uppenbart att det finns vissa prestandabegränsningar på båda sidor. Från och med Direct Drives-metoden har varje SSD sin egen x4 PCIe-anslutning, vilket innebär att åtta SSD:er har 32 banor med PCIe dedikerade till dem.
Detta möjliggör otrolig bandbredd, vanligtvis över 52 GB/s om varje Gen4-enhet kan mätta sin 6.5 GB/s-anslutning. Jämfört med PERC 12 H965i-installationen, gränssnitts varje grupp av åtta SSD-enheter direkt med RAID-kortet, som ansluts tillbaka till moderkortet med en x16 PCIe-anslutning. Detta minskar halva bandbredden som Direct Drives-konfigurationen stöder. Så uppenbarligen vinner de infödda NVMe-anslutningarna? Inte exakt.
När man hanterar flera NVMe-enheter i ett multi-CPU-system, kommer NUMA-mappning mellan enhet och CPU, samt systemavbrott, in i bilden. Detta kan optimeras runt men kräver betydande justering. Inte alla applikationer tar hänsyn till detta.
Virtualisering är en där det är utmanande att hantera NUMA-mappning eftersom delade resurser är balanserade i realtid, ibland till en CPU som kanske inte har direkt tillgång till de tilldelade PCIe-resurserna. Hårdvaru-RAID-kort mildrar många av dessa problem och optimerar för systemavbrott och kontextväxling, vilket frigör CPU-resurser. NUMA-mappningen blir också mindre komplex, eftersom istället för att ha 16 individuella SSD:er uppdelade på två processorer, har du bara ett minneskort per processor att hantera.
Vår testplan fokuserar på två områden. Den första är Vdbench-arbetsbelastningar som mäter JBOD-prestanda med åtta SSD-enheter som överförs till antingen R760. På Direct Drives R760 finns åtta inbyggda SSD-enheter, medan på HWRAID R760 passerar PERC 12 genom åtta rålagringsenheter. Båda testas som de är utan optimeringar. Det andra teststeget visar den skalade prestandan för PERC 2-lösningen från en enkel till en optimerad konfiguration med dubbla kort.
Vår Direct Drives PowerEdge R760 recensionsenhet har följande konfiguration:
- Dual Intel Xeon Gold 6430 (32 kärnor/64 trådar, 1.9 GHz bas)
- 1TB DDR5 RAM
- 8 Solidigm P5520 7.68TB Gen4 SSD:er
- RHEL 9
Granskningsenheten HWRAID NVMe PowerEdge R760 har följande konfiguration:
- Dual Intel Xeon Gold 6430 (32 kärnor/64 trådar, 1.9 GHz bas)
- 1TB DDR5 RAM
- 16 Solidigm P5520 7.68TB Gen4 SSD:er
- Dubbel PERC 12 H965i
- RHEL 9
Vdbench arbetsbelastningsanalys
Vid benchmarking av lagringsenheter är applikationstestning bäst, följt av syntetiska tester. Även om det inte är en perfekt representation av faktiska arbetsbelastningar, hjälper syntetiska tester baslagringsenheter med en repeterbarhetsfaktor som gör det enkelt att jämföra äpplen till äpplen mellan konkurrerande lösningar. Dessa arbetsbelastningar erbjuder en rad testprofiler som sträcker sig från "fyra hörn"-tester och vanliga tester av databasöverföringsstorlekar för att spåra infångningar från olika VDI-miljöer.
Dessa tester utnyttjar den typiska Vdbench-arbetsbelastningsgeneratorn med en skriptmotor för att automatisera och fånga resultat över ett stort beräkningstestkluster. Detta gör att vi kan upprepa samma arbetsbelastningar över olika lagringsenheter, inklusive flash-arrayer och individuella lagringsenheter. Vår testprocess för dessa riktmärken fyller hela enhetens yta med data och partitionerar sedan en enhetssektion som motsvarar 25 procent av enhetens kapacitet för att simulera hur enheten kan reagera på applikationsarbetsbelastningar. Detta skiljer sig från kompletta entropitester, som använder 100 procent av enheten och tar dem till ett stabilt tillstånd. Som ett resultat kommer dessa siffror att återspegla högre ihållande skrivhastigheter.
profiler:
- 4K slumpmässig läsning och skrivning: 100 procent läs eller skriv, 128 trådar, 0-120 procent iorate
- 64K sekventiell läsning: 100 procent läst, 32 trådar, 0-120 procent iorate
- 64K sekventiell skrivning: 100 procent skrivning, 16 trådar, 0-120 procent iorate
- 4K 70R/30W och 90R/10W Random Mix, 64 trådar, 0-120 procent iorate
När vi tittar på vårt första test med fokus på läsöverföringsbandbredd kan vi se PCIe-kanalfördelen som Direct Drives-metoden har med 32 PCIe-banor jämfört med den enda PERC 12 med 16 banor. Detta fungerar till 41.6 GB/s från Direct Drives mot 28 GB/s från PERC 12 i JBOD-läge.
Om du byter från läs- till skrivbandbredd minskar fördelen med de ytterligare PCIe-banorna eftersom skrivhastigheten för Solidigm P5520 är lägre än dess läshastighet. Här mätte Direct Drives-konfigurationen 18.3 GB/s jämfört med 20.3 GB/s från PERC 12.
I vår slumpmässiga 4K-läsarbetsbelastning mätte de 8 Solidigm P5520 SSD:erna i Direct Drive PowerEdge R760 5.55M IOPS-topp, jämfört med 4.34M IOPS på PERC 12-installationen.
I 4K slumpmässig skrivning minskar den skillnaden igen, med Direct Drives som mäter 3.96 miljoner IOPS mot 4.15 miljoner IOPS på PERC 12.
I vår första av två blandade arbetsbelastningar tittar vi på en slumpmässig överföring i 4K med en läs/skrivspridning på 70/30. Här mätte Direct Drives PowerEdge R760-konfigurationen 4.47M IOPS-topp, mot PERC 12 med 3.66M IOPS.
Genom att öka läsprocenten till 90 procent i samma 4K-överföringstest, mätte vi 5.04 miljoner IOPS från Direct Drives-servern mot 3.62 miljoner IOPS från PERC 12-systemet.
FIO arbetsbelastningsanalys
För att mäta prestanda för enheterna i Dells Direct Drive- och PERC 12 HWRAID-erbjudanden delades riktmärkena upp i följande konfigurationer. Den första inkluderade en JBOD-konfiguration som mäter varje enhet utanför RAID, RAID10 och sedan RAID5-konfigurationer.
För Direct Drives-tillvägagångssättet visas SSD:erna för operativsystemet som vanligt; för PERC 12 skickas de genom HBA som rålagringsenheter. Dessa konfigurationer gick igenom en skriptprocess för att förkonditionera flashen, köra testerna de konditionerades för och gå vidare till nästa förkonditionering/arbetsbelastningsmix.
- Sekventiell förkonditionering
- Sekventiella tester på JBOD, 8DR10, 8DR5 (enkel och dubbla PERC)
- Slumpmässig förkonditionering
- Slumpmässiga optimala tester på JBOD, 8DR10, 8DR5 (Single och Dual PERC)
- Slumpmässiga ombyggnadstester på 8DR10, 8DR5 (Single och Dual PERC)
- Slumpmässig skrivlatens för optimal och ombyggnad för 8DR5 (Single PERC)
Med PERC 12 H965i som har en x16 PCIe Gen4-plats, kommer dess toppprestanda att vara precis runt 28 GB/s i en riktning, och det är där Gen4-sloten toppar. Dell tog en unik inställning till denna bandbreddsgräns genom att erbjuda en dubbel PERC 12-konfiguration i deras PowerEdge R760. Istället för 16 SSD-fack, alla anslutna till ett enda kort, delas belastningen, där varje PERC 12 styr sin egen uppsättning av 8 SSD:er. Detta tillvägagångssätt kringgår bandbreddsbegränsningen samtidigt som den maximala tillgängliga genomströmningen dramatiskt ökar under krävande arbetsbelastningar.
Om vi tittar på sekventiell överföringsprestanda först kan vi se bandbreddsfördelen som Direct Drives-konfigurationen har, med läshastigheten som mäter 54.4 GB/s mot den enda PERC 12 som mäter 28.1 GB/s. Skrivhastighetsnative har också en fördel, med den mäter 33.4 GB/s mot 28.3 GB/s från den enda PERC 12 med åtta enheter bakom sig. Skrivhastigheter, i allmänhet, kommer inte att se någon stor skillnad här eftersom, generellt sett, har denna klass av SSD läshastighet långt över skrivhastigheten.
| Arbetsbelastning | JBOD Direct Drives (MB/s) | JBOD 1 x PERC 12 (MB/s) | JBOD 2 x PERC 12 (MB/s) | RAID 10 1 x PERC 12- Optimal (MB/s) | RAID 10 2 x PERC 12- Optimal (MB/s) | RAID 5 1 x PERC 12 – Optimal (MB/s) | RAID 5 2 x PERC 12 – Optimal (MB/s) |
|---|---|---|---|---|---|---|---|
| Maximal sekventiell avläsning | 54,396 | 28,076 | 56,114 | 27,450 | 55,482 | 24,049 | 56,107 |
| Maximal sekventiell skrivning | 33,367 | 28,284 | 56,541 | 11,037 | 22,120 | 12,269 | 24,351 |
| Max 50:50 Seq Läser:Skriver | 33,569 | 28,286 | 56,541 | 11,011 | 21,875 | 12,269 | 24,360 |
Genom att byta fokus till prestanda för slumpmässig överföring börjar vi se en förändring i var fördelarna med RAID-kortet kan komma in när det gäller NUMA-balansering. Med läsprestanda mätte Solidigm 7.68TB P5520 SSD:erna 7.96M IOPS i vårt 4K-lästest, med PERC 12 JBOD-konfigurationen som mätte 7M IOPS. Skrivhastigheten genom Direct Drives-konfigurationen sjönk till 3.4 miljoner IOPS medan PERC 12 bibehöll 5.97 miljoner IOPS. Med 4K OLTP-arbetsbelastningen blir detta ännu mer uttalat med Direct Drives som mäter 3.6M IOPS kontra 10.2M IOPS från PERC 12.
Medan det traditionella tänkandet har varit att hårdvaru-RAID inte har något värde med moderna SSD-enheter, kan vi se att det inte längre är fallet. Ja, Direct Drives NVMe-inställningen kan ställas in, men det är ett rörligt mål över flera SSD:er balanserade över två processorer.
Detta står i direkt kontrast till PERC 12 HWRAID-kortet, som hanterar all den komplexiteten och ansluter till bara en CPU. För skalning ansluts det andra PERC-kortet i Dell PowerEdge R2 till den andra CPU:n, vilket ger balansering för större arbetsbelastningar uppdelade över dessa två diskgrupper. Det bör noteras att runt 760M IOPS började systemet att mätta CPU:erna, vilket är anledningen till att vi inte såg linjär skalning i vissa områden med det extra PERC 10-kortet.
| Arbetsbelastning | JBOD Direct Drives (MB/s) | JBOD 1 x PERC 12 (MB/s) | JBOD 2 x PERC 12 (MB/s) | RAID 10 1 x PERC 12 – Optimal (MB/s) | RAID 10 2 x PERC 12 – Optimal (MB/s) | RAID 5 1 x PERC 12 – Optimal (MB/s) | RAID 5 2 x PERC 12 – Optimal (MB/s) |
|---|---|---|---|---|---|---|---|
| 4KB slumpmässiga läsningar (IOP) | 7,958,204 | 7,003,556 | 12,447,020 | 6,757,498 | 13,067,852 | 6,974,826 | 13,205,656 |
| 4KB slumpmässiga skrivningar (IOP) | 3,473,446 | 5,974,265 | 11,323,633 | 2,204,738 | 4,684,333 | 862,769 | 1,725,198 |
| 4KB OLTP (IOP) | 3,553,974 | 10,195,618 | 11,967,984 | 6,441,868 | 12,288,219 | 2,635,711 | 5,279,999 |
Även om vi inte tittade på mjukvaru-RAID-alternativ med Direct Drives PowerEdge R760-konfigurationen, hade vi en chans att se hur bra RAID-konfiguration presterar på PERC 12 i ett försämrat tillstånd. Medan prestanda såg en betydande nedgång jämfört med dess optimala prestanda, erbjöd både RAID10 och RAID5 starka prestanda samtidigt som de byggde om sina RAID-grupper.
| Arbetsbelastning | RAID 10 1 x PERC 12 – Ombyggnad (MB/s) | RAID 10 2 x PERC 12 – Ombyggnad (MB/s) | RAID 5 1 x PERC 12 – Ombyggnad (MB/s) | RAID 5 2 x PERC 12 – Ombyggnad (MB/s) |
|---|---|---|---|---|
| 4KB slumpmässiga läsningar (IOP) | 1,345,175 | 2,692,738 | 2,350,889 | 4,676,748 |
| 4KB slumpmässiga skrivningar (IOP) | 1,666,967 | 3,174,430 | 242,802 | 479,144 |
| 4KB OLTP (IOP) | 1,618,209 | 3,253,603 | 243,349 | 486,251 |
Även om optimal RAID-prestanda är en viktig aspekt av att välja en lagringslösning, kan det vara lika viktigt att se hur den fungerar under suboptimala förhållanden. För det ändamålet mätte vi 4K-skrivlatensen i RAID5 under optimala förhållanden, och återuppbyggde prestanda med en enhet som misslyckades. Om prestanda eller latens skulle få en massiv träff, kan applikationsrespons bli ett problem. Även om återuppbyggnadsprestandan minskar jämfört med optimal, ökar inte prestandans latens över baslinjen.
Avslutande tankar
Dells nya PERC12 NVMe RAID-kort förändrar spelet för NVMe-lagringsalternativ i PowerEdge-servrar. Tidigare tvekade vissa kunder att byta från SAS SSD eller valde NVMe-enheter kopplade till olika SDS eller hypervisorer. Men introduktionen av PERC 12-kortet har förändrat ekvationen för PowerEdge, vilket gör det till ett mer genomförbart alternativ.
Anledningen till att PERC 12 fungerar så bra beror också på layouten på PowerEdge-servern. Vår R760 har två PERC 12 (H965i Front)-kort, vart och ett med x16 banor. Detta gör att vi kan använda de 8 Solidigm SSD:erna med varje kort, vilket ger en maximal bandbredd på upp till 28GB/s per kort. Att ansluta alla 16 SSD-enheter till ett enda RAID-kort skulle resultera i en förlust av hälften av den potentiella prestandan.
Du kanske frågar, "Varför inte 24 SSD-enheter med HWRAID?" Kom bara ihåg att varje system har en flaskhals någonstans. I det här fallet kan vi mätta CPU:n ganska enkelt, så x86 i servern blir grindfaktorn. Om vi pratar om en klustrad lösning kommer vi också att koppla nätverket. En handfull SSD-enheter kan enkelt fylla 200 GbE eller till och med 400 GbE. Med en SSD-kapacitet som nu överstiger 30.72 TB är det mindre behov av att ha en server full med enheter för problem med systemkapaciteten.
Om du läser vår Broadcom 9600 Series RAID-kort recension, vi började ganska skeptiska till att det nya kislet realistiskt skulle ge all dataförmåga och återuppbygga fördelarna med HWRAID utan att knäskålen för NVMe SSD-prestandaprofilen. Vi blev positivt överraskade med resultaten i den recensionen och ännu mer här, med PERC 12 som kunde dubbla upp i R760 för att få dubbelt så hög prestanda i topplinjen. Även om Dell Direct Drives fortfarande kan vara att föredra i många användningsfall, som mjukvarudefinierad lagring, bör alternativet PERC 12 vara extremt populärt för de flesta företagsanvändningsfall.
Engagera dig med StorageReview
Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde
