Recenze disků Dell PowerEdge Direct Drives vs. PERC 12

Při publikování naší recenze serveru Dell PowerEdge R760 jsme záměrně vynechali čísla o úložišti s tím, že R760 nabízí mnoho možností konfigurace úložiště, které by úvodní recenzi příliš zdlouhaly. V této recenzi se podrobněji zaměříme na možnosti úložiště, které Dell PowerEdge podporuje pro disky SSD Gen4 NVMe, a na výkonnostní profil toho, co Dell nazývá Direct Drives vs. hardwarová karta RAID PERC 12.

Možnosti propojovací desky Dell PowerEdge NVMe

Společnost Dell nabízí ve svých 16G serverech PowerEdge různé úložné backplany. Při konfiguraci R760 je k dispozici téměř 50 možností šasi disků. I když některé z nich podporují starší verze (například PERC 11), pointou je, že rozhodnutí o šasi je důležité. To ani nezohledňuje nadcházející podporu disků SSD E3.S NVMe, což je jediný způsob, jak získat SSD disky Gen5 v serverech PowerEdge. Pokud se chcete dozvědět více o výhodách formátů Gen5 a EDSFF, podívali jsme se na E3.S v Dell PowerEdge R660.

Zpět k danému úkolu. V této recenzi chceme pochopit důsledky výběru možnosti přímých disků Dell ve srovnání s možností karty PERC 12 HWRAID. Jak již bylo zmíněno, explicitní zaměření je zde pouze na zvážení disků SSD Gen4 U.2/U.3 NVMe. Prozatím ignorujeme možnosti šasi pro disky SATA/SAS a 3.5″ HDD. Tyto konfigurace jsou mnohem jednodušší.

V modelu R760 nabízí Dell několik možností šasi pro integraci disků Gen4 NVMe. Možnost přímého připojení disků lze nakonfigurovat pro podporu 8 nebo 16 disků. Pro konfigurace HWRAID nabízí Dell kartu PERC 12 HWRAID stejným způsobem, s jednou kartou RAID pro každou sadu 8 SSD disků. Toto rozhodnutí je důležité, protože je zásadní pro to, aby plně osazený R760 s 16 NVMe SSD dosáhl co nejlepšího výkonu.

Přehled Dell PERC 12

Řadič Dell PowerEdge RAID (PERC) 12 je založen na křemíku Broadcom SAS4116W. Navzdory označení SAS v názvu produktu se jedná o třírežimové zařízení RAID-on-Chip (ROC). Stejný řadič RAID se používá i v řadě Broadcom MegaRAID. Nedávno jsme recenzovali MegaRAID 9670W a zdůraznili jeho klíčové funkce. U Dell PERC 12 se však projevují zásadní konstrukční rozdíly v závislosti na tom, o jakou řadu serverů a úložišť Dell máte zájem.

Pokud jde o PowerEdge, většina konfigurací bude využívat kartu „H965i Front“ PERC 12. V naší recenzi systému R760 s HWRAID máme v systému dvě tyto karty H965i Front, jednu pro každou sadu 8x SSD disků Solidigm P5520. Za zmínku stojí, že tyto karty jsou výrazně menší než rozšiřující karta. Design desky plošných spojů a řízení teploty jsou skutečně působivé. Tyto karty jsou namontovány přímo na backplane NVMe pro 8 disků a připojeny k základní desce dvěma kabely x8 PCIe. Tím se uvolní sloty PCIe na straně čtení serveru pro jiná zařízení.

Když už mluvíme o rozšiřujících kartách, standardní PERC 12 H965i je karta poloviční výšky a poloviční délky, která obsahuje integrovaný ventilátor. Tato verze PERC 12 se objeví v některých konfiguracích PowerEdge a lze ji nalézt také v některých nových JBODech Dell PowerVault MD . A konečně, existuje H965i MX, což je dlouhá, úzká deska plošných spojů určená pro něco jako modulární šasi MX7000.

Dell PERC 11 vs. PERC 12

Karta Dell PERC 11 sice podporovala NVMe SSD disky, ale výhody hardwarového RAID pole bohužel přišly za cenu značného snížení výkonu. Právě tento dopad je důvodem, proč je průmysl tak nadšený z nového křemíku Broadcom a verze této karty od Dellu, PERC. Společnost Dell zveřejnila ohromující čísla o rozdílech mezi PERC 11 a PERC 12.

Výhody PERC 12 z hlediska latence jsou jasně zřejmé; podívejte se však na výkon za nejhorších podmínek, tedy během přestavby. PERC 12 vykazuje zlepšení o několik tisíc procent a dokonce i doba přestavby RAIDu vykazuje významné výhody.

Při pohledu na šířku pásma a čísla IOPS, která uvádí Dell, opět vidíme obrovský krok vpřed, který PERC 12 zažívá ve srovnání s PERC 11. Celkově u všech těchto úloh dochází k minimálně dvojnásobnému zlepšení výkonu karty PERC 12. Samozřejmě jsme provedli testování, abychom ověřili výkon PERC 12, a k tomu se ještě dostaneme.

Výkon disků Dell Direct Drives vs. Dell PERC 12

Pro porovnání výkonu úložiště mezi Direct Drive a PERC 12 jsme nakonfigurovali naše servery R760 s disky SSD Solidigm P5520 s kapacitou 7.68 TB . Dell R760 s Direct Drive má 8 pozic NVMe. R760 s PERC 12 má 16 pozic NVMe s dvěma kartami H965i Front RAID.

Na první pohled nemusí být zřejmé, že na obou stranách existují určitá omezení výkonu. Počínaje přístupem s přímými disky má každý SSD disk vlastní x4 PCIe port, což znamená, že osm SSD disků má vyhrazeno 32 linek PCIe.

To umožňuje neuvěřitelnou šířku pásma, obvykle přes 52 GB/s, pokud každý disk Gen4 dokáže vyčerpat své připojení s rychlostí 6.5 GB/s. Ve srovnání s konfigurací PERC 12 H965i se každá skupina osmi SSD disků přímo propojuje s kartou RAID, která se k základní desce připojuje pomocí připojení x16 PCIe. Tím se šířka pásma, kterou podporuje konfigurace s přímými disky, sníží na polovinu. Je tedy zřejmé, že nativní připojení NVMe vítězí? Ne tak docela.

Při práci s více zařízeními NVMe v systému s více procesory vstupuje do hry mapování NUMA mezi diskem a procesorem a také systémová přerušení. Toto lze optimalizovat, ale vyžaduje značné ladění. Ne všechny aplikace to berou v úvahu.

Virtualizace je jednou z oblastí, kde je náročné spravovat mapování NUMA, protože sdílené zdroje jsou vyvažovány v reálném čase, někdy i na CPU, které nemusí mít přímý přístup k těmto přiřazeným zdrojům PCIe. Hardwarové karty RAID mnoho z těchto problémů zmírňují a optimalizují systémová přerušení a přepínání kontextu, což uvolňuje zdroje CPU. Mapování NUMA se také stává méně složitým, protože místo 16 samostatných SSD disků rozdělených mezi dva CPU máte k dispozici pouze jednu úložnou kartu na CPU.

Náš testovací plán se zaměřuje na dvě oblasti. První jsou úlohy Vdbench měřící výkon JBOD s osmi SSD disky propojenými s jedním z R760. Na Direct Drives R760 je osm nativních SSD disků, zatímco na HWRAID R760 PERC 12 prochází osmi úložnými zařízeními. Oba jsou testovány tak, jak jsou, bez optimalizací. Druhá fáze testování ukazuje škálovaný výkon řešení PERC 12 od jedné až po optimalizované nastavení se dvěma kartami.

Náš recenzovaný server PowerEdge R760 s přímým pohonem má následující konfiguraci:

• Duální procesor Intel Xeon Gold 6430 (32 jader/64 vláken, základní frekvence 1.9 GHz)
• 1TB DDR5 RAM
• 8 SSD disků Solidigm P5520 7.68 TB Gen4
• RHEL 9

Testovaný server HWRAID NVMe PowerEdge R760 má následující konfiguraci:

• Duální procesor Intel Xeon Gold 6430 (32 jader/64 vláken, základní frekvence 1.9 GHz)
• 1TB DDR5 RAM
• 16 SSD disků Solidigm P5520 7.68 TB Gen4
• Duální PERC 12 H965i
• RHEL 9

Analýza pracovní zátěže Vdbench

Při benchmarkingu úložných zařízení je nejlepší volbou testování aplikací a následně syntetické testování. I když syntetické testy nepředstavují dokonalou reprezentaci skutečných úloh, pomáhají stanovit referenční úroveň úložných zařízení s faktorem opakovatelnosti, který usnadňuje porovnávání jablek s jablky mezi konkurenčními řešeními. Tyto úlohy nabízejí řadu testovacích profilů, od testů „čtyř rohů“ a běžných testů velikosti přenosu databáze až po zachycení tras z různých prostředí VDI.

Tyto testy využívají typický generátor úloh Vdbench se skriptovacím enginem k automatizaci a zaznamenávání výsledků na velkém clusteru výpočetních testů. To nám umožňuje opakovat stejné úlohy napříč různými úložnými zařízeními, včetně flash polí a jednotlivých úložných zařízení. Náš testovací proces pro tyto benchmarky zaplní celou plochu disku daty a poté rozdělí sekci disku o velikosti rovnající se 25 procentům kapacity disku, aby simuloval, jak by disk mohl reagovat na úlohy aplikací. To se liší od testů s kompletní entropií, které využívají 100 procent disku a uvádějí ho do ustáleného stavu. V důsledku toho budou tyto hodnoty odrážet vyšší trvalé rychlosti zápisu.

Profily:

• Náhodné čtení a zápis 4K: 100% čtení nebo zápis, 128 vláken, rychlost iorate 0–120%
• Sekvenční čtení 64K: 100% čtení, 32 vláken, rychlost čtení 0–120%
• 64K sekvenční zápis: 100% zápis, 16 vláken, rychlost zápisu 0–120%
• 4K 70R/30W a 90R/10W Náhodný mix, 64 vláken, 0-120 procent iorate

V našem prvním testu zaměřeném na šířku pásma pro přenos dat vidíme výhodu kanálů PCIe, kterou má přístup s přímými disky s 32 linkami PCIe oproti jednomu PERC 12 se 16 linkami. To odpovídá 41.6 GB/s z přímých disků oproti 28 GB/s z PERC 12 v režimu JBOD.

Při přepínání šířky pásma z čtení na zápis se výhoda dodatečných linek PCIe zmenšuje, protože rychlost zápisu Solidigm P5520 je nižší než rychlost čtení. V tomto případě konfigurace s přímými mechanikami naměřila 18.3 GB/s ve srovnání s 20.3 GB/s u PERC 12.

V našem náhodném čtecím zatížení 4K naměřilo 8 SSD disků Solidigm P5520 v serveru Direct Drive PowerEdge R760 maximální hodnotu 5.55 milionu IOPS, ve srovnání s 4.34 milionu IOPS u sestavy PERC 12.

V režimu náhodného zápisu 4K se tento rozdíl opět zmenšuje, přičemž disky Direct Drive naměřily 3.96 milionu IOPS oproti 4.15 milionu IOPS na PERC 12.

V našem prvním ze dvou smíšených testů jsme se zaměřili na náhodný přenos dat o rychlosti 4K s rozpětím čtení/zápisu 70/30. V tomto případě konfigurace serveru Direct Drives PowerEdge R760 naměřila maximální hodnotu 4.47 milionu IOPS, oproti PERC 12 s 3.66 milionu IOPS.

Při zvýšení procenta čtení na 90 procent ve stejném testu přenosu 4K jsme naměřili 5.04 milionu IOPS u serveru s přímými disky oproti 3.62 milionu IOPS u systému PERC 12.

Analýza pracovní zátěže FIO

Pro měření výkonu disků Dell Direct Drive a PERC 12 HWRAID byly benchmarky rozděleny do následujících konfigurací. První zahrnovala konfiguraci JBOD, která měřila každý disk mimo konfigurace RAID, RAID10 a poté RAID5.

U přístupu s přímými disky se SSD disky zobrazují operačnímu systému normálně; u PERC 12 procházejí HBA jako nezpracovaná úložná zařízení. Tyto konfigurace prošly procesem skriptování, aby se předběžně připravila flash paměť, spustily se testy, pro které byly připraveny, a přesunul se k dalšímu předběžnému nastavení/kombinaci pracovní zátěže.

• Sekvenční předběžné ustavení
• Sekvenční testy na JBOD, 8DR10, 8DR5 (jednoduchý a dvojitý PERC)
• Náhodné předběžné nastavení
• Náhodné optimální testy na JBOD, 8DR10, 8DR5 (jednoduchý a dvojitý PERC)
• Náhodné testy přestavby na 8DR10, 8DR5 (jednoduchý a dvojitý PERC)
• Latence náhodného zápisu pro optimální zápis a opětovné sestavení pro 8DR5 (Single PERC)

S PERC 12 H965i slotem x16 PCIe Gen4 bude jeho maximální výkon přibližně 28 GB/s v jednom směru, a právě zde slot Gen4 dosahuje svého vrcholu. Společnost Dell zvolila k tomuto omezení šířky pásma jedinečný přístup a ve svém serveru PowerEdge R760 nabídla duální konfiguraci PERC 12. Místo 16 pozic pro SSD disky, které jsou všechny připojeny k jedné kartě, je zátěž rozdělena a každý PERC 12 ovládá svou vlastní sadu 8 SSD disků. Tento přístup obchází omezení šířky pásma a zároveň dramaticky zvyšuje špičkovou dostupnou propustnost při náročných pracovních zátěžích.

Pokud se nejprve podíváme na výkon sekvenčního přenosu, vidíme výhodu v šířce pásma, kterou má konfigurace s přímými disky, s rychlostí čtení 54.4 GB/s oproti 28.1 GB/s u jednoho PERC 12. Rychlost zápisu v nativní konfiguraci má také výhodu, a to 33.4 GB/s oproti 28.3 GB/s u jednoho PERC 12 s osmi disky za ním. Rychlosti zápisu zde obecně nebudou mít velký rozdíl, protože obecně řečeno, tato třída SSD má rychlost čtení daleko vyšší než rychlost zápisu.

Pracovní zátěž	JBOD Direct Drives (MB/s)	JBOD 1 × PERC 12 (MB/s)	JBOD 2 × PERC 12 (MB/s)	RAID 10 1 x PERC 12 – Optimální (MB/s)	RAID 10 2 x PERC 12 – Optimální (MB/s)	RAID 5 1 x PERC 12 – Optimální (MB/s)	RAID 5 2 x PERC 12 – Optimální (MB/s)
Maximální počet sekvenčních čtení	54,396	28,076	56,114	27,450	55,482	24,049	56,107
Maximální počet sekvenčních zápisů	33,367	28,284	56,541	11,037	22,120	12,269	24,351
Maximální poměr čtení:zápisů 50:50	33,569	28,286	56,541	11,011	21,875	12,269	24,360

Pokud se zaměříme na výkon náhodného přenosu, začneme pozorovat posun v tom, kde se mohou projevit výhody karty RAID, pokud jde o vyvažování NUMA. Co se týče výkonu čtení, naměřily disky Solidigm 7.68TB P5520 SSD v našem testu čtení 4K dat 7.96 milionu IOPS, přičemž konfigurace PERC 12 JBOD naměřila 7 milionů IOPS. Rychlost zápisu v konfiguraci s přímými disky klesla na 3.4 milionu IOPS, zatímco PERC 12 si udržel 5.97 milionu IOPS. U pracovní zátěže 4K OLTP se tento údaj ještě více zvýrazňuje, přičemž přímí disky naměřily 3.6 milionu IOPS oproti 10.2 milionu IOPS u PERC 12.

Ačkoli tradiční názor byl, že hardwarový RAID nemá u moderních SSD disků žádnou hodnotu, vidíme, že tomu tak již není. Ano, nastavení NVMe u přímých disků lze vyladit, ale je to pohyblivý cíl mezi více SSD disky vyváženými mezi dvěma procesory.

To je v přímém kontrastu s kartou PERC 12 HWRAID, která zvládá veškerou tuto složitost a připojuje se pouze k jednomu procesoru. Pro škálování se druhá karta PERC v serveru Dell PowerEdge R760 připojuje k druhému procesoru, což nabízí vyvažování pro větší pracovní zátěže rozdělené mezi tyto dvě skupiny disků. Je třeba poznamenat, že kolem 10 milionů IOPS začal systém saturovat procesory, a proto jsme v některých oblastech s další kartou PERC 12 neviděli lineární škálování.

Pracovní zátěž	JBOD Direct Drives (MB/s)	JBOD 1 × PERC 12 (MB/s)	JBOD 2 × PERC 12 (MB/s)	RAID 10 1 x PERC 12 – Optimální (MB/s)	RAID 10 2 x PERC 12 – Optimální (MB/s)	RAID 5 1 x PERC 12 – Optimální (MB/s)	RAID 5 2 x PERC 12 – Optimální (MB/s)
4KB náhodné čtení (IOP)	7,958,204	7,003,556	12,447,020	6,757,498	13,067,852	6,974,826	13,205,656
4KB náhodných zápisů (IOP)	3,473,446	5,974,265	11,323,633	2,204,738	4,684,333	862,769	1,725,198
4KB OLTP (IOP)	3,553,974	10,195,618	11,967,984	6,441,868	12,288,219	2,635,711	5,279,999

I když jsme se u konfigurace Direct Drives PowerEdge R760 nedívali na možnosti softwarového RAIDu, měli jsme možnost vidět, jak dobře si konfigurace RAID vede na PERC 12 v degradovaném stavu. I když výkon zaznamenal výrazný pokles ve srovnání s optimálním výkonem, RAID10 i RAID5 nabízely silný výkon při obnově svých skupin RAID.

Pracovní zátěž	RAID 10 1 x PERC 12 – Obnova (MB/s)	RAID 10 2 x PERC 12 – Obnova (MB/s)	RAID 5 1 x PERC 12 – Obnova (MB/s)	RAID 5 2 x PERC 12 – Obnova (MB/s)
4KB náhodné čtení (IOP)	1,345,175	2,692,738	2,350,889	4,676,748
4KB náhodných zápisů (IOP)	1,666,967	3,174,430	242,802	479,144
4KB OLTP (IOP)	1,618,209	3,253,603	243,349	486,251

Optimální výkon RAIDu je sice důležitým aspektem výběru úložného řešení, ale stejně důležité může být i sledování jeho výkonu za neoptimálních podmínek. Za tímto účelem jsme změřili latenci zápisu 4K v RAID5 za optimálních podmínek a výkon při obnově s selháním disku. Pokud by výkon nebo latence utrpěly masivní pokles, mohla by se stát problémem odezva aplikací. I když se výkon při obnově ve srovnání s optimálním režimem snižuje, latence výkonu se oproti základnímu stavu nezvyšuje.

Závěrečné myšlenky

Nová karta PERC12 NVMe RAID od společnosti Dell mění pravidla hry v oblasti úložišť NVMe v serverech PowerEdge. V minulosti někteří zákazníci váhali s přechodem z disků SAS SSD nebo se rozhodli pro disky NVMe připojené k různým SDS nebo hypervizorům. Zavedení karty PERC 12 však změnilo podmínky pro PowerEdge a učinilo z ní životaschopnější variantu.

Důvod, proč PERC 12 funguje tak dobře, lze připsat také uspořádání serveru PowerEdge. Náš R760 má dvě karty PERC 12 (H965i Front), každá s x16 linkami. To nám umožňuje využít 8 SSD disků Solidigm s každou kartou, což poskytuje maximální propustnost až 28 GB/s na kartu. Připojení všech 16 SSD disků k jedné kartě RAID by vedlo ke ztrátě poloviny potenciálního výkonu.

Možná se ptáte: „Proč ne 24 SSD s HWRAID?“ Jen nezapomeňte, že každý systém má někde úzké hrdlo. V tomto případě můžeme CPU docela snadno nasytit, takže x86 v serveru se stává faktorem omezení. Pokud mluvíme o clusterovém řešení, pak budeme síť také pegovat. Hrstka SSD dokáže snadno zaplnit 200GbE nebo dokonce 400GbE. Vzhledem k tomu, že kapacity SSD nyní přesahují 30.72 TB, není taková potřeba mít server plný disků i kvůli problémům s kapacitou systému.

Pokud jste si četli naši recenzi RAID karty Broadcom řady 9600, zpočátku jsme byli dost skeptičtí, zda nový křemík realisticky poskytne veškerou odolnost dat a výhody obnovy HWRAID, aniž by to ohrozilo výkonnostní profil NVMe SSD. Výsledky v této recenzi nás mile překvapily a ještě více zde, kde PERC 12 dokázal v R760 zdvojnásobit výkon a dosáhnout dvojnásobného maximálního výkonu. I když v mnoha případech použití, jako je softwarově definované úložiště, mohou být disky Dell Direct Drive stále preferovány, možnost PERC 12 by měla být extrémně oblíbená pro většinu podnikových případů použití.