Téměř před dvěma lety jsme dokončili recenzi úložného serveru Viking Enterprise Solutions (VES) s 24 pozicemi NVMe a dvěma výpočetními uzly v 2U šasi. VES je významný výrobce originálních zařízení (OEM), který vytváří jedny z nejinovativnějších systémů úložných serverů na trhu. Nedávno jsme měli možnost si osobně vyzkoušet verzi jejich úložného serveru, která je vyladěna pro jednoportové NVMe disky. Samozřejmě jsme vzali 24 SSD disků Solidigm P5316 s kapacitou 30.72 TB QLC, vložili je do serveru a podívali se, co dokáže téměř 750 TB RAW flash paměti.
Kromě OEM práce prodává VES také řadě zákazníků z oblasti HPC a hyperscale. To je důležitý faktor, protože když bereme v úvahu výkon úložných serverů mimo tradiční podnikovou sféru, způsob, jakým organizace s masivními datovými stopami konfigurují úložiště, je odlišný.
Mnoho úloh, na které se tyto servery zaměřují, považujeme za moderní analytické a umělé inteligence, kde je výkon kritický a dostupnost dat o něco méně. Tyto konfigurace proto nevypadají jako tradiční SAN, kde jsou datové služby a odolnost primárním důrazem. V tomto příkladu konfigurujeme pro optimální výkon v rámci úložného serveru VES, spíše než abychom přidávali I/O karty a využívali server jako sdílené úložiště.
Tato konfigurační nuance je důležitá. Do každého výpočetního uzlu AMD EPYC v zadní části systému dodáváme 12 SSD disků P5316. Tyto uzly řeší úložiště v JBOD, za předpokladu odolnosti na úrovni aplikací pro dostupnost dat. I když jsme pro tuto zprávu nevyužili grafické procesory (GPU), je docela rozumné nakonfigurovat tyto uzly s něčím jako NVIDIA A2 pro analytické nebo inferenční úlohy.
Než se ale ponoříme příliš hlouběji do konfigurace serveru a úložiště, podívejme se na klíčové hardwarové komponenty, které jsou součástí této práce.
Úložný server Viking Enterprise Solutions VSS2249P
Pro tuto práci jsme se obrátili na VES, abychom našli výkonný server, který by dokázal maximálně využít 24 SSD disků Solidigm P5316 s kapacitou 30.72 TB v přední části. Nejedná se o triviální problém; disky s jedním portem budou fungovat nejlépe v řešení, které dokáže poskytnout čtyři linky PCIe v4 z jednoho uzlu serveru AMD ke každému disku. Přímý přístup nabízí nejvyšší výkon z každého SSD, na rozdíl od průchodu interním expandérem, který může omezovat šířku pásma. Tento systém je navíc navržen pro SSD disky s jedním portem, jako je Solidigm P5316, na rozdíl od předchozího serveru Viking Enterprise Server, který byl navržen pro SSD disky se dvěma porty.
Hlavní vlastnosti Viking Enterprise Solutions VSS2249P
Viking Enterprise Solutions VSS2249P je 2U dvouuzlový úložný server s 24 pozicemi pro jednoportové disky U.2 PCIe v4. Konkrétněji řečeno, každý serverový uzel (nebo modul) podporuje 12 jednoportových, za provozu připojitelných 2.5palcových NVMe U.2 (SFF-8639) SSD disků přes x4 PCIe Gen4 linky, což z něj činí server zaměřený na výkon. Díky tomu je ideální pro případy použití, kde mohou být úzká hrdla I/O problémem, jako je úložiště na edge computingu, analytika, strojové učení, umělá inteligence, OLTP databáze, vysokofrekvenční obchodování, ale i modelování, simulace, vědecký výzkum a další vysoce výkonné případy použití.
VES je přední společnost zabývající se vývojem úložišť a serverů, která se specializuje na vývoj rozsáhlých řešení pro vysoce výkonné a cloudové podnikové OEM zákazníky. Díky širokému portfoliu zákazníků má rozsáhlé zkušenosti s využíváním nových technologií při vývoji svých řešení, což může jejich zákazníkům pomoci získat konkurenční výhodu. Totéž očekáváme i od VSS2249P.
Solidigm D5-P5316
Tento server jsme již dříve v naší laboratoři měli, ale tentokrát jsme jej osadili 30.72TB SSD disky Solidigm D5-P5316 PCIe Gen4 NVMe, což v 15mm provedení U.2 představuje téměř tři čtvrtiny petabajtu úložného prostoru. To umožní zákazníkům (zejména v oblasti hyperscale) rozsáhlá nasazení. Disky D5-P5316 jsou také vybaveny 144vrstvou QLC NAND pamětí, která snižuje náklady a zároveň si zachovává vysokokapacitní modely a solidní výkon.
Uvádí se, že model D5-P5316 dosahuje rychlosti sekvenčního čtení až 7 GB/s, zatímco modely s kapacitou 30.72 TB nabízejí o něco vyšší rychlost zápisu s 3.6 GB/s. Při náhodném čtení 4K dat uvádí společnost Solidigm u svého nového disku rychlost 800 000 IOPS u všech modelů. Disk se také vyznačuje rychlostí zápisu 0.41 za den (DWPD), 5letou zárukou a řadou vylepšeného zabezpečení, včetně hardwarového šifrování AES-256, sanitizace NVMe a měření firmwaru.
Tyto disky jsou ideální pro prostředí, která potřebují optimalizovat a zrychlit úložiště v rámci úloh datových center, jako jsou sítě pro doručování obsahu (CDN), hyperkonvergovaná infrastruktura (HCI) a velká data.
Celkově jsme zjistili, že Solidigm vytvořil disk, který nachází vynikající rovnováhu mezi kapacitou, výkonem a cenou – což je pro VSS2249P ideální.
Komponenty a sestavení Viking Enterprise Solutions VSS2249P
Dva serverové moduly uvnitř skříně VSS2249P jsou vyměnitelné za provozu a jsou vybaveny procesorem AMD EPYC Rome, dvěma sloty x16 PCIe Gen4 a jednou kartou OCPNIC v3.0, která podporuje rozšiřující karty PCIe Gen 4, a až 8 moduly DIMM. S rozměry 3.43 palce (V) x 17.2 palce (Š) x 27.44 palce (H) je VSS2249P také navržen tak, aby se snadno vešel do standardního 19palcového racku o délce 1.0 metru, což umožňuje jeho nasazení v různých aplikacích.
Každý uzel v naší konfiguraci obsahuje procesor AMD EPYC 7402P s 24 jádry, základní frekvencí 2.8 GHz (maximální boost 3.35 GHz), 48 vlákny a 128 MB L3 cache. Je také vybaven 64 GB paměti DDR4 RAM (8 x 8 GB) a 250GB bootovacím SSD diskem M.2.
VSS2249P je navržen jako bezkabelový systém. Například deska disků poskytuje připojení pro napájení, data a správu, stejně jako napájecí zdroje. Systémové ventilátory jsou také součástí sestavy serverového držáku (jsou k desce disků připojeny přes desku ventilátorů) a jsou napájeny a řízeny deskou disků. Pro snadný přístup se ventilátory vyjímají přes horní kryt. Všechny SSD disky se zapojují přímo do střední desky. To usnadňuje servis VSS2249P a absence kabelů zajišťuje lepší proudění vzduchu a tím i chladnější serverové uzly.
Specifikace Viking VSS2249P
| Příloha | 2 uzlové, jednoportové disky |
| Sloty PCIe 4. generace | Dva x16 HH/HL, jeden x16 Gen OCP v3 |
| NTB | N / A |
| Serverová skříň | Jeden procesor, 8 slotů DDR4 DIMM |
| firmware |
|
| Procesor (CPU) | Procesor EPYC (ŘÍM nebo MILAN) |
| Síť pro správu | 1GbE – port pro správu |
| Servery |
|
| Memory |
|
| Externí rozhraní | 1 USB, 1 Displayport, 1 Gb IPMI, 1 konzolový port MicroUSB |
| AC napájení |
|
| Součásti vyměnitelné za provozu |
|
| Provozní prostředí |
|
| Neprovozní prostředí |
|
| Rozměry a hmotnost skříně 2U |
|
24 výkonnostních testů Solidigm D5-P5316
I když většina z nás vnímá QLC flash paměti jako méně výkonnou alternativu k TLC SSD diskům, jedná se pouze o pohled na jednu stranu rovnice. Výkon náhodného zápisu menších bloků může být nižší kvůli architektonickým rozhodnutím, jako je hrubá indirekční konfigurace, ale výkon sekvenčního zápisu a náhodného zápisu velkých bloků je velmi konkurenceschopný a velmi blízký základním TLC DC SSD diskům.
S ohledem na dostupnost flash pamětí založených na TLC na trhu jsou rychlosti zápisu nižší, ale výkon čtení je stále velmi dobrý, ne-li zcela konkurenceschopný. V této recenzi jsme se zaměřili na využití 24 SSD disků Solidigm P5316 s kapacitou 30.72 TB uvnitř 2uzlového serveru, abychom ukázali, jak daleko je můžeme posunout s dostatkem výpočetního výkonu.
Když jsme se naposledy podívali na podobný systém Viking Enterprise Solutions, byl navržen tak, aby sdílel 24 SSD disků mezi dvěma uzly, přičemž každý uzel měl vícecestný přístup ke každému SSD disku. VSS2249P používá podobné uzly na backendu, ačkoli 12 SSD disků je přímo připojeno k jednomu uzlu a zbývajících 12 k druhému. To dává každému SSD disku plné 4 kanály PCIe Gen4 linek zpět k uzlu, ke kterému je připojen.
Na každý server jsme nainstalovali Ubuntu 20.04 a využili jsme FIO k simultánnímu zaplnění všech 24 SSD disků Solidigm P5316. Každý SSD byl plně zaplněn sekvenčním plněním a poté rozdělen na oddíly, aby se pracovní zatížení soustředilo na 5 % plochy disku. Zaměřili jsme se na velikosti bloků optimalizované pro QLC, které se překrývají s tradičními flash médii. Hlavní rozdíl spočívá v minimalizaci aktivity zápisu menší než 64K, což u QLC flash disků představuje problém s indirektním zápisem. S ohledem na to byly naměřené pracovní zátěže následující:
- 1MB sekvenční
- 64K sekvenční
- 64K Náhodné
- 64K Náhodné 70R/30W
- 64K Náhodné 90R/10W
- 4K náhodné čtení
V našem prvním testu s velikostí sekvenčního přenosu 1 MB jsme naměřili neuvěřitelnou šířku pásma 175.5 GB/s napříč 24 SSD disky P5316. To odpovídalo něco málo přes 7.3 GB/s na SSD na straně front-endu. Při sekvenčním zápisu o velikosti 1 MB byla tato hodnota naměřena na 56.1 GB/s, tj. 2.34 GB/s na SSD.
Snížením velikosti bloku na pracovní zátěž 64 kB nabídly SSD disky Solidigm P5316 šířku pásma 159 GB/s, což představuje více než 6.62 GB/s na SSD. Pracovní zátěž zápisu dosáhla 57.7 GB/s, což představuje 2.40 GB/s na SSD.
Protože ne všechny úlohy byly sekvenční, přešli jsme na náročnější 64K náhodnou pracovní sadu, což postavilo SSD disky QLC do jedné z nejstresovějších situací. Čtecí provoz zaznamenal nejvyšší propustnost s neuvěřitelných 176.3 GB/s provozu. Při přepínání ze čtení na zápis však byly SSD disky P5316 nejvíce zatíženy s 13.2 GB/s, tj. 550 MB/s na disk. To odpovídá údajům uvedeným ve specifikacích pro tuto úlohu, ale ukazuje to, kde tyto SSD disky dosahují svého limitu.
Vzhledem k tomu, že náhodné čtení s rychlostí 64 kB nabízí nejvyšší výkon disku a zápis nejnižší, podívali jsme se na smíšenou kombinaci pracovních zátěží, abychom zjistili, jak se tyto disky liší s ohledem na změnu poměru čtení/zápisu. Při 70% pracovní zátěži čtení s rychlostí 64 kB a náhodným čtením naměřila skupina disků rychlost 44 GB/s. Když jsme však tuto rychlost dále upravili na 90% čtení, šířka pásma vzrostla až na 130.7 GB/s. To dále posouvá hranici, kdy disky QLC SSD nasazené ve správných situacích mohou být výkonnými disky, i když nejsou navrženy tak, aby ve všech situacích nahradily disky TLC SSD.
Na závěr testování jsme se podívali na test maximální propustnosti zaměřený na výkon náhodného čtení 4K dat. Zápis 4K dat byl vynechán, protože tyto disky používají hrubou indirekční jednotku 64K a neposkytují nejvyšší výkon na 4K dat. Při náhodném čtení 4K dat jsme naměřili téměř 87 GB/s provozu 4K dat, což představuje 21.2 milionu IOPS. To je působivý údaj, který se blíží nabídkám SSD disků TLC na trhu.
Závěrečné myšlenky
V minulosti jsme s disky QLC SSD od Solidigmu odvedli rozsáhlou práci, ale toto je zdaleka nejvýznamnější práce, kterou jsme s nimi dosud provedli. Do 2U serveru jsme vměstnali téměř 750 TB úložiště. Chtěli jsme se podívat, jak si disky vedou v konfiguraci, kde aplikace jako analytika a inference mohou využít moderního designu platformy. I když je obecný názor na QLC takový, že jsou vhodné pouze pro hodnotné nebo archivní projekty, to nemůže být dále od pravdy.
Pokud jde o výkon, vidíme, že SSD disky P5316 v úložném serveru VES VSS2249P dokázaly dosáhnout úžasných výsledků. Sekvenční výkon při čtení velkých bloků je pro server naprosto vyčerpávající, přičemž každý SSD disk téměř dosáhl výkonu své pozice Gen4 U.2 při čtení. Naměřili jsme 175.5 GB/s při čtení 1 milionu dat, což odpovídá 7.3 GB/s na SSD disk.
Výkon náhodného čtení byl také skvělý, s maximem 176.3 GB/s při bloku o velikosti 64 kB. Ale na výkon zápisu se nemusíte podceňovat; disky si vedly velmi dobře i při velkých blokových úlohách. Sekvenční zápis 64 kB naměřil 57.7 GB/s, zatímco náhodný zápis 64 kB se snížil na 13.2 GB/s. Smíšené úlohy se zaměřením na aktivitu čtení si vedly docela dobře, kde jsme naměřili 44 GB/s při 64 kB 70/30 a necelých 131 GB/s při 64 kB 90/10. A konečně, při náhodném čtení malých bloků jsme naměřili úžasných 86.9 GB/s neboli 21.2 milionu IOPS při naší 4 kB úlohě.
V minulosti jsme pracovali s dvouuzlovou verzí HA tohoto serveru Viking Enterprise Server využívající dvouportové TLC SSD. I když se nejedná o zcela jednoznačnou odpověď, existuje několik zajímavých trendů, které ukazují, že tyto QLC SSD obstojí velmi dobře i v porovnání s řešeními TLC.
Obě sady disků dokázaly zvládnout obrovskou šířku pásma, přičemž disky TLC SSD naměřily 125 GB/s a disky Solidigm P5316 QLC SSD 159 GB/s při sekvenčním čtení 64K dat. Výkon zápisu byl také podobný, přičemž disky TLC SSD dosáhly 63.2 GB/s při sekvenčním zápisu 64K dat ve srovnání s P5316s s 57.7 GB/s.
Tato data nenaznačují, že QLC je úplnou náhradou za TLC ve všech aplikacích, TLC má stále velkou výhodu, protože se zvyšuje procento zápisu a potřeba vyšší odolnosti. Pro mnoho případů použití jsou však SSD disky QLC připraveny k nasazení a často mohou být rychlejší než konkurence s TLC, zejména pokud pracovní zátěž není příliš náročná na zápis.
Pokud navíc potřebujete kombinaci kapacity a výkonu, disky QLC DC SSD jednoznačně zvítězí. Jedná se o jedinečnou kombinaci, kterou disky QLC a v budoucnu i PLC SSD dobře splňují. Vzhledem k tomu, že jsme v tomto úložném serveru VES zaznamenali rychlost přes 175 GB/s na téměř 3/4 PB úložiště v 2U, vypadá efektivita racku docela přesvědčivě.
Tuto zprávu sponzoruje společnost Solidigm. Veškeré názory a stanoviska vyjádřené v této zprávě vycházejí z našeho nezaujatého pohledu na daný produkt (produkty).
Amazon