Solidigm D5-P5430 je mainstreamovou řadou datových center QLC od společnosti Solidigm. Je to disk, který se nachází pod modelem D5-P5336, který maximalizuje kapacitu , a obsahuje menší indirekční jednotku pro smíšené a maloblokové zápisy, které 16KB-IU disk zvládá špatně. 15.36TB P5430 jsme recenzovali při jeho uvedení na trh v roce 2023, kdy se hlavní pozornost zaměřovala na přechod z 64KB indirekční jednotky P5316 na 4KB a na to, co to udělalo pro zápisy malých bloků. Model E3.S s kapacitou 30.72 TB v laboratoři nyní vrcholí rodinou s 8KB indirekční jednotkou a zařazuje se do velmi odlišné srovnávací skupiny: vysokokapacitní třída QLC se přesunula na disky s kapacitou 61 TB, 122 TB a 245 TB, z nichž několik je na Gen5, zatímco P5430 je disk s rozhraním PCIe 4.0 x4, zde testovaný v 7.5mm provedení E3.S, které tato řada nabízí společně s U.2 a E1.S.
Společnost Solidigm uvádí, že tato řada disků dosahuje rychlosti sekvenčního čtení až 7 000 MB/s a sekvenčního zápisu 3 000 MB/s, až 971 tisíc IOPS náhodného čtení a 120 tisíc IOPS náhodného zápisu, přičemž model s kapacitou 30.72 TB uvádí 934.5 tisíc IOPS náhodného čtení a výdrž 31.92 PBW, což odpovídá 0.58 DWPD během pětileté záruky při 100% zátěži náhodného zápisu. Jmenovitý příkon je až 25 W v aktivním režimu a 5 W v klidovém režimu.
Společnost Solidigm pro P5430 vždy kladla důraz na hustotu s profilem čtení podobným TLC za cenu QLC. Disk splňuje požadavky podnikových standardů: 192vrstvá 3D QLC NAND paměť s vlastním řadičem a firmwarem Solidigmu, PCIe 4.0 x4 s NVMe 1.4c, komplexní ochranu dat s ECC a CRC, ochranu proti výpadku napájení, zabezpečené spouštění, možnosti TCG Opal 2.0 a FIPS 140-2 Level 2, telemetrii OCP 2.0 a validaci platform na Intel, AMD, Ampere a NVIDIA. Řada disků zahrnuje kapacity od 3.84 TB do 30.72 TB v provedeních U.2 15 mm a E3.S 7.5 mm, přičemž E1.S 9.5 mm dosahuje maxima 15.36 TB.
Specifikace Solidigm D5-P5430 30.72 TB
| Specifikace | Solidigm D5-P5430 30.72 TB |
|---|---|
| Přehled platformy | |
| Kapacita (testovaná) | 30.72TB |
| Rodinné kapacity | U.2 a E3.S: 3.84 TB, 7.68 TB, 15.36 TB, 30.72 TB E1.S: 3.84 TB, 7.68 TB, 15.36 TB |
| Form Factor | U.2 15mm E3.S 7.5 mm (testováno) E1.S 9.5 mm |
| Rozhraní | PCIe 4.0 x4, NVMe 1.4c |
| NAND | 192vrstvá 3D QLC |
| Indirekční jednotka | 8 kB (30.72 TB) 4 kB (3.84 TB až 15.36 TB) |
| Výkon (hodnoceno dodavatelem) | |
| Sekvenční čtení | Až 7,000MB / s |
| Sekvenční zápis | Až 3,000MB / s |
| Náhodné čtení 4K | Až 971 tisíc IOPS (řada) 30.72 500 tisíc IOPS (1 TB) |
| Náhodný zápis 4K | Až 120 tisíc IOPS |
| Síla a vytrvalost | |
| Vytrvalost | 31.92 PBW (30.72 TB) Až 0.58 DWPD, 100% náhodný zápis |
| Výkon | Až 25 W aktivní Až 5 W v klidovém stavu |
| Záruka | 5 let |
| Funkce | |
| Ochrana dat | Komplexní ochrana dat (ECC a CRC) Ochrana proti výpadku napájení UBER testován dle 1E-17 |
| Bezpečnost | Secure bota TCG Opal 2.0 FIPS 140-2 úroveň 2 (vybrané SKU) |
| management | Stránky protokolů a telemetrie OCP 2.0 |
| Ověření platformy | Intel, AMD, Ampere, NVIDIA |
Výkonný disk Solidigm D5-P5430 30.72 TB
Platforma pro testování disků
Jako testovací platformu pro všechny úlohy v této recenzi používáme Dell PowerEdge R760 s operačním systémem Ubuntu 22.04.2 LTS. Je vybaven sériovými kabely Gen5 JBOF a nabízí širokou kompatibilitu s disky SSD U.2, E1.S, E3.S a M.2. Konfigurace našeho systému je popsána níže:
- 2× Intel Xeon Gold 6430 (32 jader, 2.1 GHz)
- 16 x 64GB DDR5-4400
- 480GB SSD disk Dell BOSS
- Sériové kabely Gen5 JBOF
Porovnání disků
- Solidigm D5-P5430 30.72 TB (Gen4 | E3.S 7.5 mm)
- Solidigm D5-P5336 61.44 TB (Gen4 | U.2)
- Solidigm D5-P5336 122.88 TB (Gen4 | U.2)
- DapuStor J5060 61.44 TB (Gen4 | U.2)
- DapuStor R6060 122.88 TB (Gen5 | E3.L)
- Micron 6550 ION 61.44 TB (Gen5 | E3.S, TLC)
- Micron 6600 ION 245.76 TB (Gen5 | E3.L)
Srovnávací skupinou je třída QLC s vysokou kapacitou v současné podobě, s jedním diskem TLC pro větší škálovatelnost. P5430 je nejmenší disk v sadě a jediný s kapacitou menší než 61 TB a sdílí linku Gen4 s P5336 61.44 TB a P5336 122.88 TB a DapuStor J5060 , všechny tři v patici U.2. DapuStor R6060 , Micron 6600 ION a Micron 6550 ION přinášejí linky Gen5, takže pokud s nimi P5430 drží krok, dělá to s polovinou sběrnice. Pouze TLC 6550 ION sdílí s P5430 tvarový faktor E3.S; smyslem této skupiny je ukázat, kde se nachází 30TB disk Gen4 QLC, když jsou alternativy na trhu větší, novější nebo obojí.
Benchmark výkonnosti FIO
Pro měření úložného výkonu každého SSD disku v rámci běžných metrik v oboru používáme metodu FIO (Field In-Over-Interface). Každý disk prochází stejným testovacím procesem, který zahrnuje krok předběžné přípravy, tj. dvě plná naplnění disku sekvenční zápisovou zátěží, po níž následuje měření výkonu v ustáleném stavu. Jak se každý měřený typ zátěže mění, spouštíme další předběžnou přípravu s novou velikostí přenosu.
V této části se zaměříme na následující benchmarky FIO:
- 128K sekvenční
- 64K Náhodné
- 4K Náhodné
128K sekvenční zápis (hloubka IOD 16 / počet úloh 1)
P5430 dosáhl v testu sekvenčního zápisu 128K rychlosti 3 150,2 MB/s, čímž překonal svou rychlost 3 000 MB/s a v žebříčku Gen4 QLC se vyrovnal Solidigm P5336 122.88 TB s rychlostí 3 152,5 MB/s. DapuStor R6060 122.88 TB dosáhl na Gen5 rychlosti 3 920,6 MB/s a TLC Micron 6550 ION 61.44 TB se umístil s rychlostí 10 456,4 MB/s výrazně nad ostatními. Pod P5430 se umístily DapuStor J5060 61.44 TB s rychlostí 2 883,1 MB/s, Micron 6600 ION 245.76 TB s rychlostí 2 838,0 MB/s a Solidigm P5336 61.44 TB s rychlostí 2 503,5 MB/s, čímž se 30.72 TB P5430 s rychlostí 312.2 MB/s dostal před 245.76 TB 6600 ION.
Latence sekvenčního zápisu 128K (hloubka IOD 16 / počet úloh 1)
Latence následovala šířku pásma, přičemž P5430 dosáhla 634.5 µs, což je jen o kousek méně než P5336 s 122.88 TB a 634.0 µs, a zaostával pouze za 6550 ION se 191.0 µs a R6060 s 509.7 µs. J5060 dosáhl 693.3 µs, 6600 ION se 704.3 µs a P5336 61.44 TB a 798.4 µs zaostával.
128K sekvenční čtení (hloubka IOD 64 / počet úloh 1)
P5430 dosáhl rychlosti 7 132,1 MB/s při sekvenčním čtení 128 kB, což je v podstatě identické s P5336 61.44 TB s rychlostí 7 132,3 MB/s, J5060 s rychlostí 7 126,8 MB/s a P5336 122.88 TB s rychlostí 7 121,6 MB/s, a jen o něco málo nad rychlostí disku 7 000 MB/s. Všechny čtyři disky Gen4 jsou na stejné hranici a disky Gen5 se jí vyhýbají: 6550 ION s 13 979,7 MB/s, 6600 ION s 12 729,8 MB/s a R6060 s 11 554,0 MB/s.
Latence sekvenčního čtení 128K (ID hloubka 64 / počet úloh 1)
P5430 zaznamenal latenci sekvenčního čtení 1 121,3 µs při rychlosti 128 kB, což je srovnatelné s P5336 61.44 TB s 1 121,3 µs a do 2 µs od J5060 a P5336 122.88 TB. Disky Gen5 dosáhly latence mezi 571.9 µs (6550 ION) a 692.1 µs (R6060).
64K náhodný zápis
P5430 zahájil 64K náhodný zápis s rychlostí 2 359,9 MB/s a 37.8 K IOPS v čase 1/1, dosáhl 3 149,9 MB/s v čase 2/1 a poté se udržel mezi 3 090,7 MB/s a 3 156,5 MB/s ve zbývajících 16 bodech zápisu, s vrcholem 3 156,5 MB/s a 50.5 K IOPS v čase 32/4 a uzavřením na 3 149,6 MB/s v čase 32/8. To je stejný strop zápisu 3.15 GB/s, jaký zjistil test 128K, a od 1/2 se P5430 udržel na této úrovni při každé hloubce fronty a počtu úloh.
Ve skupině dosáhl P5336 122.88TB téměř identického plató, od 2 429,9 MB/s do 3 182,7 MB/s, a R6060 se držel mezi 3 913,8 MB/s a 3 916,9 MB/s po počátečních 3 477,9 MB/s. J5060 se držel blízko 2 883 MB/s se dvěma poklesy do rozsahu 2 700 MB/s a P5336 61.44TB dosáhl mezi 2 412,9 MB/s a 2 721,4 MB/s. 6600 ION se pohyboval mezi 569.1 MB/s a 2 999,6 MB/s v závislosti na kombinaci a skončil na 694.8 MB/s a 11.1 K IOPS s časem 32/8, zatímco TLC 6550 ION se umístil v jiné třídě a dosáhl až 10 413,1 MB/s.
Latence náhodného zápisu 64K
Protože propustnost byla stabilní, latence P5430 se téměř přesně měnila s vynikajícími I/O operacemi: 26.1 µs při 1/1, 39.3 µs při 2/1, 79.0 µs až 80.5 µs při čtyřech vynikajících operacích, 158.3 µs až 161.4 µs při osmi, 317.1 µs až 322.9 µs při 16, 633.7 µs až 645.2 µs při 32, 1 268,6 µs při 64, 2 533,9 µs až 2 539,5 µs při 128 a 5 079,3 µs při 32/8. P5336 122.88TB skončil na 5 121,2 µs, J5060 na 5 548,9 µs a P5336 61.44TB na 6 026,4 µs, zatímco R6060 skončil na 4 086,6 µs a 6550 ION na 1 588,0 µs. Výkyvy zápisu u 6600 ION se projevily i v latenci, a to 23 020,7 µs při 32/8.
64K náhodné čtení
P5430 se vyšplhal z 273.3 MB/s a 4.4 K IOPS při 1/1 na 1 038,8 MB/s při 1/4, 1 951,8 MB/s při 1/8, 3 447,6 MB/s při 2/8 a 5 591,4 MB/s při 4/8, poté narazil na hranici Gen4 s 7 124,8 MB/s a 114.0 K IOPS při 8/8 a udržel se na této hranici, s odchylkou do 1 MB/s, po dobu posledních pěti bodů měření. Tři další disky Gen4, J5060 a oba P5336, dosáhly stejného maxima 7 125 MB/s a disky Gen5 ji překonaly s velkým náskokem: R6060 s 13 274,8 MB/s, 6550 ION s 13 204,6 MB/s a 6600 ION s 11 946,5 MB/s.
Latence náhodného čtení 64K
Latence čtení pro P5430 začala na 228.2 µs při 1/1 a držela se mezi 240 µs a 296 µs v osmi bodech, poté vzrostla na 290 µs až 321 µs při 16 bodech, 357 µs až 374 µs při 32 bodech, 560.9 µs při 64 bodech, 1 122 µs při 128 bodech a 2 244,9 µs při 32/8, jakmile disk dosáhl omezení šířky pásma. Disky J5060 a oba disky P5336 skončily s odchylkou do 1 µs od stejné hodnoty 2 245 µs, protože všechny čtyři saturují stejnou linku; disky Gen5 skončily s časem mezi 1 204,5 µs pro R6060 a 1 467,8 µs pro 6600 ION. V lehkém segmentu patřil P5430 s časem 228.2 µs k nejpomalejším v celé skupině, vedle P5336 s časem 122.88 TB a 227.5 µs a nejrychlejším u 6600 ION s časem 110.3 µs.
4K náhodné čtení
P5430 se škáloval z 10.0K IOPS při 1/1 na 77.1K při 1/8, 147.0K při 2/8, 273.3K při 4/8, 495.5K při 8/8 a 822.6K při 16/8, poté dosáhl vrcholu 975.2K IOPS a 3 809,2 MB/s při 32/8. Tento vrchol je nad Solidigmovým hodnocením 934.5K pro 30.72TB model a překonal oba disky P5336 s 948.9K pro 61.44TB a 935.8K pro 122.88TB. Body pro jednu úlohu se škálovaly mnohem pomaleji a dosáhly pouze 130.2K při 32/1, takže disk potřebuje paralelní úlohy, aby dosáhl svého hodnocení. Disky Gen5 a J5060 ho s časem 32/8 značně překonaly: 6550 ION s 1.797 milionu, 6600 ION s 1.727 milionu, R6060 s 1.656 milionu a J5060 s 1.322 milionu.
Latence náhodného čtení 4K
Latence čtení 4K dat u P5430 byla 99.8 µs při 1/1 a v bodech s více úlohami se do 8/8 držela mezi 102 µs a 130 µs, zatímco v bodech s hlubokou frontou jednotlivých úloh se v časech 8/1, 16/1 a 32/1 pohybovala od 166 µs do 245 µs. V čase 16/4 se zvýšila na 142.4 µs, v čase 16/8 na 155.0 µs, v čase 32/4 na 172.6 µs a v čase 32/8 na 261.8 µs, jak se disk blížil svému stropu IOPS. Oba disky P5336 sledovaly stejnou křivku během několika mikrosekund a skončily na 268.8 µs a 272.0 µs při 32/8. Model 6600 ION měl nejnižší hodnotu prvního přístupu s 52.4 µs a model 6550 ION nejnižší na horní hranici s 141.5 µs.
4K náhodný zápis
P5430 zahájil režim náhodného zápisu 4K s rychlostí 81.8K IOPS při rychlosti 1/1 s latencí 11.8 µs, poté se vyšplhal na 134.1K při rychlosti 1/4 a dosáhl vrcholu 152.5K IOPS a 595.8 MB/s při rychlosti 1/8. Po tomto vrcholu se u každé zbývající kombinace až do 64 nevyřízených I/O operací udržel mezi 111.7K a 149.7K, s výjimkou poklesu na 84.6K v bodě 32/1 pro jednu úlohu, a ustálil se na 88.2K při 16/8, 90.3K při 32/4 a 74.2K při 32/8, když bylo nevyřízených 128 nebo více zápisů. Společnost Solidigm hodnotí disk na 120K a P5430 tuto hodnotu překonal v devíti z 18 bodů, přičemž všechny se pohybovaly mezi čtyřmi a 32 nevyřízenými I/O operacemi. S 64 vynikajícími výsledky se udržela v rámci 7 procent hodnocení a na dvou nejnižších úrovních fronty klesla o 25 až 38 procent pod něj.
Nejbližší QLC disk, 6600 ION, dosáhl vrcholu 113.8K, ale osciloval mezi 41K a 114K v celém rozsahu a skončil na 41.4K; R6060 dosáhl vrcholu 51.2K a skončil na 30.8K; P5336 122.88TB dosáhl vrcholu 45.5K a skončil na 25.9K. TLC 6550 ION byl jediný disk ve stejném rozsahu s vrcholem 116.2K a 95.5K při 32/8. J5060 a P5336 61.44TB nedokončily test náhodného zápisu 4K, když byla tato skupina původně spuštěna, takže v tomto grafu chybí.
Latence náhodného zápisu 4K
Latence zůstala na 11.8 µs při 1/1, 19.2 µs při 2/1, 29.3 µs při 1/4, 51.8 µs při 1/8 a 106 µs až 126 µs při 16 nevyřízených frontách, poté se s hloubkou fronty zvýšila na 255 µs až 378 µs při 32 frekvencích, 558 µs až 572 µs při 64 frekvencích, 1 416 µs až 1 450 µs při 128 frekvencích a 3 449,4 µs při 32/8. Toto konečné číslo je v porovnání s 2 676,6 µs pro 6550 ION, 6 141,0 µs pro 6600 ION, 8 295,3 µs pro R6060 a 9 859,8 µs pro P5336 122.88TB.
Přímé úložiště GPU
Jedním z testů, které jsme v tomto testovacím prostředí provedli, byl test Magnum IO GPU Direct Storage (GDS). GDS je funkce vyvinutá společností NVIDIA, která umožňuje grafickým procesorům obejít CPU při přístupu k datům uloženým na discích NVMe nebo jiných vysokorychlostních úložných zařízeních. GDS přesouvá data přímo mezi úložným zařízením a pamětí grafické karty, aniž by je ukládala do systémové paměti, čímž snižuje latenci a zvyšuje propustnost.
Tradičně, když GPU zpracovává data uložená na disku NVMe, musí data nejprve projít CPU a systémovou pamětí, než se dostanou k GPU. Tento proces zavádí úzká hrdla, protože CPU funguje jako prostředník, což přidává latenci a spotřebovává cykly CPU a šířku pásma paměti. Funkce GPU Direct Storage tento přeskok odstraňuje tím, že umožňuje GPU přístup k datům přímo z úložného zařízení přes sběrnici PCIe, a u úloh s umělou inteligencí, které streamují terabajty prostřednictvím trénovacího nebo inferenčního kanálu, je tato přímá cesta tím, co brání GPU v nečinnosti při I/O operacích. Náš GDSIO sweep provádí sekvenční čtení a zápis s velikostmi přenosu 16K, 128K a 1M napříč 1 až 128 vlákny a pro každý bod uvádíme propustnost, IOPS a průměrnou latenci.
Sekvenční propustnost čtení GDSIO
Čtecí křivka P5430 má tvar, který očekáváme od QLC kontrolérů Solidigm: nerovnoměrná při 16K, poté s rostoucí velikostí přenosu následuje nárůst. Při 16K se čtecí rychlost otevírala na 537 MiB/s v jednom vlákně, klesla na 166 MiB/s ve čtyřech vláknech a 179 MiB/s v osmi, poté se zotavila na 345 MiB/s při 16 vláknech, 501 MiB/s ve 32 vláknech a 808 MiB/s v 64 vláknech, a skončila na 1.1 GiB/s ve 128 vláknech. Tento pokles a zotavení v jednom vlákně je stejný jako u disků P5336 a obou DapuStorů v sekci malých bloků, a nechal P5430 uprostřed skupiny s 16K, což je výrazně za Micronem 6600 ION s 1.9 GiB/s na horní hranici, ale před oběma DapuStory a na úrovni 6550 ION v rozsahu středních vláken.
Při 128K se P5430 posunul z 290 MiB/s s jedním vláknem na 713 MiB/s se čtyřmi, 1.1 GiB/s s osmi, 1.6 GiB/s se 16 vlákny, 2.0 GiB/s s 32 vlákny, 2.1 GiB/s se 64 vlákny a 2.3 GiB/s se 128 vlákny. To se téměř bod za bodem vyrovnalo P5336 s kapacitou 122.88 TB a skončilo na stejné úrovni jako 6550 ION, ale disky Gen5 se zde odtrhly: 6600 ION dosáhl 5.3 GiB/s, R6060 4.9 GiB/s a J5060 3.8 GiB/s se 128 vlákny, přičemž P5336 dosáhl 61.44 TB s rychlostí 2.8 GiB/s.
Horní hranici datové hladiny pro P5430 Gen4 ukazuje jeho limit u 1 milionu disků. Začínal na 1.0 GiB/s v jednom vlákně, vyskočil na 2.9 GiB/s ve čtyřech vláknech a 3.3 GiB/s v osmi vláknech, poté se zpomalil na 3.6 GiB/s ze 16 vláken, 3.7 GiB/s v 64. vlákně a 3.8 GiB/s ve 128. Plató od 16 vláken dále představuje vyčerpání sběrnice, což řadí P5430 do těsného klastru s dalšími třemi disky Gen4: P5336 122.88 TB s 4.1 GiB/s a P5336 61.44 TB a J5060 s 4.3 GiB/s. Dvojice Gen5 na vrcholu se čistě oddělila, přičemž R6060 a 6600 ION dosáhly shodně rychlosti 5.9 GiB/s, zatímco TLC 6550 ION v tomto testu za skupinou zaostával s 2.6 GiB/s. V čtecím proudu GPU s velkými bloky poskytuje P5430 zhruba 90 procent toho, co zvládají větší disky Gen4 QLC, a asi dvě třetiny toho, co vedou lídři Gen5.
Sekvenční čtení IOPS GDSIO
P5430 dosáhl vrcholu 74.8 tisíc IOPS při zatížení 16 tisíc IOPS se 128 vlákny, což ho řadí na čtvrté místo ve skupině za 6600 ION se 130.4 tisíci IOPS, P5336 se 61.44 TB s 93.3 tisíci IOPS a P5336 se 122.88 TB s 83.0 tisíci IOPS a před R6060 s 62.6 tisíci IOPS, 6550 ION s 62.1 tisíci IOPS a J5060 s 54.7 tisíci IOPS. Křivky 128 tisíc IOPS a 1 milionu IOPS sledují výše uvedené stagnace propustnosti, přičemž P5430 se po saturaci linky Gen4 ustálil na hodnotě těsně pod 19 tisíc IOPS při 128 tisíci IOPS a přibližně 3.8 tisíc IOPS při 1 milionu IOPS.
Latence sekvenčního čtení GDSIO
Na nejlehčím konci testu zaostával P5430 s latencí čtení 16K v jednom vlákně, která činila 27.8 µs, pouze za oběma DapuStory, s 20.2 µs pro J5060 a 22.1 µs pro R6060, a překonal P5336 61.44TB s 28.4 µs. 6600 ION dosáhl 38.6 µs a dva disky, které se trápily s QD1, byly P5336 122.88TB s 82.1 µs a 6550 ION s 90.9 µs, přičemž oba platí penalizaci za první přístup, kterou P5430 nemá. S rostoucím počtem vláken se s hloubkou fronty zvyšovala i latence, stejně jako u každého disku ve skupině. Při 1 milionu a 128 vláknech skončil P5430 s dobou trvání okolo 33 ms, což je více než u disků Gen5 s 21 ms, ale méně než u 6550 ION s 48 ms a je to v souladu s oběma disky P5336.
Sekvenční propustnost zápisu GDSIO
Při zápisu 1 milionu dat dosáhl P5430 rychlosti 2.9 GiB/s v jednom vlákně, 3.0 GiB/s ve čtyřech vláknech, 2.9 GiB/s od osmi do 32 vláken a 2.7 GiB/s v 64 a 128 vláknech. To je na úrovni nebo nad rychlostí disku 3 000 MB/s (přibližně 2.8 GiB/s) od jednoho vlákna do 32, s přibližně 10% poklesem od vrcholu při 128 vláknech, a to umístilo P5430 na čtvrté místo ve skupině s 1 milionem MB/s za R6060 s 3.8 GiB/s, špičku 6550 ION s 3.9 GiB/s při 32 vláknech a P5336 s 61.44 TB s 3.2 GiB/s, zatímco porazil 6600 ION s 2.95 GiB/s, J5060 s 2.8 GiB/s a P5336 se 122.88 TB s 2.86 GiB/s.
Při 128K se rychlost P5430 zvýšila z 1.7 GiB/s s jedním vláknem na 2.8 GiB/s se čtyřmi a 2.9 GiB/s s osmi a šestnácti vlákny, poté klesla na 2.1 GiB/s s 32 vlákny, 1.7 GiB/s se 64 vlákny a 1.7 GiB/s se 128 vlákny. P5336 122.88TB vykázal stejný pokles na nižší základně, z 2.8 GiB/s s osmi vlákny na 2.1 GiB/s se 128 vlákny, a P5336 61.44TB se zmírnil z 3.2 GiB/s na 2.4 GiB/s, takže pokles pod hlubokými 128K zápisovými frontami vypadá jako rys rodiny Solidigm QLC sdílený všemi třemi disky. DapuStor R6060 a Micron 6550 ION si udržely rychlost 3.7 GiB/s až 3.8 GiB/s v 64 vláknech při 128 kB, zatímco J5060 stagnoval s rychlostí 2.8 GiB/s v celém rozsahu. Při 16 kB se P5430 pohyboval od 582 MiB/s do 1.3 GiB/s, ve stejném pásmu jako všechno ostatní kromě P5336 122.88 TB, který při 16 kB nikdy nepřekročil hranici 0.8 GiB/s.
Sekvenční zápis IOPS GDSIO
Sekvenční zápis IOPS s rychlostí 16 000 operací v zápisu a 16 vlákny u modelu P5430 dosáhl vrcholu 88.2 000 operací při 16 vláknech, což jej řadí na šesté místo ve skupině, kde se pět disků nachází mezi 94 000 a 100 000 operacemi: 6550 ION se 100 000 operacemi, R6060 s 98.4 000 operacemi, 6600 ION s 98 000 operacemi, P5336 s 61.44 TB s 94.4 000 operacemi a J5060 s 89 000 operacemi. Jediným diskem výrazně nižším je P5336 s kapacitou 122.88 TB a 53.3 000 operací. Rozdíl mezi 6550 ION a P5430 je 12 procent, a to napříč disky s dvojnásobnou až osminásobnou kapacitou P5430.
Latence sekvenčního zápisu GDSIO
Latence zápisu 16K v jednom vlákně dosáhla u P5430 hodnoty 26.0 µs, což je druhé místo za R6060 s 21.9 µs a s P5336 61.44 TB. U J5060 to bylo 26.9 µs, u 6600 ION to bylo 30.6 µs, u 6550 ION to bylo 30.7 µs a u P5336 to bylo 122.88 TB s 31.2 µs. P5430 si tuto pozici udržel i při nižších a středních zátěžích 16K a 128K. V těžkém segmentu se oddělil opačným směrem: při 128 000 a 128 vláknech byl jeho čas 9.4 ms nejvyšší ve skupině, což je důsledek výše uvedeného poklesu propustnosti, a při 1 milionu a 128 vláknech skončil s časem kolem 47 ms, mezi 6600 ION s 54 ms a P5336 s 122.88 TB s 50 ms na horní straně a J5060, R6060, P5336 s 61.44 TB a 6550 ION s 39 ms až 45 ms pod ním.
Benchmark kontrolních bodů DLIO
Pro vyhodnocení reálného výkonu SSD disků v prostředích pro trénink umělé inteligence jsme použili benchmarkový nástroj Data and Learning Input/Output (DLIO). DLIO, vyvinutý Národní laboratoří Argonne, je speciálně navržen pro testování vzorců I/O v úlohách hlubokého učení. Poskytuje vhled do toho, jak úložné systémy zvládají výzvy, jako je kontrolní body, příjem dat a trénování modelů. Test je navržen tak, aby každý disk byl plně osazen plnými kontrolními body; větší SSD disky pojmou více kontrolních bodů. Při trénování modelů strojového učení jsou kontrolní body nezbytné pro pravidelné ukládání stavu modelu, čímž se zabrání ztrátě pokroku během přerušení nebo výpadků napájení. Tato náročnost úložiště vyžaduje trvalý výkon zápisu, zejména při dlouhých trénovacích běhech. Použili jsme benchmark DLIO verze 2.0 z vydání 13. srpna 2024.
Abychom zajistili, že naše benchmarkingové testování odráží scénáře z reálného světa, založili jsme testování na architektuře modelu LLAMA 3.1 405B. Implementovali jsme kontrolní body pomocí torch.save() pro zachycení parametrů modelu, stavů optimalizátoru a stavů vrstev. Naše nastavení simulovalo systém s osmi GPU a implementovalo strategii hybridního paralelismu se 4cestným tenzorovým paralelismem a 2cestným pipeline paralelismem distribuovaným mezi osm GPU. Tato konfigurace vedla k velikosti kontrolních bodů 1 636 GB, což reprezentuje moderní požadavky na trénování modelů velkých programovacích jazyků.
S kapacitou 1 636 GB na kus má disk P5430 30.72 TB 15 kontrolních bodů na průchod, ve srovnání s 33 u dvou disků s kapacitou 61.44 TB, 66 u disku P5336 122.88 TB, 68 u disku R6060 a 130 u disku 6600 ION. Disk J5060 do této skupiny nepatřil. Výsledky udávají průměrnou dobu zápisu jednoho kontrolního bodu v každém ze tří průchodů.
Při prvním průchodu dosáhl P5430 průměrného času 526.03 sekundy na kontrolní bod, což je třetí místo za R6060, který zaznamenal nejrychlejší první průchod ve skupině, a 6550 ION s časem 484.30 sekundy na kontrolní bod. Skončil těsně před P5336 (122.88 TB) s časem 530.75 sekundy, 6600 ION s časem 580.98 sekundy a P5336 (61.44 TB) s časem 662.68 sekundy. S rychlostí 1 636 GB na kontrolní bod dosahuje P5430 v prvním průchodu zhruba 3.1 GB/s, což se blíží naměřenému limitu zápisu FIO 3 150 MB/s.
Druhý průchod začal s každým diskem již plným od prvního. Průměrný čas P5430 se zvýšil o 27 procent na 666.85 sekundy. R6060 zhruba zdvojnásobil svůj čas prvního průchodu a byl tak nejpomalejším druhým průchodem ve skupině, 6600 ION se zlepšil o 60 procent na 926.70 sekundy a P5336 122.88TB se zlepšil o 41 procent na 746.14 sekundy, zatímco 6550 ION se zlepšil o 18 procent na 570.23 sekundy a P5336 61.44TB se mírně zrychlil na 640.71 sekundy.
Průměrné časy třetího průchodu se v každé jízdě od druhého průchodu lišily o méně než 5 procent. P5430 doběhl s časem 677.89 sekundy, což je o 1.7 procenta více, a umístil se opět na třetím místě za 6550 ION s 585.03 sekundami a P5336 61.44TB s 639.63 sekundami. To je asi o 10 procent kratší čas na kontrolní bod než P5336 122.88TB s 757.31 sekundami a asi o 30 procent méně než R6060 s 965.27 sekundami a 6600 ION s 968 sekundami.
Po prvním kontrolním bodě v čase 501.2 sekundy si P5430 udržel čas mezi 526.2 a 528.4 sekundami v ostatních 14 kontrolních bodech prvního průjezdu, s rozdílem 2.2 sekundy; P5336 122.88TB, další nejtěsnější, se během prvního průjezdu pohyboval od 520.3 do 548.6 sekundy. Od kontrolního bodu 16 do kontrolního bodu 45 se P5430 pohyboval v širším pásmu, mezi 601.4 a 713.6 sekundami, bez zvýšení času mezi druhým a třetím průjezdem. P5336 122.88TB sledoval stejný dvouúrovňový vzorec s časy 661 až 848 sekund po prvním průjezdu a R6060 a 6600 ION dokončily své jízdy v rozmezí 878 až 1 034 sekund.
Závěr
Solidigm D5-P5430 30.72 TB je tři roky starý design s rozhraním Gen4 a výsledky GDSIO naznačují, že na svou úroveň dobře zestárl. Při čtení velkých bloků přímo z GPU dosáhl rychlosti 3.8 GiB/s při 1 milionu, což je zhruba 90 procent toho, co zvládly disky Gen4 QLC s kapacitou 61 TB a 122 TB, a asi dvě třetiny toho, co zvládly disky Gen5 R6060 a 6600 ION. Při zápisu se udržel na úrovni nebo nad svou rychlostí 3 000 MB/s od jednoho vlákna až po 32 vláken s přibližně 10procentním úbytkem na 128 MB/s a jeho vrchol 3.0 GiB/s překonal 6600 ION, J5060 a P5336 122.88 TB. Latence jednoho vlákna 27.8 µs při čtení a 26.0 µs při zápisu jej řadí mezi první tři v skupině v obou případech a jeho 16K IOPS při zápisu se dostalo do 12 procent disků, což je dvojnásobek až osminásobek jeho kapacity. Dvě oblasti, kde se mu podařilo ustoupit, byly ty, které se od disků Gen4 očekávají: stropy čtení 128K a 1M, kde dvojice Gen5 utekla, a 128K zápisů v hluboké frontě, kde se snížil na 1.7 GiB/s stejně jako u jeho sourozenců P5336.
V režimu FIO se P5430 umístil na hranici Gen4 všude, kde byla pracovní zátěž vázána na čtení, s rychlostí 7 132,1 MB/s při sekvenčním čtení 128 kB, 7 125 MB/s při náhodném čtení 64 kB a 975.2 K IOPS při náhodném čtení 4 kB a zápis stabilní rychlostí 3 150 MB/s při sekvenčním čtení 128 kB a náhodném čtení 64 kB bez poklesu v jakékoli hloubce fronty. Výsledek náhodného zápisu 4 kB je to, co ho odlišuje od ostatních: vrchol 152.5 K IOPS a 111.7 K nebo lepší na každé kombinaci až 64 nevyřízených I/O operací kromě jednoho, oproti vrcholům 45.5 K a 51.2 K u dvou 122TB QLC disků a 6600 ION, které kolísaly mezi 41 K a 114 K. P5430 s touto kapacitou provozuje 8KB indirekční jednotku, oproti 16KB u P5336 a 6600 ION.
V kontrolních bodech DLIO zapsal P5430 v prvním průchodu rychlostí zhruba 3.1 GB/s, což se blíží jeho limitu zápisu FIO, s rozpětím 2.2 sekundy mezi posledních 14 kontrolními body, a ve třetím průchodu se ustálil na 677.89 sekundách na 1 636 GB kontrolní bod. To ho řadí na třetí místo ve skupině, za TLC 6550 ION a P5336 61.44 TB, a jeden kontrolní bod mu trval asi o 10 procent kratší dobu než P5336 122.88 TB a asi o 30 procent kratší dobu než R6060 a 6600 ION. Disky s kapacitou 122 TB a 245 TB pojmou čtyřikrát až devětkrát více kontrolních bodů na jedno naplnění, ale po prvním průchodu trval zápis každému z nich déle.
I když jsme s recenzí tohoto disku trochu pomalu, P5430 se hodí do roku 2026, protože jej Solidigm navrhl jako mainstreamový slot QLC pro: vrstvy obsahu a objektů s velkým objemem čtení, teplá datová jezera napájející GPU s velkými bloky a virtualizované nebo smíšené úlohy, kde 16KB indirekční jednotka P5336 není nejlepší volbou. Argumenty proti němu jsou obecně argumenty proti QLC Gen4: kupující, který si staví nový disk na Gen5, získá o 62 až 96 procent vyšší sekvenční propustnost čtení 128K a dvojnásobnou až osminásobnou kapacitu na slot než novější disky, pokud jsou to faktory, které ovlivňují jeho koupi. Pro všechny ostatní zůstává P5430 rozumným 30TB diskem s odolností, výkonem a výkonem malých bloků, kterými větší QLC disky nevynikají.
Amazon