DapuStor R6060 122 TB Testbericht: Leseintensive Gen5 QLC-Festplatte im großen Maßstab

Die DapuStor R6060 ist eine PCIe Gen5 Enterprise QLC SSD, die auf dem DP800-Controller und 3D QLC NAND von DapuStor basiert. Die Serie umfasst die Formfaktoren U.2, E3.L und E1.L mit Kapazitäten von 15.36 TB, 30.72 TB, 61.44 TB und 122.88 TB sowie ein 245-TB-Modell als Topmodell. Die Schnittstelle unterstützt PCIe 5.0 x4 oder 2×2 Dual-Port-Betrieb und NVMe 2.0. Unser Testgerät ist die 122.88-TB-Variante E3.L 2T, die DapuStor für dichte KI-Infrastrukturen, Cloud-Bereitstellungen und große Speicherpools positioniert, bei denen die Flash-Speicherdichte im Vordergrund steht. Das Leistungsprofil entspricht dieser Rolle, indem es eine hohe sequentielle Lesebandbreite mit einem deutlich geringeren Schreibdurchsatz kombiniert, wodurch sich der R6060 besser für leseintensive Datensätze und kapazitätsgetriebene Speicherebenen als für transaktionale Workloads mit kleinen Blöcken eignet.

DapuStor gibt für die R6060-Serie einen sequenziellen Lesedurchsatz von bis zu 14 GB/s und einen sequenziellen Schreibdurchsatz von 4 GB/s an. Die Leistung beim zufälligen Lesen wird für die Modelle mit 15.36 TB und 30.72 TB mit bis zu 3 Millionen IOPS spezifiziert, während die Modelle mit 61.44 TB und 122.88 TB 2.8 Millionen IOPS erreichen. Die Leistung beim zufälligen Schreiben ist deutlich geringer: 40 IOPS bei 16 KB bei den kleineren Kapazitäten und 20 IOPS bei 32 KB beim 122.88-TB-Modell. Daher eignet sich die R6060 besonders für leseintensive Anwendungen, insbesondere für große Datensätze und Speicherebenen mit hoher Speicherdichte, bei denen die nutzbare Kapazität wichtiger ist als die Schreibgeschwindigkeit für kleine Blöcke.

Die R6060 bietet die von einem solchen Laufwerk erwarteten Enterprise-Funktionen. NVMe 2.0 Flexible Data Placement (FDP) ist dabei eine der wichtigsten Funktionen für QLC. FDP ermöglicht dem Host eine präzisere Steuerung des Datenspeicherorts, wodurch die Schreibverstärkung reduziert und der Flash-Speicher besser genutzt wird. DapuStor gibt die Schreibgeschwindigkeit des Laufwerks mit 0.6 DWPD an und listet OCP 2.5-Konformität, NVMe-MI 1.2, durchgängigen Datenschutz, Secure Boot, Firmware-Verifizierung, Unterstützung für Datenbereinigung, Telemetrie, Latenzüberwachung und Dual-Port-Unterstützung für Systeme mit Pfadredundanzbedarf auf.

DapuStor gewährt auf den R6060 eine fünfjährige Garantie und gibt die maximale Leistungsaufnahme mit 25 W und die Leerlaufleistung mit 5 W an. Die zufällige Latenz beträgt 80/25 µs (Lesen/Schreiben), die sequentielle Latenz 7/8 µs und die mittlere Betriebsdauer zwischen Ausfällen (MTBF) 2.5 Millionen Stunden.

DapuStor R6060 122 TB Spezifikationen

Metrisch/Feld	15.36TB	30.72TB	61.44TB	122.88TB
Allgemein
PCN	R6060
Kapazität (TB)	15.36	30.72	61.44	122.88
Formfaktor	U.2/E3.L 2T/E1.L
Interface	PCIe 5.0×4 / 2×2, NVMe 2.0
Flash-Typ	3D Enterprise QLC NAND Flash
Leistung
Lesebandbreite @128KB (MB/s)	14000	14000	14000	14000
Schreibbandbreite @128KB (MB/s)	4000	4000	4000	4000
Zufällig gelesen @4KB KIOPS	3000	3000	2800	2800
Random Write KIOPS	40 Stück à 16 KB	40 Stück à 16 KB	40 Stück à 16 KB	20 Stück à 32 KB
Zufällige Latenz R/W (µs)	80/25
Sequenzielle Latenz R/W (µs)	7/8
Tuning
Maximale Leistung (W)	25
Leerlaufleistung (W)	5
Zuverlässigkeit
Ausdauer	0.6 DWPD
MTBF	2.5 Millionen Stunden
UBER	1 Sektor pro 10^18 gelesene Bits
Garantie	5 Jahre

DapuStor R6060 Leistung

Drive-Testing-Plattform

Wir verwenden einen Dell PowerEdge R760 mit Ubuntu 22.04.2 LTS als Testplattform für alle Workloads in diesem Test. Ausgestattet mit einem Serielle Kabel Gen5 JBOFEs bietet umfassende Kompatibilität mit U.2-, E1.S-, E3.S- und M.2-SSDs. Unsere Systemkonfiguration ist unten aufgeführt:

• 2 x Intel Xeon Gold 6430 (32 Kerne, 2.1 GHz)
• 16 x 64 GB DDR5-4400
• Dell BOSS-SSD mit 480 GB
• Serielle Kabel Gen5 JBOF

Laufwerke im Vergleich

• Solidigm P5336 122.88 TB (Gen4 | 2.5″ | U.2)
• Solidigm P5336 61.44 TB (Gen4 | 2.5″ | U.2)
• Micron 6550 ION 61.44 TB (Gen5 | E3.S)
• DapuStor J5060 61.44 TB (Gen4 | 2.4″ | U.2)
• DapuStor R6060 122.88 TB (Gen5 | E3.L)

Bei der Auswertung der Benchmark-Ergebnisse ist es wichtig, die Positionierung dieser Laufwerke zu berücksichtigen. Obwohl sie nicht alle in direkten Einsatzszenarien miteinander konkurrieren, überschneiden sie sich hinsichtlich Kapazität und Marktausrichtung ausreichend, um einen nützlichen Kontext für die Einordnung der DapuStor R6060 122.88 TB in den aktuellen Markt für Enterprise-SSDs mit hoher Kapazität zu liefern.

Die Vergleichsgruppe verdeutlicht verschiedene Ansätze zur Skalierung von Enterprise-Flash-Speichern. Der TLC-basierte Micron 6550 ION mit 61.44 TB zeichnet sich durch höhere Rohleistung im Gen5-Standard aus, während der Solidigm P5336 mit 122.88 TB und der Solidigm P5336 mit 61.44 TB den Fokus auf maximale Speicherdichte und Kosteneffizienz durch QLC-NAND legen. Der DapuStor J5060 mit 61.44 TB bietet einen weiteren Referenzpunkt im Gen4-U.2-Bereich, während der R6060 mit 122.88 TB in das neuere Gen5-E3.L-Segment vordringt.

Die Einbeziehung dieser Laufwerke ermöglicht einen umfassenderen Vergleich der Leistungsfähigkeit des R6060 sowohl im Hinblick auf leistungsorientierte als auch auf speicherdichteorientierte Designs, während die Hersteller weiterhin Enterprise-Speicherplattformen mit hoher Kapazität entwickeln.

FIO-Leistungsbenchmark

Um die Speicherleistung jeder SSD anhand gängiger Branchenkennzahlen zu messen, nutzen wir FIO. Jedes Laufwerk durchläuft denselben Testprozess. Dieser umfasst einen Vorkonditionierungsschritt mit zwei vollständigen Laufwerksfüllungen mit sequenzieller Schreiblast, gefolgt von einer Leistungsmessung im Dauerbetrieb. Bei Änderungen der gemessenen Arbeitslast führen wir eine weitere Vorkonditionierungsfüllung mit der neuen Übertragungsgröße durch.

In diesem Abschnitt konzentrieren wir uns auf die folgenden FIO-Benchmarks:

• 128K sequenziell
• 64K zufällig
• 16K zufällig
• 4K zufällig

128K sequentielles Schreiben (IODepth 16 / NumJobs 1)

Die DapuStor R6060 mit 122.88 TB erreichte im sequenziellen Schreibtest (128 KB) eine Geschwindigkeit von 3,920.6 MB/s und belegte damit den zweiten Platz in dieser Gruppe. Die Micron 6550 ION mit 61.44 TB lag mit 10,456.4 MB/s deutlich vorn, doch die R6060 schnitt immer noch deutlich besser ab als die Solidigm P5336 mit 122.88 TB (3,152.5 MB/s), die DapuStor J5060 mit 61.44 TB (2,883.1 MB/s) und die Solidigm P5336 mit 61.44 TB (2,503.5 MB/s).

128K sequentielle Schreiblatenz (IODepth 16 / NumJobs 1)

Die DapuStor R6060 mit 122.88 TB erreichte eine sequenzielle Schreiblatenz von 509.7 µs (128 KB) und belegte damit erneut den zweiten Platz. Die Micron 6550 ION mit 61.44 TB führte mit 191.0 µs, während alle anderen Modelle hinter der R6060 zurückblieben, darunter die Solidigm P5336 mit 122.88 TB (634.0 µs), die DapuStor J5060 mit 61.44 TB (693.3 µs) und die Solidigm P5336 mit 61.44 TB (798.4 µs). Obwohl Micron hier einen deutlichen Vorsprung hatte, erzielte die R6060 dennoch das beste Ergebnis unter den verbleibenden Laufwerken.

128 K sequentielles Lesen (IODepth 64 / NumJobs 1)

Die DapuStor R6060 122.88 TB erreichte im 128K Sequential Read Test 11,554.0 MB/s und landete damit erneut auf dem zweiten Platz hinter der Micron 6550 ION 61.44 TB mit 13,979.7 MB/s.

Nach diesen beiden Modellen fielen die Werte der übrigen Vergleichsgruppe deutlich ab: Die Solidigm P5336 (61.44 TB) erreichte 7,132.3 MB/s, die Solidigm P5336 (122.88 TB) 7,121.6 MB/s und die DapuStor J5060 (61.44 TB) 7,126.8 MB/s. Die R6060 war neben dem Micron-Modell die einzige SSD, die in diesem Test über 11 GB/s erzielte.

128K sequentielle Leselatenz (IODepth 64 / NumJobs 1)

Die DapuStor R6060 mit 122.88 TB erreichte eine sequenzielle Leselatenz von 692.1 µs (128 KB) und belegte damit den zweiten Platz in dieser Gruppe. Die Micron 6550 ION mit 61.44 TB wies mit 571.9 µs die niedrigste Latenz auf, während die Solidigm P5336 mit 122.88 TB mit 1123.0 µs die höchste Latenz aufwies. Die beiden Solidigm P5336-Laufwerke lagen hier nahezu gleichauf: Das 122.88-TB-Modell erreichte 1123.0 µs, die 61.44-TB-Version 1121.3 µs. Die DapuStor J5060 lag mit 1122.1 µs dazwischen.

Die R6060 behielt einen komfortablen Vorsprung vor dem Rest des Feldes, obwohl Micron weiterhin das beste Ergebnis erzielte.

 

64K Zufälliges Schreiben

Die DapuStor R6060 mit 122.88 TB zeigte im 64K-Random-Write-Test nahezu konstante Werte. Sie startete mit 3,477.9 MB/s und 55.6 IOPS bei 1/1, sprang dann auf 3,915.2 MB/s und 62.6 IOPS bei 1/2. Von da an veränderten sich die Werte kaum noch. Der Großteil des Tests verlief zwischen 3,913.7 MB/s und 3,916.9 MB/s, mit dem Höchstwert von 3,916.9 MB/s und 62.7 IOPS bei 4/1. Selbst bei höheren Anforderungen hielt sie Werte von 3,914.6 MB/s bei 32/4, 3,913.8 MB/s bei 16/8 und 3,914.0 MB/s bei 32/8. Außerhalb des unteren 1/1-Ausgangspunktes befand sich der R6060 im Grunde während des gesamten Messbereichs auf einem festen Plateau.

Betrachtet man die anderen Laufwerke in der Tabelle, so schnitt die Micron 6550 ION mit 61.44 TB deutlich besser ab und erreichte Übertragungsraten von etwa 2.4 GB/s auf über 10.3 GB/s. Hinter der R6060 lagen die Übertragungsraten der Solidigm P5336 mit 122.88 TB bei rund 3.0 GB/s, die der DapuStor J5060 mit 61.44 TB meist bei etwa 2.8 GB/s und die der Solidigm P5336 mit 61.44 TB zwischen 2.5 GB/s und 2.6 GB/s. Damit belegte die R6060 den zweiten Platz mit einem deutlichen Vorsprung vor den übrigen Laufwerken anderer Hersteller.

64K zufällige Schreiblatenz

Die Latenz zeigte ein gleichmäßiges Muster: Der R6060 maß 18 µs bei 1/1, 31 µs bei 1/2 und 2/1, 63 µs bei 1/4, 2/2 und 4/1 und 127 µs bei 2/4, 4/2 und 8/1. Mit steigender Last erhöhte sie sich auf 255 µs bei 1/8, 2/8, 8/2 und 16/1 und 510 µs bei 4/8, 8/4 und 32/1. Bei maximaler Last erreichte sie 1,021 µs bei 8/8, 16/4 und 32/2, 2,043 µs bei 16/8 und 32/4 und einen Spitzenwert von 4,087 µs bei 32/8.

Die Micron-Festplatte blieb mit Abstand am niedrigsten und erreichte bei 32/8-Tests rund 1,600 µs. Die R6060 folgte mit 4,087 µs. Die Solidigm P5336 (122.88 TB) lag bei etwa 5,100 µs, die J5060 bei rund 5,500 µs und die Solidigm P5336 (61.44 TB) knapp über 6,000 µs. Obwohl die R6060 also in puncto Latenz weit hinter der Micron-Festplatte zurückblieb, lag sie bei höherer Belastung dennoch vor den anderen drei Festplatten.

64K Zufälliges Lesen

Die DapuStor R6060 mit 122.88 TB zeigte beim zufälligen Lesen von 64 KB einen weniger gleichmäßigen Verlauf, erzielte aber zum Schluss die besten Ergebnisse. Sie begann mit 381.4 MB/s und 6.1 IOPS bei 1/1, stieg dann auf 748.2 MB/s bei 1/2, 1,007.1 MB/s bei 2/2, 1,431.8 MB/s bei 1/4 und 2,343.8 MB/s bei 2/4. Die Übertragungsrate stieg kontinuierlich auf 2,767.5 MB/s bei 1/8, dann auf 3,668.5 MB/s bei 4/4, 4,060.2 MB/s bei 16/2, 4,750.0 MB/s bei 2/8, 6,433.3 MB/s bei 8/4 und 7,495.3 MB/s bei 4/8. Von dort erreichte sie 8,428.0 MB/s bei 32/2, 9,827.5 MB/s bei 16/4, 10,782.5 MB/s bei 8/8, 12,798.2 MB/s bei 16/8 und einen Höchstwert von 13,274.8 MB/s bei 32/8.

Wie aus der untenstehenden Grafik hervorgeht, lag der Micron 6550 ION 61.44 TB lange Zeit an der Spitze und erreichte eine Spitzengeschwindigkeit von knapp 13.0 GB/s, obwohl der R6060 am Ende knapp vor dem Micron landete.

64K zufällige Leselatenz

Obwohl der Test des R6060 anfangs etwas holpriger verlief als bei den anderen Laufwerken, zeigte er gegen Ende eine starke Leistung. Er begann mit 163 µs bei 1/1, dann wurden folgende Werte gemessen: 167 µs bei 1/2, 174 µs bei 1/4, 180 µs bei 1/8, 217 µs bei 2/8, 220 µs bei 2/4, 249 µs bei 2/2, 260 µs bei 2/1, 287 µs bei 4/8, 290 µs bei 4/4 und 352 µs bei 8/4. Im mittleren Bereich wurde es weniger ordentlich, mit 446µs bei 8/1, 505µs bei 16/2, 531µs bei 32/2, 574µs bei 16/1, 595µs bei 32/1, 700µs bei 16/8, 738µs bei 32/4 und einem Spitzenwert von 1,285µs bei 32/8.

Im Diagramm blieb Micron insgesamt erneut niedriger und schloss bei 32/8 mit rund 1,200 µs ab. Der R6060 erreichte 1,285 µs, was immer noch deutlich niedriger war als beim J5060 und beiden Solidigm-Laufwerken, die alle am Ende die 2,200-µs-Marke überschritten.

16K Zufälliges Lesen

Die DapuStor R6060 mit 122.88 TB erzielte im 16K-Random-Read-Test nach Erhöhung der Workload-Tiefe ein starkes Ergebnis. Sie startete mit 9.6 IOPS bei 1/1, stieg dann auf 18.0 bei 2/1, 37.2 bei 1/4, 58.2 bei 8/1 und 72.8 bei 1/8. Von dort aus verbesserte sie sich kontinuierlich und erreichte 112.8 bei 16/1, 133.3 bei 4/4, 138.1 bei 2/8 und 140.3 bei 1/16. Bei weiterer Erhöhung der Workload stieg die Leistung dann noch deutlich stärker an. Sie erreichte 211.6 bei 32/1, 246.9 bei 8/4, 256.5 bei 4/8 und 261.2 bei 2/16. Bei den höheren Einstellungen erreichte die Leistung 436.0K bei 16/4, 447.7K bei 8/8 und 456.1K bei 4/16, bevor sie bei 659.3K bei 32/4, 671.3K bei 16/8, 679.7K bei 8/16, 784.5K bei 32/8, 786.2K bei 16/16 und einem Spitzenwert von 817.7K IOPS bei 32/16 endete.

Im Vergleich zu den anderen Modellen zählte die R6060 zu den leistungsstärksten SSDs, obwohl Micron weiterhin den Spitzenplatz belegte. Die Micron 6550 ION mit 61.44 TB erreichte rund 860 IOPS und lag damit im Spitzenfeld vor der R6060. Dennoch konnte sich die R6060 über weite Strecken des Tests deutlich vor den beiden Solidigm P5336-SSDs halten und schloss am Ende deutlich vor ihnen ab.

16K zufällige Leselatenz

Die Latenz des R6060 war über weite Strecken des Tests, bis zum Schluss, ebenfalls gut. Sie begann bei 104 µs (1/1), erreichte dann 110 µs (2/1) und 124 µs (4/1). Bei den leichteren und mittleren Einstellungen blieb sie in einem engen Bereich: 107 µs (1/4), 109 µs (1/8), 113 µs (1/16), 115 µs (2/8), 120 µs (4/4), 130 µs (8/4), 137 µs (8/1) und 141 µs (16/1). Mit zunehmender Last stieg die Latenz allmählich auf 143µs bei 8/8, 148µs bei 16/4, 151µs bei 32/1, 189µs bei 8/16 und 193µs bei 16/8, bevor sie bei den schwersten Kombinationen steiler anstieg und 196µs bei 32/4, 330µs bei 16/16, 336µs bei 32/8 und einen Höchstwert von 642µs bei 32/16 erreichte.

Das hielt den R6060 über weite Strecken des Tests in einem guten Bereich, obwohl die Latenz am Ende merklich anstieg. Der Micron 6550 ION wies insgesamt weiterhin die beste Latenzkurve auf und blieb im gesamten Diagramm deutlich niedriger.

 

16K Zufälliges Schreiben

Die DapuStor R6060 mit 122.88 TB erzielte im Vergleich zu den meisten anderen Festplatten dieser Gruppe ein niedriges Ergebnis beim zufälligen Schreiben von 16.000 IOPS. Sie begann mit 42.700 IOPS am 1. Januar, stieg auf 51.300 am 4. Januar und erreichte am 4. Februar einen Höchstwert von 50.700 IOPS. Anschließend bewegte sie sich für den Rest des Tests größtenteils im Bereich von 28.000 bis 46.000 IOPS, darunter 46.400 am 8. Januar, 43.000 am 8. Februar, 44.200 am 4. April, 41.300 am 8. August, 37.100 am 4. April, 36.100 am 8. August, 30.000 am 16. Juni und 27.300 am 16. Dezember. In Bezug auf die Bandbreite ergab sich ein Spitzenwert von 801.4 MB/s, wobei der Großteil des Datenverkehrs eher im Bereich von 550 MB/s bis 700 MB/s lag.

Im Vergleich zu den anderen Modellen lag die R6060 bei den Schreib-IOPS deutlich zurück, mit Ausnahme der anderen 122-TB-Solidigm-Festplatte. Die Micron 6550 ION mit 61.44 TB war mit Abstand die leistungsstärkste Festplatte und erreichte Werte zwischen 250 und 660 IOPS. Die DapuStor J5060 mit 61.44 TB lag im Allgemeinen bei etwa 175 bis 185 IOPS, während die Solidigm P5336 mit 61.44 TB üblicherweise um die 160 IOPS erzielte.

16K zufällige Schreiblatenz

Der R6060 begann mit einem niedrigen Wert von 23µs bei 1/1, maß dann 51µs bei 2/1, 77µs bei 1/4, 115µs bei 4/1 und 157µs bei 2/4. Von dort aus stieg der Wert mit zunehmender Arbeitslast recht schnell an und erreichte 371µs bei 2/8, 470µs bei 16/1, 779µs bei 4/8, 815µs bei 8/4, 881µs bei 2/16, 1,139µs bei 32/1, 1,548µs bei 8/8, 1,723µs bei 16/4, 1,738µs bei 4/16, 3,660µs bei 8/16, 4,133µs bei 32/4, 8,537µs bei 16/16, 8,846µs bei 32/8 und schließlich 18,759µs bei 32/16.

Damit wies die R6060 im oberen Testbereich die höchste Latenz der Gruppe auf. Micron blieb durchgehend deutlich niedriger, und selbst die J5060 und beide Solidigm-Laufwerke schnitten bei den anspruchsvollsten Kombinationen deutlich schlechter ab als die R6060.

4K Zufälliges Lesen

Die DapuStor R6060 122.88 TB erzielte hervorragende Ergebnisse bei zufälligen 4K-Lesevorgängen, wobei sich die Leistung verbesserte, als der Test zu höheren Kombinationen aus Warteschlangenlänge und Jobanzahl überging.

Die Leistung begann bei 11.500 IOPS am 1. Januar, stieg dann auf 21.500 am 1. Februar, 44.000 am 4. Januar, 83.200 am 4. Februar, 85.400 am 8. Januar, 162.200 am 8. Februar und 165.000 am 16. Januar. Von dort skalierte sie weiter und erreichte 313.100 am 8. April, 316.500 am 16. Februar, 557.900 am 4. November, 585.600 am 8. August, 598.900 am 16. April, 1.043 Millionen am 8. November, 1.069 Millionen am 16. August, 1.729 Millionen am 16. November und schließlich einen Höchstwert von 2.061 Millionen IOPS am 16. Dezember. Die Bandbreite erreichte einen Höchstwert von 8,050.3 MB/s.

4K zufällige Leselatenz

Die Leselatenz blieb während des größten Teils des Testlaufs in einem engen Bereich und stieg nur im oberen Bereich merklich an. Der R6060 begann bei 0.086 ms (1/1), erreichte dann 0.092 ms (2/1), 0.090 ms (1/4), 0.095 ms (2/4), 0.093 ms (1/8), 0.098 ms (2/8) und 0.096 ms (1/16). Im mittleren Teil des Testlaufs blieb die Latenz nahezu konstant, mit Werten von 0.101 ms (4/4 und 4/8), 0.107 ms (8/4), 0.109 ms (8/8), 0.115 ms (16/4), 0.119 ms (8/16) und 0.123 ms (16/8). Bei den höheren Einstellungen stieg der Wert auf 0.148 ms bei 16/16, 0.155 ms bei 32/8 und erreichte am Ende des Tests einen Höchstwert von 0.247 ms.

GPU-Direktspeicher

Einer der Tests, die wir auf diesem Prüfstand durchgeführt haben, war der Magnum IO GPU Direct Storage (GDS)-Test. GDS ist eine von NVIDIA entwickelte Funktion, die es GPUs ermöglicht, die CPU beim Zugriff auf Daten auf NVMe-Laufwerken oder anderen Hochgeschwindigkeitsspeichern zu umgehen. Anstatt Daten über die CPU und den Systemspeicher zu leiten, ermöglicht GDS die direkte Kommunikation zwischen GPU und Speichergerät, was die Latenz deutlich reduziert und den Datendurchsatz verbessert.

So funktioniert GPU Direct Storage

Wenn eine GPU Daten verarbeitet, die auf einem NVMe-Laufwerk gespeichert sind, müssen diese üblicherweise zunächst die CPU und den Systemspeicher durchlaufen, bevor sie die GPU erreichen. Dieser Prozess führt zu Engpässen, da die CPU als Vermittler fungiert, die Latenz erhöht und wertvolle Systemressourcen verbraucht. GPU Direct Storage beseitigt diese Ineffizienz, indem die GPU über den PCIe-Bus direkt vom Speichergerät auf Daten zugreifen kann. Dieser direkte Pfad reduziert den Datenbewegungsaufwand und ermöglicht schnellere und effizientere Datenübertragungen.

KI-Workloads, insbesondere solche mit Deep Learning, sind äußerst datenintensiv. Das Training großer neuronaler Netzwerke erfordert die Verarbeitung von Terabyte an Daten, und jede Verzögerung bei der Datenübertragung kann zu einer Unterauslastung der GPUs und längeren Trainingszeiten führen. GPU Direct Storage bewältigt diese Herausforderung, indem es sicherstellt, dass die Daten so schnell wie möglich an die GPU übermittelt werden, wodurch Leerlaufzeiten minimiert und die Rechenleistung maximiert werden.

Darüber hinaus ist GDS besonders vorteilhaft für Workloads, die das Streamen großer Datensätze beinhalten, wie etwa Videoverarbeitung, Verarbeitung natürlicher Sprache oder Echtzeit-Inferenz. Durch die Reduzierung der Abhängigkeit von der CPU beschleunigt GDS die Datenbewegung und gibt CPU-Ressourcen für andere Aufgaben frei, was die Gesamtsystemleistung weiter verbessert.

GDSIO Sequenzieller Lesedurchsatz

In unserem GDSIO-Test zur sequenziellen Lesegeschwindigkeit zeigte die DapuStor R6060 122.88 TB bei 16-KB-Übertragungen gemischte Ergebnisse, bevor sich die Leistung mit zunehmender Blockgröße deutlich verbesserte. Bei 16 KB erreichte sie mit einem einzelnen Thread anfänglich 663.7 MiB/s, fiel bei vier Threads auf 221.5 MiB/s und bei acht Threads auf 200.3 MiB/s, um dann bei 128 Threads wieder auf 978.8 MiB/s anzusteigen. Damit blieb sie im Großteil des Tests mit kleinen Blöcken, insbesondere im mittleren Thread-Bereich, hinter einigen anderen Laufwerken zurück. Sequenzielle 16-KB-Lesevorgänge waren also nicht die Stärke dieses Laufwerks.

Bei 128 KB schnitt die R6060 deutlich besser ab. Sie erreichte 1.4 GiB/s mit einem Thread, 1.7 GiB/s mit 16 Threads, 2.8 GiB/s mit 32 Threads und steigerte sich dann auf 4.3 GiB/s bei 64 und 4.9 GiB/s bei 128 Threads. Damit erzielte sie in dieser Gruppe bei höheren Threadzahlen für sequentielle 128-KB-Lesezugriffe das beste Ergebnis und lag vor der DapuStor J5060 (61.44 TB), der Micron 6550 ION (61.44 TB) und der Solidigm P5336 (122.88 TB). Der Unterschied war besonders bei 64 und 128 Threads deutlich, wo sich die R6060 von den übrigen vergleichbaren Modellen abhob.

Die größten Leistungssteigerungen zeigten sich bei den 1-Millionen-Läufen. Hier startete der R6060 mit 1.7 GiB/s bei einem Thread, steigerte sich dann auf 3.0 GiB/s bei vier Threads, 4.4 GiB/s bei acht Threads, 5.2 GiB/s bei 16 Threads und erreichte seinen Höchstwert von 5.9 GiB/s bei 128 Threads. Ab acht Threads führte er die Vergleichsgruppe an und baute seinen Vorsprung mit zunehmender Threadanzahl weiter aus. Obwohl der R6060 im 16-KB-Bereich uneinheitliche Ergebnisse lieferte, waren seine sequenziellen Leseergebnisse bei 128 KB und 1 Million sehr stark, insbesondere bei höheren Threadanzahlen.

GDSIO Sequentielle Lese-IOPS

Bei sequenziellen GDSIO-Lese-IOPS zeigte die DapuStor R6060 122.88 TB ein uneinheitliches Profil in Abhängigkeit von der Blockgröße. Bei 16 KB legte sie mit einem Thread starke 42.5 IOPS hin, fiel dann auf 14.2 bei vier und 19.9 bei acht Threads ab, erholte sich anschließend aber wieder und erreichte 36.6 bei 32 Threads, 62.6 bei 64 und 92.5 bei 12.8 Threads. Mit dieser Erholung erreichte sie im oberen Bereich nahezu die Leistung der Micron 6550 ION, obwohl die Solidigm P5336 in diesem Testabschnitt mit 128 IOPS bei 128 Threads deutlich die Nase vorn hatte. Die kleineren 16-KB-Workloads verliefen für die R6060 im mittleren Thread-Bereich etwas uneinheitlich, doch am Ende zeigte sie eine deutlich stärkere Leistung als zu Beginn vermuten ließ.

Bei 11.6 IOPS zeigte die R6060 eine stärkere und stabilere Skalierungskurve. Sie erreichte 8.7 IOPS mit einem Thread, 14.0 mit vier, 23.2 mit acht, 35.3 mit 16, 64 mit 32, 40.3 mit 6.4 und 128 mit 128 Threads. Damit erzielte sie das beste Ergebnis im oberen Bereich der Vergleichsgruppe und lag vor der DapuStor J5060 (61.44 TB) mit 31.3 IOPS, der Solidigm P5336 (122.88 TB) mit 23.3 IOPS und der Micron 6550 ION (61.44 TB) mit 19.4 IOPS. Mit steigender Parallelität konnte sich die R6060 in diesem Segment deutlich von der Konkurrenz absetzen.

Bei den 1-Meilen-Ergebnissen schnitt die R6060 gut ab (auch wenn dies im Diagramm schwer zu erkennen ist). Sie begann bei 1.7 IOPS, stieg auf 3.0 bei vier Threads, 4.5 bei acht Threads, 5.3 bei 16 Threads, 5.6 bei 32 Threads, 5.9 bei 64 Threads und 6.0 bei 128 Threads. Damit erzielte sie das beste Ergebnis in der Vergleichsgruppe bei den größeren 1-Meilen-Übertragungen und übertraf die DapuStor J5060 (4.3), die Solidigm P5336 (4.3) und die Micron 6550 ION (2.6). Obwohl es im 16-Keilen-Bereich einige Einbrüche gab, lieferte die R6060 sehr gute IOPS-Werte bei 128 und 1 Million sequenziellen Lesevorgängen, insbesondere bei höheren Thread-Anzahlen.

GDSIO-Latenz beim sequentiellen Lesen

Bei der sequenziellen Leselatenz nach GDSIO erzielte die DapuStor R6060 122.88 TB eines der besten Ergebnisse in dieser Gruppe, insbesondere bei steigender Thread-Anzahl. Bei 16 KB betrug die Latenzzeit 22 µs bei einem Thread, dann 281 µs bei vier Threads, 623 µs bei acht Threads, 1.1 ms bei 16 KB, 1.6 ms bei 32 KB, 1.7 ms bei 64 KB und 2.0 ms bei 128 KB. Damit wies sie die niedrigste Latenz bei der geringsten Last von 16 KB auf und blieb im restlichen Bereich konkurrenzfähig. Die Micron 6550 ION und die Solidigm P5336 lagen im mittleren Bereich von 16 KB etwas niedriger, bevor sich die Gruppe im oberen Bereich wieder annäherte.

Bei 128K behauptete sich die R6060 in einer starken Position mit Latenzwerten von 85 µs bei einem Thread, 621 µs bei vier Threads, 923 µs bei acht Threads, 1.1 ms bei 16 Threads, 1.4 ms bei 32 Threads, 1.8 ms bei 64 Threads und 3.2 ms bei 128 Threads. Bei über 32 Threads lag sie im oberen Bereich des Testfelds, und selbst bei steigender Latenz unter höherer Last schnitt sie im Vergleich zu den anderen getesteten SSDs gut ab. Die Micron 6550 ION erreichte im oberen Bereich des 128K-Tests deutlich höhere Werte, während die DapuStor J5060 und die Solidigm P5336 bei 128 Threads ebenfalls über der R6060 lagen.

Die größten Unterschiede zeigten sich bei den 1-Meilen-Workloads. Hier erreichte die R6060 587 µs bei einem Thread, 1.3 ms bei vier, 1.8 ms bei acht, 3.0 ms bei 16, 5.8 ms bei 32, 10.8 ms bei 64 und 21.3 ms bei 128 Threads. Diese Werte waren über den gesamten 1-Meilen-Test hinweg besser als die der Micron 6550 ION und bei höheren Thread-Anzahlen niedriger als die der Solidigm P5336. Die DapuStor J5060 lag jedoch bei 64 und 128 Threads weiterhin vorn. Insgesamt hielt die R6060 die sequenzielle Leselatenz auch bei steigenden Übertragungsgrößen und gleichzeitiger Verarbeitung gut im Griff und lieferte insbesondere in den anspruchsvolleren Testteilen solide Ergebnisse.

GDSIO Sequenzieller Schreibdurchsatz

Beim sequenziellen Schreibdurchsatz im GDSIO-Test erzielte die DapuStor R6060 122.88 TB über weite Strecken des Testbereichs starke Ergebnisse, insbesondere bei 128 KB und den ersten Läufen mit 1 Million Bytes. Bei 16 KB begann der Wert bei 0.67 GiB/s, stieg auf 1.18 GiB/s bei vier Threads, 1.37 GiB/s bei acht Threads und erreichte einen Spitzenwert von 1.47 GiB/s bei 16 KB, bevor er bei 128 KB auf 1.20 GiB/s abfiel. Damit war sie konkurrenzfähig mit der Micron 6550 ION, die im mittleren Bereich von 16 KB mit mehreren Threads sogar etwas höhere Werte erzielte.

Die R6060 zeigte deutlich mehr Leistung, sobald die Blockgröße auf 128 KB erhöht wurde. Sie startete mit 2.79 GiB/s, sprang dann bei vier Threads auf 3.82 GiB/s und blieb bis zu 16 Threads in diesem Bereich, wo sie 3.83 GiB/s erreichte. Danach erzielte sie 3.71 GiB/s bei 32 Threads, 3.80 GiB/s bei 64 Threads und 3.28 GiB/s bei 128 Threads. Damit lag sie im Vergleich zu den anderen Laufwerken über fast den gesamten Bereich von 128 KB vorn, wobei nur bei der höchsten Threadanzahl ein geringfügiger Leistungsabfall zu verzeichnen war.

Bei 1M führte die R6060 die Gruppe erneut im unteren und mittleren Bereich der Fadenzahlen an. Sie erreichte 3.81 GiB/s bei einem Faden, 3.73 GiB/s bei vier, 3.79 GiB/s bei acht und 3.49 GiB/s bei 16 Fäden, bevor die Leistung auf 3.31 GiB/s bei 32, 3.06 GiB/s bei 64 und 2.93 GiB/s bei 128 Fäden abfiel. Die Micron 6550 ION setzte sich schließlich im höheren Bereich des 1M-Tests durch und erreichte einen Spitzenwert von 3.90 GiB/s bei 32 Fäden, während die Solidigm P5336 im niedrigen 3-GiB/s-Bereich blieb und die DapuStor J5060 konstant nahe bei 2.8 GiB/s lag. Insgesamt wies der R6060 eines der besseren Profile für sequenziellen Schreibdurchsatz in dieser Gruppe auf, mit seiner besten Leistung bei 128K und starker Skalierbarkeit bei Workloads von 1M.

GDSIO Sequentielle Schreib-IOPS

Bei den sequenziellen Schreib-IOPS (GDSIO) legte die DapuStor R6060 122.88 TB mit starken 43.5 IOPS einen starken Start hin und hielt sich den Großteil dieses Abschnitts über im oberen Bereich. Sie begann mit 76.9 IOPS auf einem Thread, stieg auf 89.4 bei vier, 95.9 bei acht und 16 bei 16 Threads und erreichte ihren Höchstwert von 98.4 bei 32 Threads, bevor sie auf 89.8 bei 64 und 78.7 bei 128 Threads abfiel. Die Micron 6550 ION lag im mittleren Bereich der 16 Threads etwas höher und erreichte 100 IOPS bei 32 Threads und 97.5 bei 64 Threads. Die R6060 blieb jedoch bis zur höchsten Thread-Anzahl dicht dahinter, wo sowohl die J5060 als auch die Solidigm P5336 sie überholten.

Bei 22.8 Threads lieferte der R6060 von Anfang bis Ende die besten Werte dieser Gruppe. Er erreichte 31.3 IOPS auf einem Thread, dann 31.3 auf vier, 31.4 auf acht, 30.3 auf 16, 31.2 auf 32, 26.9 auf 64 und 128 auf 128 Threads. Damit lag er vor dem Micron 6550 ION, dessen IOPS im mittleren Bereich bei etwa 30 lagen, bevor sie auf unter 20 fielen, und deutlich vor dem J5060 und dem Solidigm P5336, die über den größten Teil des 128-Thread-Bereichs einen deutlich größeren Abstand aufwiesen.

Der 1M-Abschnitt war bei allen vier Laufwerken deutlich enger beieinander, doch die R6060 landete dennoch im vorderen Bereich. Sie erreichte 3.9 IOPS bei einem Thread, 3.8 bei vier, 3.9 bei acht, 3.6 bei 16, 3.4 bei 32, 3.1 bei 64 und 3.0 bei 128 Threads. Damit lag sie im unteren Bereich leicht vor der J5060 und erreichte am Ende nahezu das Niveau der Solidigm P5336, während die Micron 6550 ION bei 32 und 64 Threads kurzzeitig die Führung übernahm. Insgesamt zeigte die R6060 ein starkes Profil sequenzieller Schreib-IOPS mit ihrem besten Ergebnis bei 128 und führte die Vergleichsgruppe über den gesamten Thread-Bereich an.

GDSIO-Latenz beim sequentiellen Schreiben

Beim sequenziellen Schreiblatenztest mit GDSIO erzielte die DapuStor R6060 122.88 TB in den leichteren und mittleren Lastbereichen des Tests starke Ergebnisse, verlor jedoch mit steigender Thread-Anzahl etwas an Boden. Bei 1.6 Threads wurden 22 µs bei einem Thread, 51 µs bei vier, 88 µs bei acht, 165 µs bei 16, 323 µs bei 32, 709 µs bei 64 und 16 ms bei 128 gemessen. Dies sind insgesamt sehr gute Werte, die die R6060 während des größten Teils des 16-Threads im Spitzenfeld hielten. Die Micron 6550 ION schnitt bei der höchsten Last von 16 Threads etwas schlechter ab, während die J5060 und die Solidigm P5336 bessere Ergebnisse erzielten.

Bei 128 K blieb der R6060 ebenfalls konkurrenzfähig und erreichte Latenzzeiten von 43 µs bei einem Thread, 126 µs bei vier Threads, 254 µs bei acht Threads, 508 µs bei 16 Threads, 1.1 ms bei 32 Threads, 2.0 ms bei 64 Threads und 4.8 ms bei 128 Threads. Dies war eine der Kurven mit den niedrigsten Latenzwerten im Vergleich, insbesondere bei 64 Threads. Nur der Micron 6550 ION lag im oberen Bereich etwas darunter, während sowohl der J5060 als auch der Solidigm P5336 bei 128 Threads über dem R6060 lagen.

Der größte Sprung erfolgte im 1M-Bereich, wo der R6060 bei einem Thread 255 µs, bei vier Threads 1.0 ms, bei acht Threads 2.1 ms, bei 16 Threads 4.5 ms, bei 32 Threads 9.5 ms, bei 64 Threads 20.5 ms und bei 128 Threads 42.7 ms maß. Damit lag er bei höherer Last hinter dem Micron 6550 ION und leicht über dem Solidigm P5336, während der J5060 in dieser Gruppe die höchste Latenz aufwies. Der R6060 schnitt also bei sequenziellen Schreiblatenzen bis zu 16K und 128K gut ab, aber die größeren 1M-Übertragungen zeigten einen steileren Anstieg mit zunehmender Parallelität.

DLIO-Checkpointing-Benchmark

Zur Bewertung der SSD-Leistung im realen Einsatz in KI-Trainingsumgebungen nutzten wir das Benchmark-Tool Data and Learning Input/Output (DLIO). DLIO wurde vom Argonne National Laboratory entwickelt und ist speziell für die Prüfung von I/O-Mustern in Deep-Learning-Workloads konzipiert. Es liefert Erkenntnisse darüber, wie Speichersysteme Herausforderungen wie Checkpointing, Datenaufnahme und Modelltraining bewältigen. Der Test ist so gestaltet, dass jedes Laufwerk vollständig mit Checkpoints belegt ist; größere SSDs bieten Platz für mehr Checkpoints. Die folgende Grafik veranschaulicht, wie beide Laufwerke den Prozess mit 99 Checkpoints (198 beim 122-TB-Laufwerk) handhaben. Beim Training von Machine-Learning-Modellen sind Checkpoints unerlässlich, um den Modellzustand regelmäßig zu speichern und so Datenverlust bei Unterbrechungen oder Stromausfällen zu verhindern. Dieser Speicherbedarf erfordert eine robuste Leistung, insbesondere unter anhaltender oder intensiver Last. Wir verwendeten die DLIO-Benchmark-Version 2.0 vom 13. August 2024.

Um sicherzustellen, dass unsere Benchmarks reale Szenarien widerspiegeln, basierten unsere Tests auf der LLAMA 3.1 405B-Modellarchitektur. Wir implementierten Checkpointing mit `torch.save()`, um Modellparameter, Optimiererzustände und Schichtzustände zu erfassen. Unser Setup simulierte ein System mit acht GPUs und implementierte eine hybride Parallelisierungsstrategie mit vierfacher Tensorparallelität und zweifacher Pipelineparallelität, verteilt auf die acht GPUs. Diese Konfiguration führte zu Checkpoint-Größen von 1,636 GB, was den Anforderungen moderner großer Sprachmodelle entspricht.

Für den DLIO-Checkpoint-Pass-Durchschnittstest haben wir die DapuStor R6060 122TB mit der Solidigm P5336 122.88TB, der Solidigm P5336 61.44TB und der Micron 6550 ION 61.44TB verglichen.

Der DapuStor R6060 legte im ersten Durchgang einen starken Start hin und erzielte mit 465.33 Sekunden die schnellste Zeit der Gruppe. In den folgenden Durchgängen verschlechterte sich die Leistung jedoch deutlich: Im zweiten Durchgang erreichte der R6060 934.50 Sekunden und im dritten 965.27 Sekunden. Damit landete er am Ende des Tests auf dem letzten Platz, hinter dem Solidigm P5336 122.88 TB mit 757.31 Sekunden, dem Solidigm P5336 61.44 TB mit 639.63 Sekunden und dem Micron 6550 ION 61.44 TB mit 585.03 Sekunden.

 

Im DLIO-Checkpoint-Benchmark zeigte die DapuStor R6060 122 TB die deutlichsten Leistungsschwankungen im Verlauf der Arbeitslast. Zu Beginn des Tests gehörte das Laufwerk zu den leistungsstärksten und erreichte konstant Werte um die 460 Sekunden, ähnlich wie die Micron 6550 ION 61.44 TB und vor den beiden Solidigm-Laufwerken. Mit zunehmender Anzahl an Checkpoints verlängerte sich die Laufzeit der R6060 jedoch deutlich und erreichte für viele der verbleibenden Checkpoints Werte zwischen 900 und 1000 Sekunden.

Fazit

Die DapuStor R6060 mit 122.88 TB erfüllte die Erwartungen. Besonders gut schnitt das Laufwerk bei Lesevorgängen großer Blöcke, sequenziellen Übertragungen und GPU-Direct-Storage-Workloads ab, während zufällige Schreibvorgänge kleiner Blöcke die deutliche Schwäche darstellten. Im FIO-Test erreichte die R6060 11,554 MB/s beim sequenziellen Lesen (128 KB) und 3,920.6 MB/s beim sequenziellen Schreiben (128 KB). Die Geschwindigkeiten lagen bei zufälligen Schreibvorgängen (64 KB) nahezu konstant zwischen 3,913 MB/s und 3,916 MB/s, beim zufälligen Lesen (64 KB) wurden 13,274.8 MB/s erreicht, die IOPS-Rate stieg auf 817.7 beim zufälligen Lesen (16 KB) und erreichte einen Spitzenwert von 2.061 Millionen IOPS beim zufälligen Lesen (4 KB). Die Ergebnisse bei zufälligen Schreibvorgängen mit 16 KB waren der Schwachpunkt; hier blieb das Laufwerk deutlich hinter den schreiboptimierten SSDs in unserer Rangliste zurück.

GDSIO zeigte das gleiche Muster. Die R6060 lieferte im kleineren 16K-Lesebereich uneinheitliche Ergebnisse, zeigte aber bei größeren Übertragungsgrößen eine starke Leistung. Sie führte die Vergleichsgruppe sowohl beim sequenziellen Lesedurchsatz von 128K als auch von 1M bei höherer Threadanzahl an und erreichte 5.9 GiB/s beim sequenziellen Lesedurchsatz von 1M. Zudem erzielte sie über den gesamten Threadbereich hinweg die höchsten IOPS beim sequenziellen Schreiben von 128K. Die Latenz in den GPU-Direkttests mit größeren Blöcken war im Allgemeinen ebenfalls gut.

DapuStor bietet die R6060 in einer Vielzahl von Formfaktoren an: U.2, E3.L und E1.L mit Speicherkapazitäten von 15.36 TB bis 122.88 TB sowie ein 245-TB-Modell als Topmodell. Diese große Auswahl bietet Systemintegratoren Flexibilität, macht aber gleichzeitig eine vorherige Kompatibilitätsprüfung unerlässlich. Die von uns getestete 122.88-TB-Variante E3.L 2T liegt außerhalb der gängigen U.2- und E3.S-Konfigurationen, die in den meisten Rechenzentren zum Einsatz kommen. Generell erfordert die Verwendung von EDSFF-Systemen vor der Bestellung eine sorgfältige Prüfung von Laufwerksschacht, Dicke, Länge und PCIe-Lanes. Eine 2-TB-Festplatte passt nicht in einen 1-TB-Steckplatz, und eine E3.L-Festplatte passt nicht in einen E3.S-Schacht. Dies ist heutzutage bei der EDSFF-Integration üblich, sollte aber allen, die diese Varianten mit höherer Speicherdichte zum ersten Mal einsetzen, bewusst sein.

Für die Speicherebenen, für die der R6060 konzipiert wurde, hat er gute Leistungen erbracht und bietet DapuStor eine glaubwürdige Gen5 QLC-Option mit hoher Kapazität.

Produktseite – DapuStor R6060 122 TB