MLCommons hat heute die Ergebnisse von MLPerf Storage v3.0 veröffentlicht. Diese Runde verändert nicht nur den Benchmark selbst, sondern auch die Marktführerschaft. Erstmals deckt der einzige geprüfte KI-Speicher-Benchmark die gesamte Pipeline ab: Trainingsdurchsatz, Checkpointing und zwei neue Inferenz-Workloads – einen Vektordatenbanktest und einen KV-Cache-Test. Neunzehn Organisationen reichten 143 Ergebnisse ein, darunter elf erstmalige Teilnehmer, darunter Microsoft Azure, NVIDIA, Everpure und eine Reihe von KI-Speicher-Startups, die den meisten Lesern unbekannt sein dürften. Bemerkenswert ist auch, dass DDN, Huawei, Hammerspace und Lightbits, die die Rangliste von v2.0 dominierten, diesmal nicht teilgenommen haben.
Ein wichtiger Hinweis vorab: Version 3.0 hat die simulierten Beschleuniger von H100 auf B200 umgestellt, wodurch die Bandbreitenanforderung pro Beschleuniger steigt. Daher sind die Ergebnisse von Version 3.0 nicht mit denen von Version 2.0 vergleichbar. Es handelt sich hierbei um von MLCommons geprüfte Herstellerangaben; StorageReview hat diese Tests weder durchgeführt noch unabhängig verifiziert.
Checkpointing ist das Hauptereignis
MLCommons hat Checkpointing als primäre Arbeitslast aufgenommen, da es sich als nachweislicher Flaschenhals erwiesen hat: Trainingsprozesse im Spitzenbereich schreiben in regelmäßigen Abständen enorme Datenmengen, und jede Sekunde, die für das Schreiben eines Checkpoints aufgewendet wird, bedeutet eine Sekunde Leerlaufzeit des Beschleunigers. Der höchste Wert dieser Runde stammt aus diesem Bereich. Everpure (ehemals Pure Storage) reichte bei seiner ersten Teilnahme an MLPerf Storage FlashBlade//EXA-Ergebnisse ein, die nahezu linear mit der Anzahl der Datenknoten skalieren: 327.6 GiB/s Checkpoint-Schreibgeschwindigkeit bei 10 Datenknoten, 484.1 GiB/s bei 15, 655.6 GiB/s bei 20 und 877.5 GiB/s Schreibgeschwindigkeit bei 833.0 GiB/s Lesegeschwindigkeit bei 30 Datenknoten. Everpure hat im vergangenen Jahr immer wieder hohe Durchsatzwerte für //EXA versprochen; dies ist das erste Mal, dass ein geprüftes Ergebnis diese Behauptungen bestätigt.
Der zweithöchste Wert für Checkpoints ist wohl die wichtigste Neuigkeit für die Branche. Azure Managed Lustre, der erste Hyperscale-Cloud-Speicherdienst, der jemals für den Benchmark eingereicht wurde, erreichte 642.2 GiB/s beim Checkpoint-Schreiben in einer 4,096 TiB großen Bereitstellung mit 128 Clients. Dass ein verwalteter Cloud-Dateidienst Werte erzielt, die mit speziell entwickelten KI-Speicherarrays vergleichbar sind, wäre vor zwei Runden kaum vorstellbar gewesen.
| Checkpointing (Top-Einsendungen) | System | Schreiben Sie B/W (GiB/s) |
|---|---|---|
| Everpure | FlashBlade//EXA, 30 Datenknoten | 877.5 |
| Azure | Verwalteter Lustre-Speicher, 4,096 TiB, 128 Kunden | 642.2 |
| YanRongTech | F9000X, 8 Clients | 313.7 |
| Suzhou Zishan Longlin | Mehrere Konfigurationen | 313.7 |
| TuringData | F9200, 8 Clients | 307.1 |
| UBIX | UbiPower18000, 3 Speicherknoten | 293.8 |
Schulung: Namen, die Sie wahrscheinlich nicht kennen
Die Bestenliste im 3D-U-Net-Training gehört Newcomern. YanRongTechs F9000X erreichte eine Lesebandbreite von 543.9 GiB/s und versorgte damit 99 simulierte B200-Beschleuniger – der höchste Trainingsdurchsatz der Runde. TuringData, ein in Singapur ansässiges KI-Infrastrukturunternehmen, das zum ersten Mal einen Test einreichte, landete mit 541.5 GiB/s nur 4 GiB/s dahinter und versorgte dabei 96 simulierte B200-Beschleuniger von lediglich drei Speicherknoten aus. Derselbe Drei-Knoten-Cluster F9200 erreichte beim Checkpoint-70B-Training 539.9 GiB/s beim Lesen und 307.1 GiB/s beim Schreiben. UBIXs UbiPower18000, bestehend aus drei Speicherknoten mit 16 x 15.36 TB NVMe-Laufwerken und Quad-NDR400-Netzwerk, erzielte 454.1 GiB/s. HPE war der einzige etablierte Anbieter von Enterprise-Arrays, der Trainingsergebnisse einreichte, wobei der K3000 eine Geschwindigkeit von 345.8 GiB/s erreichte.
| 3D U-Net Training (Top-Einsendungen) | Lesen Sie Schwarzweiß (GiB/s) | Simulierte B200-Beschleuniger |
|---|---|---|
| YanRongTech F9000X | 543.9 | 99 |
| TuringData F9200 | 541.5 | 96 |
| UBIX UbiPower18000 | 454.1 | 80 |
| Suzhou Zishan Longlin | 433.4 | 80 |
| FarmGPU | 406.7 | 75 |
| Azure Managed Lustre | 379.1 | 70 |
Inferenz wird in den Benchmark aufgenommen
Die beiden neuen Workloads zeigen, wo der Speicherbedarf tatsächlich steigt. Der KV-Cache-Test misst, wie schnell ein Speichersystem den Aufmerksamkeitsstatus für die Bereitstellung von LLM-Daten mit langem Kontext ein- und auslagern kann – ein Muster, das wir in unserer Arbeit zum Dell- und Solidigm-KV-Cache-Offload eingehend untersucht haben . Everpure erzielte erneut den höchsten Wert der Runde mit 1,623.4 GiB/s KV-Cache-Lesegeschwindigkeit auf einer FlashBlade//EXA-Konfiguration mit 51 Hosts. UBIX (443.7 GiB/s) und FarmGPU (443.6 GiB/s) führten die Liste der Standard-Einreichungen an. Im Bereich der Vektordatenbanken erreichte das Seahorse-System von TTA mit 57,620 Abfragen pro Sekunde den höchsten Abfragedurchsatz.
Die zweite strukturelle Änderung betrifft das Protokoll. Version 3.0 führte die Unterstützung für S3-Objektspeicher ein, die von etwa einem Sechstel der Einreichungen genutzt wurde. NVIDIA trug mit 20 AIStore-Einreichungen, die Bare-Metal-Konfigurationen auf OCI, AWS und GCP umfassten und eine maximale Schreibgeschwindigkeit von 133.3 GiB/s für Checkpoints erreichten, maßgeblich dazu bei. Die absoluten Zahlen liegen zwar hinter denen paralleler Dateisysteme zurück, doch die Ausführung von Trainings- und Checkpoint-Workloads mit Objektspeicher innerhalb des Benchmarks markiert einen Bereich, den POSIX-Dateisysteme vor einer Runde noch für sich allein hatten.
MLCommons begann in dieser Runde auch damit, den Stromverbrauch und die Rackplatzeffizienz als erstklassige Kennzahlen zu erfassen.
Everpure FlashBlade//EXA
Das Everpure FlashBlade//EXA-System war sowohl in den Kategorien Checkpointing von 405-Byte- und 1.25-Trillion-Parametermodellen als auch bei den Key-Value (KV)-Cache-Abruf-Benchmarks führend und unterstrich damit die Fähigkeit der Plattform, einen hohen Durchsatz bei datenintensiven KI-Trainings- und Inferenz-Workloads aufrechtzuerhalten.
Die von Everpure eingereichte Konfiguration kombinierte 30 FlashBlade//EXA-Blades (120 DirectFlash-Module zur Metadatenverarbeitung) mit 30 Linux/NVMe-Datenknoten und erreichte so eine nutzbare Kapazität von ca. 866 TB in einem einzigen Dateisystem. Die Metadaten wurden über pNFS/TCP und die Daten über NFSv3 via RDMA übertragen. In der 1.25T-Parameter-Checkpointing-Simulation mit 1,024 Client-Beschleunigern erreichte die 30-Knoten-Konfiguration eine Schreibbandbreite von 877.52 GiB/s in 17.74 Sekunden und eine Lesebandbreite von 588.28 GiB/s in 28.99 Sekunden. Beim KV-Cache-Inferenztest wurden 85,736 Token/Sek. bei einem reinen Speicherlauf mit Llama 3.1 8B, 67,642 Token/Sek. bei einem 8B-Lauf unter Einbeziehung von Speicher und Systemspeicher sowie 33,403 Token/Sek. bei einem reinen Speicherlauf mit 70B gemeldet.
Was Nichterscheinen bedeutet
Eine Benchmark-Runde belegt zweierlei: die Leistungsfähigkeit der teilnehmenden Unternehmen und die Leistungen derjenigen, die nicht an der Reihe waren. VAST Data, WEKA und DDN, die Anbieter mit den größten Neocloud- und KI-Factory-Implementierungen, nahmen nicht an der Version 3.0 teil, ebenso wenig wie die Teilnehmer der Version 2.0: Huawei, Hammerspace und Lightbits. Anbieter lassen Runden aus praktischen Gründen aus: Entwicklungszyklen, Veröffentlichungszeitpunkte und Benchmark-Politik. Eine ausgelassene Runde ist kein Beweis für ein langsames System. Sie bedeutet jedoch, dass die geprüften und die tatsächlichen Implementierungsdaten nun unterschiedliche Anbieterlisten aufweisen und Käufer beides berücksichtigen müssen. Unsere Seite „Beste Speichersysteme“ dokumentiert genau diese Aufteilung, kennzeichnet geprüfte und implementierte Daten und wurde mit den vollständigen Ergebnissen der Version 3.0 aktualisiert.
Die Ergebnisse der Version 3.0 sind ab heute auf der MLCommons-Seite für Speicherbenchmarks öffentlich zugänglich.
Amazon