NVIDIA hat Ergebnisse veröffentlicht MLPerf Inference v6.0 hebt die Systemleistungssteigerungen hervor, die durch die enge Abstimmung von Hardware, Software und Modellen erzielt werden. Das Unternehmen positioniert Inferenzdurchsatz und Token-Ökonomie als primäre Kennzahlen für die Leistungsfähigkeit von KI-Fabriken und geht damit über die reinen Spezifikationen von Beschleunigern hinaus, indem es die gemessene Leistung unter realen Arbeitslasten betrachtet.
In dieser Runde erzielten Systeme mit NVIDIA Blackwell Ultra GPUs den höchsten Durchsatz über alle eingereichten Modelle und Szenarien hinweg. Das Ökosystem rund um die Plattform wuchs ebenfalls: 14 Partner reichten Ergebnisse ein, darunter führende OEMs, Cloud-Anbieter und Systemintegratoren wie ASUS, Cisco, CoreWeave, Dell Technologies, GigaComputing, Google Cloud, HPE, Lenovo, Nebius, Netweb Technology, QCT, Red Hat, Supermicro und Lambda.
Erweiterte Benchmark-Abdeckung spiegelt neue Arbeitslasten wider.
MLPerf Inference v6.0 führt mehrere neue Benchmarks ein, um aktuelle KI-Implementierungen besser abzubilden. NVIDIA war der einzige Anbieter, der in allen neuen Tests – von großen Sprachmodellen über multimodale Systeme und generatives Video bis hin zu Empfehlungsalgorithmen – Ergebnisse eingereicht hat.
Zu den wichtigsten Neuerungen zählt DeepSeek-R1 Interactive, das im Vergleich zu früheren Server-Szenarien eine höhere Interaktivität mit schnellerer Token-Übermittlung und kürzerer Zeit bis zum ersten Token ermöglicht. Die Suite umfasst außerdem Qwen3-VL-235B-A22B, das erste multimodale Bild-Sprach-Modell in MLPerf Inference, sowie GPT-OSS-120B, ein Mixture-of-Experts-Modell, das in Offline-, Server- und interaktiven Szenarien getestet wurde.
| Szenario | DeepSeek-R1 | GPT-OSS-120B | Qwen3-VL | Wan 2.2 | DLRMv3 |
|---|---|---|---|---|---|
| Offline | 2,494,310 Token/Sek.* | 1,046,150 Token/Sekunde | 79 Proben / Sek | 0.059 Proben / Sek | 104,637 Proben / Sek |
| Server | 1,555,110 Token/Sek.* | 1,096,770 Token/Sekunde | 68 Anfragen/Sek. | 21 Sekunden** (Einzelstrom) |
99,997 Anfragen/Sek. |
| Interaktives Benutzererlebnis | 250,634 Token/Sekunde | 677,199 Token/Sekunde | *** | *** | *** |
* Kein neues Szenario in MLPerf Inference v6.0
** WAN 2.2 verwendet ein Single-Stream-Szenario, das die End-to-End-Anfragelatenz misst, anstatt eines Server-Szenarios. Je niedriger der Wert, desto besser.
*** Nicht getestet in MLPerf Inference v6.0
Generative Medien und Empfehlungs-Workloads sind nun enthalten. Das WAN 2.2 Text-zu-Video-Modell umfasst sowohl latenzsensitive als auch durchsatzorientierte Tests, während DLRMv3 frühere Empfehlungs-Benchmarks durch eine Transformer-basierte Architektur ersetzt, die die Rechenintensität und Modellkomplexität erhöht.
Softwareoptimierung führt zu messbaren Gewinnen
Ein bemerkenswerter Aspekt dieser Einreichung ist die Leistungssteigerung, die durch Software-Updates auf bestehender Hardware erzielt wird. NVIDIA berichtet von einem bis zu 2.7-fach höheren Token-Durchsatz auf der GB300 NVL72-Plattform für DeepSeek-R1-Serverszenarien im Vergleich zu den Ergebnissen von vor sechs Monaten. Diese Verbesserung führt zu deutlich geringeren Kosten pro Token und einer höheren Auslastung der bereitgestellten Infrastruktur.
Diese Verbesserungen sind auf Aktualisierungen des TensorRT-LLM-Stacks und zugehöriger Frameworks zurückzuführen. Optimierungen auf Kernel-Ebene und Fusionstechniken reduzieren den Ausführungsaufwand, während eine verbesserte Datenparallelität für Aufmerksamkeit die Arbeitslastverteilung auf die GPUs optimiert. Zusätzliche Verbesserungen im verteilten Inferenz-Framework Dynamo ermöglichen disaggregiertes Serving und damit die unabhängige Optimierung der Prefill- und Dekodierungsphasen.
Bei Mixture-of-Experts-Modellen verteilen Techniken wie Wide Expert Parallel die Gewichte der Experten auf mehrere GPUs, um Speicherengpässe zu reduzieren. Die Multi-Token-Vorhersage steigert die Recheneffizienz in latenzkritischen Szenarien mit geringen Batch-Größen, indem mehrere Token gleichzeitig generiert und validiert werden. KV-basiertes Routing optimiert die Ablaufplanung zusätzlich, indem Inferenzanfragen anhand der geschätzten Rechenkosten gesteuert werden.
| Benchmark | GB300 NVL72 v5.1 |
GB300 NVL72 v6.0 |
Speedup |
|---|---|---|---|
| DeepSeek-R1 (Server) |
2,907 Token/Sek./GPU | 8,064 Token/Sek./GPU | 2.77x |
| DeepSeek-R1 (Offline) |
5,842 Token/Sek./GPU | 9,821 Token/Sek./GPU | 1.68x |
| Lama 3.1 405B (Server) |
170 Token/Sek./GPU | 259 Token/Sek./GPU | 1.52x |
| Lama 3.1 405B (Offline) |
224 Token/Sek./GPU | 271 Token/Sek./GPU | 1.21x |
NVIDIA demonstrierte zudem die kontinuierliche Skalierung etablierter Modelle. Auf Llama 3.1 405B erzielte die GB300 NVL72-Plattform in Serverszenarien eine 1.5-fache Leistungssteigerung, was auf eine fortlaufende Optimierung für dichte LLMs in Verbindung mit neueren Architekturen hindeutet.
Integration von offenen Ökosystemen und Frameworks
Die eingereichten Ergebnisse für neue Workloads nutzten eine Kombination aus NVIDIA- und Open-Source-Frameworks. Der Qwen3-VL-Benchmark verwendete das vLLM-Framework und spiegelte damit die rasante Entwicklung im Bereich der multimodalen Inferenzoptimierung wider. Die Ergebnisse des Wan 2.2-Text-zu-Video-Benchmarks basierten auf TensorRT-LLM VisualGen und zielten auf diffusionsbasierte Pipelines auf GPUs ab.
Für DLRMv3 kombinierte NVIDIA sein recsys-example-Framework mit GPU-beschleunigten Embedding-Lookup-Technologien, um den gestiegenen Anforderungen transformatorbasierter Empfehlungsmodelle gerecht zu werden. Diese Integrationen unterstreichen die Bedeutung des gesamten Software-Ökosystems für die Leistungsoptimierung der zugrundeliegenden Hardware.
Skalierbare Leistung mit InfiniBand
NVIDIA demonstrierte zudem die Leistungsfähigkeit von Inferenzberechnungen im großen Maßstab mithilfe von vier GB300 NVL72-Systemen, die über Quantum-X800 InfiniBand verbunden waren. Dieses Setup mit insgesamt 288 Blackwell Ultra GPUs stellt die bisher größte MLPerf-Inferenz-Einreichung dar und erreichte einen Systemdurchsatz von Millionen Token pro Sekunde auf DeepSeek-R1.
| DeepSeek-R1 | 4x GB300 NVL72 | Token/Sekunde |
|---|---|
| Offline | 2,494,310 |
| Server | 1,555,110 |
Die Ergebnisse unterstreichen die Bedeutung von Hochleistungsverbindungen für die Skalierung von Inferenz-Workloads, insbesondere für verteiltes LLM-Serving und Batchverarbeitung mit hohem Durchsatz.
Hin zu einem Benchmarking des Servicelevels
Mit Blick auf die Zukunft unterstützt NVIDIA die Entwicklung der MLPerf-Endpunkte im Rahmen des MLCommons-Konsortiums. Dieser kommende Benchmark zielt darauf ab, bereitgestellte Inferenzdienste anhand realen API-Verkehrs zu messen und so Einblicke in Latenz, Durchsatz und Effizienz auf Dienstebene anstatt nur auf Komponentenebene zu gewinnen.
Da sich KI-Workloads zu agentengesteuerten Systemen mit längeren Kontextfenstern weiterentwickeln, dürften Benchmarks, die die End-to-End-Serviceleistung messen, sowohl für Cloud-Anbieter als auch für Unternehmensimplementierungen an Bedeutung gewinnen.
Amazon