AMD hat die Ergebnisse von MLPerf Inference v6.0 veröffentlicht und positioniert sich damit... Instinct MI355X GPU Die Plattform dient als skalierbare Inferenzplattform für Einzelknoten-, Mehrknoten- und heterogene Umgebungen. Die Einreichung geht über inkrementelle Verbesserungen hinaus, indem sie neue Workloads hinzufügt, einen Cluster-Durchsatz von über einer Million Token pro Sekunde demonstriert und die Reproduzierbarkeit in einem wachsenden Partnernetzwerk validiert.
cDNA 4 Architektur zielt auf Inferenz mit hoher Kapazität ab
Die Instinct MI355X GPU basiert auf AMDs CDNA 4 Die Architektur basiert auf einem TSMC 3nm | 6nm FinFET-Prozess (mit Dual-Prozess-Chiplet-Design: Die Rechenchips (XCDs) werden im 3nm-Verfahren von TSMC gefertigt, die I/O-Chips im 6nm-Verfahren). Sie integriert 185 Milliarden Transistoren und unterstützt die Datenformate FP4 und FP6. Wichtig ist, dass sich diese Integration auf das gesamte Multi-Chiplet-Package bezieht, nicht auf einen monolithischen Chip. Jede GPU verfügt über bis zu 288 GB HBM3E-Speicher und ermöglicht so die Verarbeitung von Modellen mit bis zu 520 Milliarden Parametern auf einem einzigen Gerät. AMD sieht diese Kombination aus Rechenleistung und Speicherkapazität als entscheidend für die Inferenz großer Modelle ohne übermäßige Modellpartitionierung.
Die Plattform ist in UBB8-Konfigurationen mit luftgekühlten und direkt flüssigkeitsgekühlten Optionen erhältlich und entspricht damit den Anforderungen für den Einsatz in Rechenzentren.
Multinode-Durchsatz übersteigt 1 Million Token pro Sekunde
Ein zentrales Ergebnis dieser Runde ist, dass AMD die Marke von 1 Million Token pro Sekunde im Cluster-Maßstab überschritten hat. Mit Instinct MI355X GPUs erreichte AMD diesen Schwellenwert auf Llama 2 70B sowohl im Server- als auch im Offline-Szenario sowie auf GPT-OSS-120B im Offline-Modus.
Diese Ergebnisse spiegeln einen Trend zur Bewertung der Inferenzleistung auf Clusterebene anstatt pro Beschleuniger wider. Der Gesamtdurchsatz und die Antwortzeit werden zunehmend zur Bestimmung der Produktionsreife für groß angelegte KI-Implementierungen herangezogen.
AMD demonstrierte zudem effiziente Skalierung. Auf Llama 2 70B erreichte eine Konfiguration mit 11 Knoten und 87 GPUs über 1 Million Token pro Sekunde in Offline-, Server- und interaktiven Szenarien, mit einer Skalierungseffizienz zwischen 93 % und 98 %. Auf GPT-OSS-120B erzielte ein Cluster mit 12 Knoten und 94 GPUs einen ähnlichen Durchsatz mit einer Skalierungseffizienz von über 90 %. Diese Ergebnisse zeigen, dass sich die Leistungssteigerungen auch bei der Erweiterung von Bereitstellungen über ein einzelnes System hinaus positiv auswirken.
Generationsgewinne und wettbewerbsfähige Einzelknotenleistung
AMD meldete eine 3.1-fache Leistungssteigerung des Llama 2 70B Servers im Vergleich zur vorherigen Instinct MI325X-Generation mit einer erreichten Verarbeitungsgeschwindigkeit von 100,282 Token pro Sekunde. Die Verbesserung ist sowohl auf architektonische Änderungen als auch auf Optimierungen der ROCm-Software zurückzuführen. Die Offline-Ergebnisse verbesserten sich um das 4.4-Fache und die Server-Ergebnisse um das 4.8-Fache im Vergleich zu früheren Versionen. Diese Leistungssteigerungen sind primär auf die FP4-Quantisierung zurückzuführen.
Im Einzelknotenvergleich konnte die MI355X ihre Wettbewerbsfähigkeit gegenüber NVIDIA-Plattformen unter Beweis stellen. Auf dem Llama 2 70B erreichte AMD im Offline-Durchsatz die gleiche Leistung wie die NVIDIA B200, erzielte nahezu Parität in der Serverleistung und übertraf diese in der interaktiven Leistung. Im Vergleich zur NVIDIA B300 liefert die AMD-GPU 92 % im Offline-Modus, 93 % im Server-Modus und übertrifft diese mit 104 % im interaktiven Modus.
Erstmalige Modellaktivierung erweitert die Abdeckung
MLPerf Inference v6.0 umfasst mehrere neue Workloads, und AMD nutzte diese Runde, um die schnelle Modellaktivierung zu demonstrieren. Das Mixture-of-Experts-Modell GPT-OSS-120B wurde erstmals vorgestellt und erzielte im Vergleich zu NVIDIA-Systemen sowohl im Offline- als auch im Serverbetrieb konkurrenzfähige Ergebnisse.
AMD reichte außerdem Ergebnisse für die Text-zu-Video-Generierung mit WAN-2.2 ein und betrat damit den Bereich der multimodalen und generativen Videoinferenz. Obwohl der Fokus der offiziellen Einreichung auf der Latenz im Single-Stream-Betrieb lag, waren die Ergebnisse mit denen bestehender Plattformen konkurrenzfähig. Optimierungen nach der Einreichung verbesserten die Leistung weiter und deuten auf zusätzliches Optimierungspotenzial mit zunehmender Reife der Software hin.
Diese Erweiterungen unterstreichen AMDs Fokus auf die Erweiterung über traditionelle LLM-Benchmarks hinaus, um auch neue KI-Workloads zu unterstützen.
Die ROCm-Software ermöglicht Skalierung und heterogene Inferenz.
AMD führt einen Großteil der Leistungsfähigkeit und Skalierbarkeit auf seinen ROCm-Software-Stack zurück. Zu den Verbesserungen gehören eine optimierte FP4-Ausführung, eine verbesserte GPU-zu-GPU-Kommunikation für verteilte Inferenz und die Unterstützung für die dynamische Workload-Verteilung in heterogenen Umgebungen.
Die erste heterogene MLPerf-Einreichung wurde mit drei AMD Instinct GPU-Modellen entwickelt: MI300X, MI325X und MI355X. Die von Dell und MangoBoost eingereichte Konfiguration erreichte 141,521 Token pro Sekunde auf einem Llama 2 70B Server und 151,843 Token pro Sekunde auf einem Llama 2 70B Offline.
Bemerkenswert ist, dass sich die AMD Instinct MI355X-Plattform im Dell-Labor in den USA befand, während die Instinct MI300X- und MI325X-Plattformen in Korea getestet wurden. Dies verdeutlicht die Fähigkeit, Systeme über verschiedene geografische Standorte hinweg zu koordinieren.
Ökosystemwachstum und Reproduzierbarkeit
Das Partnernetzwerk von AMD wurde in dieser MLPerf-Runde erweitert: Neun Unternehmen reichten Ergebnisse für verschiedene Generationen von Instinct-GPUs ein. Zu den teilnehmenden Anbietern gehörten Cisco, Dell, Giga Computing, HPE, MangoBoost, MiTAC, Oracle, Supermicro und Red Hat.
Die Ergebnisse der Partner stimmten weitgehend mit den internen Ergebnissen von AMD überein, typischerweise innerhalb von 4 % und in einigen Fällen sogar innerhalb von 1 %. Diese Übereinstimmung deutet darauf hin, dass die Leistung auf verschiedenen OEM- und Cloud-Plattformen reproduzierbar ist, wodurch das Bereitstellungsrisiko reduziert und das Vertrauen in die Ergebnisse in der Praxis gestärkt wird.
Amazon