Der AI Infra Summit hebt die MLPerf-Inferenzergebnisse von AMD und NVIDIA sowie NVIDIAs Vera Rubin-Roadmap 2026, insbesondere Rubin CPX, hervor.
Auf dem AI Infra Summit 2025 präsentierte NVIDIA seine Dynamik an zwei Fronten: beeindruckende neue MLPerf-Inferenzergebnisse seiner Blackwell Ultra-Systeme und, noch wichtiger, eine detaillierte Roadmap für die Vera Rubin-Generation 2026, einschließlich Rubin CPX, einer neuen GPU-Klasse, die speziell für Massive-Context-Inferenz entwickelt wurde.
Blackwell Ultra setzt neue Leistungsmaßstäbe
NVIDIAs GB300 NVL72 Rack-Scale-Systeme haben in MLPerf Inference v5.1 bereits eine bemerkenswerte Leistung erzielt und damit die architektonische Reife der Blackwell Ultra-Plattform unter Beweis gestellt, auch wenn die Software weiterhin ihr volles Potenzial entfaltet. Diese Leistung zeigt sich deutlich im Llama 2 70B Benchmark, wo die Plattform in Offline-Szenarien beeindruckende 12,934 Token pro Sekunde pro GPU lieferte. Die Leistung im Online-Serving-Test war mit 12,701 Token pro Sekunde nahezu identisch, was für die außergewöhnliche Effizienz der Architektur bei unterschiedlichen Workloads spricht.
Die Praxistauglichkeit der Plattform zeigte sich auch in der neu eingeführten interaktiven Kategorie, die deutlich strengere Latenzvorgaben vorsieht, darunter eine Time-to-First-Token-Anforderung von unter 500 ms und einen Grenzwert von 33 Token pro Sekunde und Benutzer. Selbst unter diesen hohen Anforderungen an die Servicequalität erzielte Blackwell Ultra einen hohen Durchsatz und lieferte 7,856 Token pro Sekunde und GPU. Beim DeepSeek-R1-Reasoning-Benchmark erreichte die Plattform mit 5,842 Token pro Sekunde und GPU einen weiteren Spitzenwert.
Letztendlich deuten diese Ergebnisse darauf hin, dass die Leistungsfähigkeit der Hardware die des aktuellen Software-Stacks übertrifft. Es besteht noch erheblicher Leistungsspielraum, da Frameworks wie TensorRT-LLM und NVIDIA Dynamo weiterentwickelt werden, um die architektonischen Vorteile von Blackwell Ultra, wie die verbesserten NVFP4-Rechenpfade und die enorme HBM288e-Kapazität von 3 GB pro GPU, voll auszuschöpfen.
Beschleunigung des Innovationsrhythmus: Die Vera Rubin-Plattform
NVIDIA hat als strategische Reaktion auf das exponentielle Wachstum der KI-Rechenanforderungen einen jährlichen Architektur-Aktualisierungszyklus eingeführt. NVIDIA hält sich an diesen ehrgeizigen Zeitplan und gab bekannt, dass die Vera Rubin-Generation bereits fertig ist und in der zweiten Hälfte des Jahres 2026 in Unternehmen eingesetzt werden soll.
Die Vera Rubin-Architektur führt eine umfassende Plattformaktualisierung ein, die sich auf die Integration neuer Vera-CPUs und Rubin-GPUs konzentriert. Die Vera-CPU stellt eine bedeutende Weiterentwicklung der letzten drei NVIDIA-Systemgenerationen dar. Die Vera-CPUs verfügen über 88 ARM-Kerne, die 176 Threads unterstützen. Diese Prozessoren verdoppeln zudem die Chip-to-Chip-Verbindungsbandbreite (C2C) auf 1,800 GB/s und ermöglichen so eine schnellere Verbindung zwischen CPU, GPU und ihren gemeinsam genutzten Speicherressourcen.
Auf der Verbindungsebene bietet der NVLink der sechsten Generation eine bidirektionale Bandbreite von 3,600 GB/s und verdoppelt damit die Bandbreite der aktuellen NVLink-Switches der fünften Generation. Diese verbesserte Konnektivität ist besonders wichtig, da die Modelle immer weiter über die Speicherkapazität einzelner Geräte hinaus skalieren und anspruchsvolle parallele Ausführungsstrategien erfordern, die minimale Kommunikationslatenz und maximalen Durchsatz zwischen den Knoten erfordern.
Ergänzend zur NVLink-Weiterentwicklung erreicht der Spectrum-6-Switch mit Co-Packaged Optics (CPO)-Technologie eine Switching-Kapazität von 102 TB/s. Die Integration optischer Komponenten direkt in das Switch-Paket beseitigt herkömmliche Engpässe bei der Umwandlung von elektrisch zu optisch, reduziert die Latenz und verbessert gleichzeitig die Energieeffizienz erheblich – ein entscheidender Aspekt, wenn KI-Fabriken in Richtung Gigawatt-Stromverbrauch skalieren.
Die VR NVL144-Systeme werden weiterhin die bewährte Oberon-Rack-Plattform nutzen, die derzeit die Grundlage für die Bereitstellungen von Grace Hopper, Grace Blackwell und Grace Blackwell Ultra bildet.
Entwicklung der Architekturnomenklatur: Von Paketen zu Dies
NVIDIA ändert seine Namenskonvention von einer paketbasierten zu einer die-basierten Zählung. Diese Änderung mag zwar umstritten sein, ist aber ein zukunftsweisender Schritt, der für mehr Klarheit sorgen wird, insbesondere mit der erwarteten Markteinführung der Rubin Ultra-GPUs Ende 2026, die voraussichtlich über vier retikelgroße Dies verfügen werden.
Mit der Rubin-Generation führt NVIDIA eine Nomenklatur der Die-Anzahl ein, die die verfügbaren Rechenressourcen direkt widerspiegelt. Die Bezeichnung NVL144 verweist explizit auf 144 GPU-Dies, behält jedoch die physikalische Konfiguration mit 72 Paketen bei und bietet eine präzisere Messung der Rechenkapazität. Dies ähnelt den NVL200-Systemen der aktuellen Generation GB300 und GB72, die 72 GPU-Pakete mit jeweils zwei GPU-Dies enthalten, also insgesamt 144 Rechen-Dies.
Bewältigung der Herausforderung der Kontextverarbeitung
Die Ankündigung von Rubin CPX, das voraussichtlich Ende 2026 verfügbar sein wird, ist NVIDIAs architektonische Antwort auf eine der dringendsten Herausforderungen der LLM-Inferenz: die grundlegende Diskrepanz zwischen Rechenmustern in verschiedenen Phasen der Token-Generierung. Um diese Innovation zu verstehen, müssen wir die besonderen Merkmale von LLM-Inferenz-Workloads und die Einschränkungen aktueller homogener GPU-Architekturen bei der Bewältigung dieser unterschiedlichen Rechenanforderungen untersuchen.
Die Inferenz großer Sprachmodelle erfolgt in zwei grundlegend unterschiedlichen Rechenphasen, die deutlich unterschiedliche Anforderungen an die Hardwareressourcen stellen. Die Vorfüllphase verarbeitet die anfängliche Eingabeaufforderung und berechnet die Schlüssel- und Wertematrizen für die nachfolgende Generierung. Diese Phase ist rechenintensiv und nutzt den enormen Gleitkomma-Durchsatz moderner GPUs effizient.
Die Dekodierungsphase stellt eine völlig andere rechnerische Herausforderung dar. Während der Dekodierung generiert das Modell autoregressiv Ausgabetoken, wobei jeweils ein Token unter Berücksichtigung des vorherigen Kontexts erstellt wird. Für jedes neue Token muss der Aufmerksamkeitsmechanismus den gesamten Sequenzverlauf verarbeiten und seine Beziehung zu allen vorherigen Token berechnen. Dadurch entsteht ein einzigartiges Rechenmuster, bei dem die Speicherbandbreite und nicht der Rechendurchsatz zum Hauptengpass wird. Der KV-Cache, der die zur Kontexterhaltung erforderlichen Zwischendarstellungen speichert, wird zum Hauptspeicherverbraucher.
Die Skalierungseigenschaften des KV-Caches stellen in Produktionsumgebungen besondere Herausforderungen dar. Bei einem Modell wie Llama 3.1 405B, das erweiterte Kontexte verarbeitet, kann der KV-Cache leicht mehrere zehn Gigabyte pro Sequenz verbrauchen. In Batch-Inferenzszenarien, die für einen hohen Durchsatz in der Produktion unerlässlich sind, übersteigt die Gesamtgröße des KV-Caches häufig die der Modellgewichte selbst. Bei den großen Batchgrößen, die in groß angelegten NVL72-Implementierungen möglich sind, kann der KV-Cache mehrere Terabyte groß werden. Obwohl diese Daten mit angemessener Latenz zugänglich bleiben müssen, erfordern nicht alle KV-Cache-Zugriffe die extreme Bandbreite des HBM-Speichers. Viele Aufmerksamkeitsoperationen weisen Zugriffsmuster auf, die sich für hierarchische Speicherarchitekturen eignen.
Rubin CPX: Speziell entwickelte Architektur für die Kontextverarbeitung
Rubin CPX behebt diese Architekturinkongruenzen durch ein speziell entwickeltes Design für LLM-Inferenz im Langkontext. Die Architektur basiert auf 128 GB GDDR7-Speicher und bietet einen großen und kostengünstigen Speicherpool für KV-Cache-Operationen. Die Bandbreiteneigenschaften von GDDR7 sind zwar geringer als die von HBM4, reichen aber für die meisten Aufmerksamkeitsoperationen aus, insbesondere in Kombination mit intelligenten Caching-Strategien.
Die Integration mit der breiteren Vera Rubin-Plattform im VR NVL144 CPX-Rack erfolgt über PCIe-Verbindungen über die ConnectX-9-NICs und Switch-Chips. Dies ermöglicht hybride Ausführungsmodelle, bei denen rechenintensive Operationen auf herkömmlichen GPUs erfolgen. Das speicherintensive Kontextmanagement wird auf CPX-Prozessoren migriert.
Flexible Bereitstellungsarchitekturen und Konfigurationsoptionen
Die modulare Architektur der Vera Rubin-Plattform ermöglicht flexible Bereitstellungen und ermöglicht Unternehmen, Konfigurationen für spezifische Workload-Eigenschaften zu optimieren. Die Standard-Rack-Konfiguration VR NVL144 umfasst Vera Rubin-GPUs mit acht ConnectX-9-NICs und bietet so eine ausgewogene Architektur, die für unterschiedliche KI-Workloads geeignet ist. Diese Konfiguration bietet 3.6 ExaFLOPS NVFP4-Rechenleistung, eine 3.3-fache Verbesserung gegenüber den aktuellen GB300 NVL72-Systemen, sowie 1.4 PB/s HBM4-Bandbreite (2.5-mal so viel wie die aktuelle Generation) und 75 TB HBM4-Speicherkapazität (zweimal so viel wie die aktuelle Generation).
Für Unternehmen, die Inferenz und Long-Context-RL nach dem Training optimieren, steht das ultradichte VR NVL144 CPX Compute Tray zur Verfügung. Jedes Tray enthält vier VR-GPU-Pakete mit jeweils acht GPU-Chips. Dadurch bleibt die Rechendichte der Standardkonfiguration erhalten und es werden zusätzlich acht Rubin CPX-GPUs hinzugefügt. Die acht ConnectX-9 NIC/Switch-Chips gewährleisten den nahtlosen Datenfluss, der für verteilte Inferenz unerlässlich ist.
Der modulare Aufbau der Architektur ermöglicht außergewöhnlich flexible Bereitstellungsstrategien. Unternehmen können zunächst Standard-VR-NVL144-Racks einsetzen und diese später bei steigenden Anforderungen an die Kontextverarbeitung durch dedizierte Rubin-CPX-Racks erweitern. Dieser Ansatz ermöglicht die parallele Entwicklung der Infrastruktur mit den Modellfunktionen und vermeidet so eine Überbereitstellung.
Die komplette VR NVL144 CPX-Konfiguration setzt neue Maßstäbe für Rechenleistung. Das System liefert 8 ExaFLOPS NVFP4-Rechenleistung – eine 7.5-fache Verbesserung gegenüber aktuellen GB300 NVL72-Systemen. Diese enorme Rechenleistung wird mit einer aggregierten Speicherbandbreite von 1.7 PB/s kombiniert. Durch die Nutzung von HBM4 und GDDR7 wird der dreifache Speicherdurchsatz aktueller Systeme erreicht. Die Gesamtspeicherkapazität erreicht 100 TB und bietet damit 2.5-mal mehr Speicherressourcen als aktuelle Plattformen.
NVIDIA strebt eine Verfügbarkeit bis Ende 2026 an. Dies ermöglicht neue Kategorien von KI-Anwendungen und macht Kontextfenster mit Millionen von Token produktionstauglich. KI-Systeme können so ganze Codebasen oder umfangreiche Dokumente in einem Durchgang verarbeiten. Diese Innovationen ermöglichen Unternehmen zudem die Unterstützung größerer Batchgrößen, senken die Inferenzkosten und ermöglichen eine günstigere Betriebskostenkalkulation.
Infrastrukturplan im Gigawatt-Maßstab
Neben einzelnen Systeminnovationen stellte NVIDIA auch Referenzarchitekturen für KI-Fabriken im Gigawatt-Maßstab vor. Diese in Zusammenarbeit mit Infrastrukturpartnern wie Jacobs, Schneider Electric, Siemens Energy und Vertiv entwickelten Entwürfe decken den gesamten Infrastruktur-Stack ab – von der Stromerzeugung bis zur Bereitstellung von Rechenleistung. Die Referenzdesigns berücksichtigen, dass KI-Implementierungen der nächsten Generation eine ganzheitliche Optimierung erfordern, die weit über die Rechenkomponenten selbst hinausgeht.
Diese Architekturentwürfe nutzen digitale Zwillinge von NVIDIA Omniverse, um eine umfassende Anlagensimulation vor der physischen Bereitstellung zu ermöglichen. Unternehmen können Stromverteilung, Kühlsysteme und Rechenlasten in einheitlichen Simulationen modellieren und so Engpässe identifizieren und beheben, bevor sie sich auf die physische Infrastruktur festlegen.
Fazit
NVIDIA ist weiterhin führend im Bereich der KI-Infrastruktur mit einem zukunftsorientierten, entwicklerorientierten Ansatz, der die Schwachstellen von Unternehmen und KI-Laboren direkt angeht. Der Übergang von der allgemeinen Beschleunigung zu arbeitslastspezifischen Architekturen, wie sie beispielsweise der gezielte Ansatz von Rubin CPX zur Kontextverarbeitung veranschaulicht, deutet darauf hin, dass zukünftige KI-Systeme zunehmend heterogene Rechenressourcen umfassen werden, die für jede Phase von KI-Workflows optimiert sind. Diese architektonische Entwicklung erfordert von Unternehmen, die mehrjährige Investitionen in die KI-Infrastruktur planen, nicht nur den reinen Rechendurchsatz, sondern auch die Abstimmung zwischen Hardwarekapazitäten und sich entwickelnden Modellarchitekturen zu berücksichtigen.
Die beschleunigte Innovationsgeschwindigkeit, von Blackwell Ultra über Vera Rubin bis hin zu Rubin CPX innerhalb kürzester Zeit, ist wirklich beeindruckend. Ein solch hohes Tempo erfordert von Unternehmen die Entwicklung von Systemen, die neue Architekturparadigmen integrieren können, sobald diese entstehen, und so die Abhängigkeit zu vermeiden, die frühere Generationen von Rechenzentrumsinfrastrukturen kennzeichnete. Um dieser Herausforderung zu begegnen, bieten NVIDIAs AI Factory-Referenzdesigns und die digitalen Zwillinge von Omniverse die wesentlichen Blaupausen und Simulationstools, um diese kritischen Investitionen zukunftssicher zu machen. Während KI-Modelle ihren Weg in Richtung Billionen-Parameter-Skalen und Millionen-Token-Kontexte fortsetzen, bilden die auf dem AI Infrastructure Summit vorgestellten Architekturinnovationen die wesentliche Grundlage für diese Zukunft der Datenverarbeitung. Sie schaffen die Rahmenbedingungen und Technologien, die die KI-Fähigkeiten von Unternehmen im Laufe des Jahrzehnts bestimmen werden.
Bezug genommene Artikel: Nvidia GTC25 News
Alle Folien und Bilder stammen von Nvidia
Amazon