Die L40S schließt eine kritische Lücke im GPU-Ökosystem von Rechenzentren. Während rechenorientierte KI-Trainings-GPUs wie die Nvidia H100 die reine Leistung priorisieren, aber auf Grafikbeschleunigung verzichten, fehlen herkömmlichen professionellen Visualisierungskarten in der Regel die KI-Rechenkapazitäten, die moderne Inferenz-Workloads und neue KI-gesteuerte Grafikanwendungen erfordern. Diese Positionierung macht sie besonders wertvoll für die Generierung synthetischer Daten, die multimodale KI-Entwicklung und Omniverse-Anwendungen, bei denen sowohl Rechen- als auch Grafikleistung entscheidend sind.

NVIDIA L40S-Spezifikationen

Normen	L40	L40	H100 80G PCIe
GPU-Architektur	Ada Lovelace	Ada Lovelace	Trichter
GPU sterben	AD102	AD102	GH100
CUDA-Kerne	18,176	18,176	14,592
Tensorkerne	568 (4. Generation)	568 (4. Generation)	456
RT-Kerne	142 (3. Generation)	142 (3. Generation)	-
GPU-Speicher	48 GB GDDR6 mit ECC	48 GB GDDR6 mit ECC	80 GB HBM2e
Speicherbandbreite	864 GB / s	864 GB / s	2 TB / s
Speicherschnittstelle	384-bit	384-bit	5120-bit
Max Leistungsaufnahme	300W	350W	350W
Formfaktor	4.4″ H x 10.5″ L: Doppelsteckplatz	4.4″ H x 10.5″ L: Doppelsteckplatz	4.4″ H x 10.5″ L: Doppelsteckplatz
Thermische Lösung	Passive Kunden	Passive Kunden	Passive Kunden
Display-Anschlüsse	4x DisplayPort 1.4a	4x DisplayPort 1.4a	-
PCIe-Schnittstelle	Gen4 x16	Gen4 x16	Gen5 x16
Stecker	16-pin	16-pin	16-pin
vGPU-Unterstützung	Ja	Ja	Nein
Multi-Instanz-GPU (MiG)	Nein	Nein	Ja
NVLink-Unterstützung	Nein	Nein	Nein

Leistungsbeschreibungen

Metrisch	L40 Leistung	L40S Leistung	H100 Leistung
FP32-Leistung	90.5 TFLOPS	91.6 TFLOPS	51.2 TFLOPS
TF32 Tensorkern	362.1 TFLOPS	366 TFLOPS	756 TFLOPS
FP16 Tensorkern	724 TFLOPS	733 TFLOPS	1513 TFLOPS
FP8 Tensorkern	1,448 TFLOPS	1,466 TFLOPS	3026 TFLOPS
Peak INT8 Tensor TOPS	1,448 TFLOPS	1,466 TFLOPS	3026 TOPS
RT-Kernleistung	209 TFLOPS	212 TFLOPS	-

(Leistungszahlen sind spärlich)

NVIDIA L40S vs. H100

Ein genauer Blick auf die Spezifikationen offenbart die unterschiedlichen Designphilosophien hinter NVIDIA L40S und H100. Die L40S basiert auf der Ada Lovelace-Architektur und verwendet denselben AD102-Chip, der auch in NVIDIAs High-End-Workstation-Grafikkarten zu finden ist. Dank dieser Technologie verfügt sie über eine enorme Anzahl von 18,176 CUDA-Kernen, was zu einer hervorragenden Single-Precision-FP32-Leistung führt, die ein Eckpfeiler des traditionellen Grafik-Renderings und des wissenschaftlichen Rechnens ist. Im Gegensatz dazu sind die Hopper-Architektur und der GH100-Chip der H100 speziell für KI- und HPC-Workloads konzipiert.

Das auffälligste Unterscheidungsmerkmal ist die Kernkonfiguration. Der L40S verfügt über 142 RT-Kerne der dritten Generation und 568 Tensor-Kerne der vierten Generation. Die RT-Kerne sind spezielle Hardware zur Beschleunigung von Raytracing, eine Funktion, die beim H100 völlig fehlt. Dadurch ist der L40S einzigartig in der Lage, fotorealistisches Rendering zu ermöglichen. Der H100 verfügt zwar über weniger Tensor-Kerne, diese sind jedoch schneller und fortschrittlicher und für neue KI-Datenformate wie FP8 optimiert, was ihm einen deutlichen Vorsprung bei der reinen KI-Leistung verschafft.

Dieser Kompromiss zeigt sich auch bei den Speichersubsystemen. Der H100 nutzt 80 GB teuren HBM2e-Speicher und liefert damit eine Bandbreite von 2 TB/s. Dies ist unerlässlich, um die SMs während des Trainings und der Inferenz umfangreicher KI-Modelle mit Strom zu versorgen. Der L40S nutzt konventionellere 48 GB GDDR6-Speicher und bietet damit eine Bandbreite von 864 GB/s. Das ist zwar weniger als die Hälfte des H100, aber immer noch eine beachtliche Menge, die zum Laden großer 3D-Szenen, hochauflösender Texturen und umfangreicher KI-Modelle für die Inferenz vollkommen ausreicht.

Abschließend werden die vorgesehenen Aufgaben anhand des Funktionsumfangs erläutert. Der L40S verfügt über vier DisplayPort 1.4a-Ausgänge und robuste vGPU-Unterstützung und eignet sich damit ideal für virtualisierte Workstations, Renderfarmen und Cloud-Gaming-Anwendungen. Der H100 hingegen verfügt weder über Display-Ausgänge noch über vGPU-Funktionen, bietet dafür aber Multi-Instance GPU (MiG)-Technologie. Diese ermöglicht die Partitionierung in mehrere kleinere, isolierte GPU-Instanzen, um mehrere rechenintensive Workloads gleichzeitig zu verarbeiten. Das gemeinsame Dual-Slot-Design, das passive Kühlkonzept und die 350-W-Leistungsaufnahme des L40S und des PCIe H100 ermöglichen einen flexiblen Einsatz in einer Vielzahl von Industriestandard-Servern.

Vergleicht man den L40S mit NVIDIAs Flaggschiff H100, werden die Unterschiede in ihren jeweiligen Aufgaben deutlich. Der H100 ist der unangefochtene Spitzenreiter in der reinen KI-Trainingsleistung dieser GPU-Generation, doch dieser Vergleich zeigt nur einen Teil der Wahrheit. Erwähnenswert ist, dass der L40 ebenfalls Teil von NVIDIAs Produktpalette ist und mit einer niedrigeren TDP von 300 W im Vergleich zum 40-W-Leistungsumfang des L350S ähnliche Leistungsmerkmale bei geringerem Stromverbrauch bietet.

Der hier untersuchte H100 ist die ursprüngliche 80-GB-PCIe-Version mit HBM2e-Speicher. NVIDIA hat diese Produktreihe seitdem um Varianten wie den H100 NVL erweitert, der das ursprüngliche 80-GB-PCIe-Modell ersetzt. Er bietet 94 GB Speicher und eine höhere TDP von 400 W und NVLink-Unterstützung für Dual-GPU-Konfigurationen. Die H100-Familie umfasst auch 8-GPU-SXM-Konfigurationen und den neueren H200, der denselben GPU-Chip nutzt, aber sowohl im PCIe- als auch im SXM-Formfaktor eine verbesserte Leistung bietet.

Die Unterscheidung zwischen L40S und H100 verdeutlicht einen strategischen Unterschied im GPU-Design für Rechenzentren. Die H100 ist eine rein rechenorientierte Karte, die ausschließlich für KI- und Hochleistungs-Computing-Workloads optimiert ist. Ziel ist groß angelegtes KI-Training, bei dem maximaler Rechendurchsatz das oberste Ziel ist. Jeder Aspekt ihres Designs, von der enormen HBM2e-Speicherbandbreite bis zu den spezialisierten Tensor-Kernen, ist für anspruchsvollste Trainingsszenarien neuronaler Netzwerke ausgelegt.

Im Gegensatz dazu ist die L40S eine universelle GPU, die auf Vielseitigkeit ausgelegt ist und neben grafikintensiven Workloads auch KI-Inferenz und NVIDIA vGPU-Implementierungen unterstützt. Sie ist zwar eine kompetente und kostengünstige Lösung für KI-Inferenz, ihre wahre Stärke liegt jedoch in der Unterstützung einer Vielzahl grafikintensiver Anwendungen, für die die H100 schlicht nicht ausgelegt ist.

Grafikintensive Workloads und professionelle Anwendungen

Der L40S zeichnet sich in zahlreichen grafikintensiven Bereichen aus, die sowohl Rechenleistung als auch erweiterte Rendering-Funktionen erfordern. Im 3D-Rendering und in der Animation setzen Studios auf den L40S für komplexes Szenen-Rendering, wobei seine RT-Cores Raytracing-Berechnungen beschleunigen, die auf reinen Rechen-GPUs nicht möglich wären. Film- und Fernsehproduktionshäuser nutzen diese Funktionen für die Echtzeit-Vorvisualisierung. Regisseure und Kameraleute können so bereits während der Dreharbeiten fotorealistische Renderings von CGI-Szenen sehen, was Zeit und Kosten der Postproduktion drastisch reduziert.

Architektur- und Ingenieurbüros nutzen die L40S für Architekturvisualisierungen und Produktdesign in Echtzeit. Kunden können fotorealistische Gebäudedarstellungen durchgehen oder detaillierte Produktprototypen prüfen, bevor mit der eigentlichen Konstruktion begonnen wird. Dank ihrer professionellen Grafikfunktionen eignet sich die Karte auch ideal für CAD-Workstations, wo Ingenieure sowohl die Rechenleistung für komplexe Simulationen als auch die Grafikbeschleunigung für eine flüssige, hochauflösende Darstellung der Ansichtsfenster benötigen.

Im Medien- und Unterhaltungssektor treibt der L40S Renderfarmen an, die Animationsbilder in finaler Qualität verarbeiten. Gleichzeitig ermöglichen seine vGPU-Funktionen cloudbasierte kreative Workflows, bei denen Künstler remote auf leistungsstarke Grafik-Workstations zugreifen können. Videobearbeitungs- und Postproduktionseinrichtungen nutzen den L40S für Echtzeit-Effektverarbeitung, Farbkorrektur und Compositing-Workflows, die sowohl Grafikbeschleunigung als auch erhebliche Rechenressourcen erfordern.

Ein weiteres wichtiges Anwendungsgebiet ist der Markt für virtuelle Desktop-Infrastrukturen (VDI). Die vGPU-Technologie des L40S ermöglicht es mehreren Benutzern, GPU-Ressourcen für grafikbeschleunigte virtuelle Desktops gemeinsam zu nutzen. Dadurch stehen professionelle Grafikfunktionen in Unternehmensumgebungen zur Verfügung, ohne dass jedem Benutzer eine eigene GPU zugewiesen werden muss.

Die Entwicklung hin zum physikbasierten KI-Training

Noch wichtiger ist, dass der L40S Funktionen bietet, die dem H100 völlig fehlen. Das Hauptunterscheidungsmerkmal sind die 40 RT-Cores der dritten Generation des L142S, die Echtzeit-Raytracing und fotorealistisches Rendering ermöglichen. Während der H100 keine RT-Cores besitzt und keine Grafikbeschleunigung durchführen kann, machen die RT-Cores des L40S ihn zur ersten Wahl für Anwendungen, die sowohl KI-Berechnungen als auch fortschrittliche Grafiken erfordern.

Diese Unterscheidung wird angesichts der zunehmenden Beliebtheit von KI-generierten 3D-Modellen, digitalen Zwillingssimulationen und OpenUSD-Workflows (Universal Scene Description) immer wichtiger. Die nächste Herausforderung der künstlichen Intelligenz besteht nicht nur darin, größere Sprachmodelle zu trainieren, sondern Weltmodelle zu entwickeln, die Physik, räumliche Beziehungen und reale Interaktionen verstehen. Diese Entwicklung erfordert einen grundlegenden Wandel in der Herangehensweise an die Generierung von Trainingsdaten.

Während das Training herkömmlicher KI-Modelle stark auf NVIDIAs Flaggschiff-Compute-GPUs basiert, erfordert das Training der nächsten Generation physikalisch fundierter Weltmodelle einen anderen Ansatz. Diese fortschrittlichen KI-Systeme benötigen riesige Mengen an Trainingsdaten, die nicht nur visuelle Informationen, sondern auch physikalische Eigenschaften, Lichtverhalten, Materialinteraktionen und räumliche Beziehungen erfassen. GPUs wie die L40S werden für die Generierung umfangreicher Trainingsdaten unverzichtbar, da ihre RT-Cores die Erstellung physikalisch genauer synthetischer Umgebungen ermöglichen, die als Grundlage für das Training komplexerer KI-Modelle dienen.

Diese Fähigkeit zum erweiterten Grafik-Rendering, die durch die dedizierten RT-Kerne ermöglicht wird, macht den L40S zur idealen Engine für die Omniverse-Plattform von NVIDIA und das breitere Ökosystem der physikbasierten KI-Entwicklung.

Omniversum

Omniversum ist eine Entwicklungsplattform mit APIs, SDKs und Diensten, die es Entwicklern ermöglicht, Anwendungen und Workflows basierend auf Universal Scene Description (OpenUSD) zu erstellen. Sie wurde entwickelt, um physikalisch genaue virtuelle 3D-Welten in Echtzeit zu erstellen und zu verbinden. Dies wird durch die Integration der NVIDIA RTX-Technologie für fotorealistisches Raytracing direkt in industrielle und robotische Simulations-Workflows erreicht. Der L40S mit seinen leistungsstarken RT-Recheneinheiten bietet die notwendige Hardwarebeschleunigung für diese anspruchsvollen RTX-Rendering-Workloads und ermöglicht Entwicklern die Simulation von Licht, Materialien und Physik mit atemberaubendem Realismus.

Omniverse ist mehr als nur ein Visualisierungstool, es ist eine Plattform für die Entwicklung der nächsten Generation physischer KI. Durch die Erstellung dieser realitätsgetreuen virtuellen Welten, auch „digitale Zwillinge“ genannt, können Entwickler komplexe Industrieanlagen simulieren, ganze Roboterflotten testen und autonome Fahrzeuge vor dem Einsatz in der realen Welt in einer sicheren, virtuellen Umgebung validieren. Entscheidend ist, dass diese hochpräzisen Simulationen die Grundlage für die Generierung riesiger Mengen physikalisch basierter synthetischer Daten bilden – eine wichtige Ressource für das Training leistungsstarker KI-Modelle, die auf rechenintensiven GPUs laufen.

Synthetische Manipulationsbewegungsgenerierung für die Robotik

Das NVIDIA Isaac GR00T-Blaupause zur Generierung synthetischer Manipulationsbewegungen bietet einen Rahmen für das Robotertraining und demonstriert, wie die RT-Core-Funktionen des L40S die Erstellung großer Datensätze aus minimalen menschlichen Demonstrationen ermöglichen. Dieser Workflow befasst sich mit einer der wichtigsten Herausforderungen in der Roboterentwicklung: dem zeitaufwändigen und teuren Prozess der Erfassung ausreichend hochwertiger Trainingsdaten für Robotermanipulationsaufgaben.

Traditionelles Robotertraining basiert stark auf überwachtem oder imitierendem Lernen, bei dem Roboter neue Fähigkeiten erwerben, indem sie menschliche Vorführungen beobachten und nachahmen. Die Erstellung perfekter Vorführungen ist jedoch eine Herausforderung, und die Erfassung umfangreicher, hochwertiger Datensätze in der realen Welt ist mühsam, zeitaufwändig und teuer. Ein entsprechend geschulter menschlicher Bediener benötigt in der Regel etwa eine Minute für die Aufzeichnung einer einzigen hochwertigen Vorführung. Diese ist aufgrund des erheblichen menschlichen Aufwands und des Fehlerpotenzials schwer zu skalieren.

Der Isaac GR00T-Entwurf begegnet dieser Herausforderung, indem er synthetische Daten aus physikalisch präzisen Simulationen nutzt, um den Datenerfassungsprozess zu beschleunigen. Unternehmen können in nur wenigen Stunden menschlicher Demonstrationen exponentiell mehr Daten sammeln.

Das Isaac GR00T Blueprint besteht aus drei Schlüsselkomponenten, die zusammenarbeiten, um eine umfassende Pipeline zur Generierung synthetischer Daten zu erstellen:

• GR00T-Teleop ermöglicht es erfahrenen menschlichen Bedienern, virtuelle Roboter mithilfe von Spatial Computing-Geräten wie dem Apple Vision Pro zu steuern. Dieses System ermöglicht es Bedienern, komplexe Manipulationsaufgaben in fotorealistischen virtuellen Umgebungen zu demonstrieren und dabei nicht nur die Bewegungsbahnen, sondern auch den Umgebungskontext und Objektinteraktionen zu erfassen. Der Apple Vision Pro überträgt Handverfolgungsdaten an Isaac Lab, das gleichzeitig eine immersive Ansicht der Roboterumgebung an das Gerät zurücksendet und so eine intuitive und interaktive Steuerung des Roboters ermöglicht.
• GR00T-Mimic Die aufgezeichneten Demonstrationen werden mithilfe fortschrittlicher Simulationstechniken zu größeren synthetischen Datensätzen multipliziert. Diese Komponente nutzt die aufgezeichneten Demonstrationen als Input, um zusätzliche synthetische Bewegungstrajektorien in Isaac Lab zu generieren. Dies unterstützt sowohl die einarmige als auch die bimanuelle Manipulation humanoider Roboter. Der Prozess umfasst die Kommentierung wichtiger Punkte in den Demonstrationen und die Verwendung von Interpolation, um sicherzustellen, dass die synthetischen Trajektorien glatt und kontextbezogen sind.
• GR00T-Gen nutzt die NVIDIA Omniverse- und Cosmos-Plattformen, um synthetische Datensätze durch 3D-Upscaling und Domänen-Randomisierung zu erweitern. Diese Komponente sorgt für zusätzliche Vielfalt durch die Randomisierung von Hintergrund, Beleuchtung und anderen Variablen in der Szene. Sie erweitert die generierten Bilder durch NVIDIA Cosmos Transfer und erreicht so Fotorealismus, der dazu beiträgt, die Lücke zwischen Simulation und Realität zu schließen.

Diese Pipeline veranschaulicht perfekt die spezialisierten, sich ergänzenden Rollen moderner Rechenzentrums-GPUs. Der L40S mit seinen dedizierten RT-Cores dient als Weltenbauer. Er ist unverzichtbar für die ersten Phasen der Datengenerierung, wo er das physikalisch basierte Rendering, Echtzeit-Raytracing und die Domänen-Randomisierung übernimmt, die für die Erstellung einer fotorealistischen und vielfältigen virtuellen Umgebung erforderlich sind.

Diese hochpräzise virtuelle Welt wird dann zur Leinwand für die nächste Generation. Generative KI-Modelle, wie sie in NVIDIA Cosmos, werden auf rechenzentrierten GPUs wie dem H100 ausgeführt, um die endgültigen Trainingsdaten zu erzeugen. Der H100 nutzt die realistische Umgebung des L40S, um Millionen dynamischer, physikalischer Szenarien zu generieren.

Leistungsbenchmarks für KI-Inferenz

Ein weiterer Anwendungsfall, für den Karten wie die L40S beliebt sind, ist die kosteneffiziente Inferenz. Um die realen KI-Inferenzfähigkeiten der L40S im Vergleich zur H100 zu bewerten, haben wir die LLM-Leistung mithilfe von vLLM unter Verwendung von Nvidias Open Reasoning Nemotron 14B-Parametermodell bei BF16 mit einer maximalen Tokenlänge von 32K getestet. 

vLLM-Benchmark-Ergebnisse

Der H100 ist mit einem etwa 4.2-mal höheren Durchsatz als der L40S klar leistungsführend. Dieser Vorteil ergibt sich direkt aus der doppelten Tensor-Core-Leistung und der mehr als doppelt so hohen Speicherbandbreite (100 TB/s gegenüber 2 GB/s) des H864. 

Die Leistung pro Dollar spricht jedoch eine andere Sprache. Der L40S kostet in der Regel weniger als ein Drittel des Preises eines H100 und ist damit für viele Inferenz-Workloads kostengünstiger. Unternehmen, die Inferenzdienste betreiben, bei denen absolute Spitzenleistung nicht entscheidend ist, stellen oft fest, dass der L40S bessere Gesamtbetriebskosten bietet.

Wenn wir in den Abschnitt mit der linearen Leistung doppelklicken, sehen wir, dass L40S ein sehr akzeptables Leistungsniveau liefert und 16 gleichzeitige Anfragen mit ~52 ms TPOT (Time Per Output Token) SLO bedienen kann.

Ein wichtiger Faktor ist, dass KI-Inferenz, insbesondere die Dekodierungsphase der Textgenerierung, grundsätzlich eine speicherbandbreitenintensive Operation ist. Während der Inferenz muss das Modell wiederholt auf im GPU-Speicher gespeicherte Gewichte zugreifen, um jedes neue Token zu generieren, was den Speicherdurchsatz zu einem kritischen Leistungsengpass macht. Diese Eigenschaft erklärt, warum der H100 mit seiner überlegenen Speicherbandbreite und verbesserten Tensor Core-Leistung natürlich einen höheren Inferenzdurchsatz erreicht.

Für Einsatzszenarien, die sowohl KI-Inferenz als auch Grafikbeschleunigung erfordern, wie etwa Echtzeit-Rendering mit KI-verstärkten Effekten oder interaktive Anwendungen mit KI-gestützten Funktionen, ist das L40S jedoch die einzige praktikable Option.

Fazit

Die NVIDIA L40S und die neuesten Nachfolger der Blackwell RTX Pro 6000 erweisen sich als strategisch positionierte GPUs, die den wachsenden Anforderungen moderner Rechenzentren gerecht werden, in denen KI-Berechnungen und fortschrittliche Grafikfunktionen zunehmend zusammenwachsen. Während die GPU-Klassen H100 und B200 weiterhin unangefochten führend für reine KI-Trainings- und Inferenz-Workloads sind, besetzt die L40S eine einzigartige und wertvolle Nische als universelle GPU, die die Lücke zwischen rechenorientierten KI-Karten und traditionellen professionellen Visualisierungslösungen schließt.

Das einzigartige Leistungsversprechen des L40S zeigt sich vor allem in Szenarien, die sowohl KI-Inferenzfähigkeiten als auch Grafikbeschleunigung erfordern. Seine 142 RT-Cores der dritten Generation ermöglichen Anwendungen, die auf reinen Rechen-GPUs wie dem H100 schlichtweg unmöglich sind – von Echtzeit-Raytracing in professionellen Workflows bis hin zur fotorealistischen Generierung synthetischer Daten für KI-Training der nächsten Generation. Diese duale Funktionalität macht ihn unverzichtbar für neue Anwendungen in der Entwicklung digitaler Zwillinge, physikbasiertem KI-Training und dem wachsenden Omniverse-Ökosystem.

Aus wirtschaftlicher Sicht bietet der L40S einen überzeugenden Mehrwert für Unternehmen, die nicht die absolute Spitzenleistung der KI-Lösung H100 benötigen. Für etwa ein Drittel der Kosten des H100 bietet der L40S eine respektable Inferenzleistung und gleichzeitig Grafikfunktionen, die Rechenzentrumsimplementierungen enorm vielseitig machen. Diese Kombination aus Kosteneffizienz und Vielseitigkeit macht den L40S für viele Unternehmen zu einer praktikableren Wahl als die Investition in separate KI- und Grafiklösungen.

L40S Datenblatt