Karta L40S wypełnia istotną lukę w ekosystemie GPU w centrach danych. Podczas gdy procesory graficzne do trenowania AI, takie jak Nvidia H100, koncentrują się na obliczeniach i priorytetyzują wydajność, całkowicie rezygnując z akceleracji grafiki, tradycyjne profesjonalne karty wizualizacyjne zazwyczaj nie oferują możliwości obliczeniowych AI, wymaganych przez nowoczesne obciążenia wnioskowania i nowe aplikacje graficzne oparte na AI. To pozycjonowanie czyni je szczególnie cennymi w przypadku generowania danych syntetycznych, multimodalnego rozwoju AI oraz aplikacji Omniverse, gdzie zarówno wydajność obliczeniowa, jak i graficzna są kluczowe.

Specyfikacja NVIDIA L40S

Specyfikacja	L40	L40S	Karta sieciowa PCIe H100 80G
Architektura GPU	Ada Lovelace	Ada Lovelace	Zbiornik
Układ GPU	AD102	AD102	GH100
Rdzenie CUDA	18,176	18,176	14,592
Rdzenie tensora	568 (4. generacja)	568 (4. generacja)	456
Rdzenie RT	142 (3. generacja)	142 (3. generacja)	-
Pamięć GPU	48 GB pamięci GDDR6 z funkcją ECC	48 GB pamięci GDDR6 z funkcją ECC	80 GB HBM2e
Przepustowość pamięci	864 Gb / s	864 Gb / s	2 TB / s
Interfejs pamięci	384-bit	384-bit	5120-bit
Maksymalny pobór mocy	300W	350W	350W
Form Factor	4.4″ wys. x 10.5″ dł.: Podwójne gniazdo	4.4″ wys. x 10.5″ dł.: Podwójne gniazdo	4.4″ wys. x 10.5″ dł.: Podwójne gniazdo
Rozwiązanie termiczne	Pasywny	Pasywny	Pasywny
Złącza wyświetlacza	4x DisplayPort 1.4a	4x DisplayPort 1.4a	-
Interfejs PCIe	Generacja 4 x16	Generacja 4 x16	Generacja 5 x16
Złącze zasilania	16-pin	16-pin	16-pin
Obsługa vGPU	Tak	Tak	Nie
Wieloinstancyjny procesor graficzny (MiG)	Nie	Nie	Tak
Wsparcie NVLink	Nie	Nie	Nie

Dane techniczne

metryczny	Wydajność L40	Wydajność L40S	Wydajność H100
Wydajność FP32	X TFTPS	X TFTPS	X TFTPS
Rdzeń tensora TF32	X TFTPS	X TFTPS	X TFTPS
Rdzeń tensorowy FP16	X TFTPS	X TFTPS	X TFTPS
Rdzeń tensorowy FP8	X TFTPS	X TFTPS	X TFTPS
Szczyt INT8 Tensor TOPS	X TFTPS	X TFTPS	3026 TOPS
Wydajność rdzenia RT	X TFTPS	X TFTPS	-

(Liczby wydajności podano z rozbieżnością)

NVIDIA L40S kontra H100

Szczegółowe przyjrzenie się specyfikacji ujawnia odrębną filozofię projektową stojącą za układami NVIDIA L40S i H100. Model L40S został zbudowany w oparciu o architekturę Ada Lovelace, wykorzystując ten sam układ AD102, który znajduje się w kartach graficznych NVIDIA do stacji roboczych klasy high-end. To dziedzictwo zapewnia mu imponującą liczbę 18 176 rdzeni CUDA, co przekłada się na doskonałą wydajność obliczeń FP32 o pojedynczej precyzji, która jest podstawą tradycyjnego renderowania grafiki i obliczeń naukowych. Z kolei architektura Hopper i układ GH100 w modelu H100 zostały zaprojektowane przede wszystkim z myślą o obciążeniach związanych ze sztuczną inteligencją i obliczeniami o wysokiej wydajności (HPC).

Najbardziej wyrazistym wyróżnikiem jest konfiguracja rdzeni. Model L40S zawiera 142 rdzenie RT trzeciej generacji i 568 rdzeni Tensor czwartej generacji. Rdzenie RT to wyspecjalizowany sprzęt przyspieszający ray tracing, funkcję całkowicie nieobecną w modelu H100, co sprawia, że ​​L40S wyjątkowo dobrze radzi sobie z fotorealistycznym renderowaniem. Chociaż model H100 ma mniej rdzeni Tensor, są one szybsze i bardziej zaawansowane, zoptymalizowane pod kątem nowych formatów danych AI, takich jak FP8, co daje mu zdecydowaną przewagę w wydajności surowej AI.

Ten kompromis jest również widoczny w podsystemach pamięci. H100 wykorzystuje 80 GB kosztownej pamięci HBM2e, zapewniając imponującą przepustowość 2 TB/s. Jest to niezbędne do zasilania modułów SM podczas trenowania i wnioskowania modeli AI na dużą skalę. L40S wykorzystuje bardziej konwencjonalną pamięć GDDR6 o pojemności 48 GB, zapewniając przepustowość 864 GB/s. Choć jest to mniej niż połowa przepustowości H100, to wciąż jest to znacząca wartość, w pełni wystarczająca do ładowania dużych scen 3D, tekstur o wysokiej rozdzielczości i dużych modeli AI do wnioskowania.

Wreszcie, zestaw funkcji określa ich przeznaczenie. Model L40S oferuje cztery wyjścia DisplayPort 1.4a i solidną obsługę vGPU, co czyni go idealnym rozwiązaniem dla zwirtualizowanych stacji roboczych, farm renderujących i wdrożeń gier w chmurze. Model H100, pozbawiony wyjść wideo ani funkcji vGPU, oferuje zamiast tego technologię Multi-Instance GPU (MiG), która pozwala na partycjonowanie go na wiele mniejszych, izolowanych instancji GPU w celu jednoczesnej obsługi wielu intensywnych obliczeniowo obciążeń. Współdzielona, ​​dwugniazdowa, pasywna konstrukcja chłodzenia i moc 350 W w obudowach L40S i PCIe H100 zapewniają elastyczność wdrażania w szerokiej gamie standardowych serwerów branżowych.

Porównując procesor L40S z flagowym procesorem graficznym NVIDIA H100, różnice w ich przeznaczeniu stają się oczywiste. H100 jest niekwestionowanym liderem pod względem wydajności w zakresie szkolenia AI wśród procesorów graficznych tej generacji, ale to porównanie oddaje tylko część historii. Warto zauważyć, że L40 również należy do oferty NVIDIA i charakteryzuje się niższym TDP (300 W) w porównaniu z 350 W w przypadku L40S, oferując podobne możliwości przy niższym zużyciu energii.

Model H100, który tu analizujemy, to oryginalna wersja PCIe 80 GB z pamięcią HBM2e. Od tego czasu NVIDIA rozszerzyła tę ofertę o warianty takie jak H100 NVL, który zastępuje oryginalny model PCIe 80 GB, oferując 94 GB pamięci i wyższy współczynnik TDP 400 W, a jednocześnie dodając obsługę NVLink dla konfiguracji z dwoma GPU. Rodzina H100 obejmuje również konfiguracje SXM z 8 GPU oraz nowszy model H200, który korzysta z tego samego układu GPU, ale oferuje lepszą wydajność zarówno w formacie PCIe, jak i SXM.

Różnica między L40S a H100 podkreśla strategiczną dywergencję w projektowaniu GPU dla centrów danych. H100 to karta skoncentrowana wyłącznie na obliczeniach, zoptymalizowana wyłącznie pod kątem sztucznej inteligencji i obciążeń obliczeniowych o wysokiej wydajności. Jej celem jest szkolenie sztucznej inteligencji na dużą skalę, gdzie priorytetem jest maksymalna przepustowość obliczeniowa. Każdy aspekt jej konstrukcji, od ogromnej przepustowości pamięci HBM2e po wyspecjalizowane rdzenie Tensor, został zaprojektowany z myślą o najbardziej wymagających scenariuszach szkolenia sieci neuronowych.

Z kolei L40S to uniwersalny procesor graficzny zaprojektowany z myślą o wszechstronności, przeznaczony do wnioskowania AI, a także do zadań wymagających dużej mocy obliczeniowej i wdrożeń NVIDIA vGPU. Choć stanowi on kompetentne i ekonomiczne rozwiązanie do wnioskowania AI, jego prawdziwą siłą jest obsługa szerokiej gamy aplikacji wymagających dużej mocy obliczeniowej, do których H100 po prostu nie jest stworzony.

Obciążenia intensywnie korzystające z grafiki i aplikacje profesjonalne

L40S doskonale sprawdza się w wielu dziedzinach wymagających dużej mocy obliczeniowej i zaawansowanych możliwości renderowania. W dziedzinie renderowania i animacji 3D studia wykorzystują L40S do renderowania złożonych scen, gdzie rdzenie RT przyspieszają obliczenia ray tracingu, co byłoby niemożliwe na procesorach graficznych opartych wyłącznie na mocach obliczeniowych. Studia filmowe i telewizyjne wykorzystują te możliwości do prewizualizacji w czasie rzeczywistym, umożliwiając reżyserom i operatorom oglądanie fotorealistycznych renderów scen CGI podczas filmowania, co znacząco skraca czas i obniża koszty postprodukcji.

Firmy architektoniczne i inżynieryjne wykorzystują kartę L40S do wizualizacji architektonicznej i projektowania produktów w czasie rzeczywistym, umożliwiając klientom przeglądanie fotorealistycznych wizualizacji budynków lub analizowanie szczegółowych prototypów produktów przed rozpoczęciem budowy. Profesjonalne możliwości graficzne karty sprawiają, że idealnie nadaje się ona również do stacji roboczych CAD, gdzie inżynierowie potrzebują zarówno mocy obliczeniowej do przeprowadzania złożonych symulacji, jak i akceleracji grafiki, aby zapewnić płynną i wierną pracę w widoku.

W sektorze mediów i rozrywki, L40S napędza farmy renderujące przetwarzające klatki animacji o finalnej jakości. Jednocześnie, jego możliwości vGPU umożliwiają kreatywne przepływy pracy w chmurze, gdzie artyści mogą zdalnie uzyskiwać dostęp do wydajnych stacji roboczych. W zakładach zajmujących się edycją wideo i postprodukcją, L40S jest wykorzystywany do przetwarzania efektów w czasie rzeczywistym, gradacji kolorów i kompozycji, które wymagają zarówno akceleracji grafiki, jak i znacznych zasobów obliczeniowych.

Rynek infrastruktury wirtualnych pulpitów (VDI) stanowi kolejny kluczowy obszar zastosowań, w którym technologia vGPU komputera L40S umożliwia wielu użytkownikom współdzielenie zasobów GPU w celu obsługi wirtualnych pulpitów z akceleracją graficzną. Dzięki temu profesjonalne możliwości graficzne są dostępne w środowiskach korporacyjnych bez konieczności przydzielania poszczególnych procesorów GPU każdemu użytkownikowi.

Ewolucja w kierunku szkolenia sztucznej inteligencji opartego na fizyce

Co ważniejsze, L40S oferuje możliwości, których H100 zupełnie nie posiada. Kluczowym wyróżnikiem L40S są 142 rdzenie RT trzeciej generacji, które umożliwiają śledzenie promieni w czasie rzeczywistym i fotorealistyczne renderowanie. Chociaż H100 nie posiada rdzeni RT i nie obsługuje akceleracji grafiki, rdzenie RT w L40S sprawiają, że jest to oczywisty wybór dla aplikacji wymagających zarówno obliczeń AI, jak i zaawansowanej grafiki.

To rozróżnienie staje się coraz bardziej istotne w obliczu rosnącej popularności modelowania 3D generowanego przez sztuczną inteligencję, symulacji cyfrowych bliźniaków oraz procesów roboczych opartych na Universal Scene Description (OpenUSD). Kolejny krok w rozwoju sztucznej inteligencji to nie tylko trenowanie większych modeli językowych, ale także tworzenie modeli świata, które rozumieją fizykę, zależności przestrzenne i interakcje w świecie rzeczywistym. Ta ewolucja wymaga fundamentalnej zmiany w podejściu do generowania danych szkoleniowych.

Podczas gdy trenowanie tradycyjnych modeli AI w dużej mierze opiera się na flagowych procesorach graficznych NVIDIA, trenowanie kolejnej generacji modeli świata osadzonego fizycznie wymaga innego podejścia. Te zaawansowane systemy AI potrzebują ogromnych ilości danych treningowych, które rejestrują nie tylko informacje wizualne, ale także właściwości fizyczne, zachowanie oświetlenia, interakcje materiałów i relacje przestrzenne. Procesory graficzne, takie jak L40S, stają się niezbędne do generowania danych treningowych na dużą skalę, gdzie ich rdzenie RT umożliwiają tworzenie fizycznie dokładnych środowisk syntetycznych, stanowiących podstawę do trenowania bardziej zaawansowanych modeli AI.

Możliwość zaawansowanego renderowania grafiki, wspomagana przez dedykowane rdzenie RT, to właśnie to, co czyni L40S idealnym silnikiem dla platformy Omniverse firmy NVIDIA i szerszego ekosystemu rozwoju sztucznej inteligencji opartej na fizyce.

Omniverse

Omniverse to platforma programistyczna API, SDK i usług, która umożliwia programistom tworzenie aplikacji i przepływów pracy w oparciu o Universal Scene Description (OpenUSD). Została zaprojektowana z myślą o tworzeniu i łączeniu fizycznie dokładnych, wirtualnych światów 3D w czasie rzeczywistym. Osiągnięto to dzięki integracji technologii NVIDIA RTX do fotorealistycznego renderowania z wykorzystaniem ray tracingu bezpośrednio z procesami symulacji przemysłowych i robotycznych. Platforma L40S, dzięki wydajnym rdzeniom RT, zapewnia niezbędną akcelerację sprzętową do obsługi tych wymagających obciążeń renderowania RTX, umożliwiając programistom symulowanie światła, materiałów i fizyki z oszałamiającym realizmem.

Omniverse to coś więcej niż tylko narzędzie do wizualizacji – to platforma do tworzenia kolejnej generacji fizycznej sztucznej inteligencji (AI). Tworząc te realistyczne wirtualne światy, czyli „cyfrowe bliźniaki”, programiści mogą symulować złożone obiekty przemysłowe, testować całe floty robotów i weryfikować autonomiczne pojazdy w bezpiecznym, wirtualnym środowisku przed wdrożeniem w świecie rzeczywistym. Co najważniejsze, te symulacje o wysokiej wierności stają się podstawą do generowania ogromnych ilości syntetycznych danych fizycznych; kluczowego zasobu do trenowania wydajnych modeli AI, które działają na procesorach graficznych zorientowanych na moc obliczeniową.

Generowanie syntetycznego ruchu manipulacyjnego dla robotyki

Projekt NVIDIA Isaac GR00T do generowania syntetycznych ruchów manipulacyjnych stanowi platformę do szkolenia robotów, demonstrując, jak możliwości rdzenia RT L40S umożliwiają tworzenie dużych zbiorów danych na podstawie minimalnej liczby demonstracji z udziałem człowieka. Ten obieg pracy rozwiązuje jedno z kluczowych wyzwań w rozwoju robotyki: czasochłonny i kosztowny proces gromadzenia wystarczającej ilości wysokiej jakości danych szkoleniowych do zadań manipulacyjnych robotów.

Tradycyjne szkolenia robotyki opierają się w dużej mierze na uczeniu się nadzorowanym lub naśladowaniu, gdzie roboty nabywają nowych umiejętności poprzez obserwację i naśladowanie eksperckich demonstracji wykonywanych przez ludzi. Jednak stworzenie idealnych demonstracji jest trudne, a gromadzenie obszernych, wysokiej jakości zbiorów danych w świecie rzeczywistym jest żmudne, czasochłonne i kosztowne. Odpowiednio przeszkolony operator zazwyczaj potrzebuje około minuty na nagranie pojedynczej, wysokiej jakości demonstracji, co jest trudne do skalowania ze względu na wymagany znaczny nakład pracy ludzkiej i potencjalne błędy.

Projekt Isaac GR00T rozwiązuje ten problem, wykorzystując syntetyczne dane generowane z fizycznie dokładnych symulacji, aby przyspieszyć proces gromadzenia danych. Organizacje mogą zebrać wykładniczo więcej danych, po zaledwie kilku godzinach demonstracji z udziałem ludzi.

Plan Isaac GR00T składa się z trzech kluczowych komponentów, które współdziałają ze sobą, tworząc kompleksowy proces generowania syntetycznych danych:

• GR00T-Teleop Umożliwia wykwalifikowanym operatorom sterowanie wirtualnymi robotami za pomocą urządzeń do obliczeń przestrzennych, takich jak Apple Vision Pro. System ten pozwala operatorom demonstrować złożone zadania manipulacyjne w fotorealistycznych środowiskach wirtualnych, rejestrując nie tylko trajektorie ruchu, ale także kontekst otoczenia i interakcje obiektów. Apple Vision Pro przesyła strumieniowo dane śledzenia dłoni do Isaac Lab, które jednocześnie przesyła immersyjny widok otoczenia robota z powrotem do urządzenia, umożliwiając intuicyjne i interaktywne sterowanie robotem.
• GR00T-Mimik Komponent wykorzystuje nagrane demonstracje i mnoży je do większych syntetycznych zbiorów danych, wykorzystując zaawansowane techniki symulacji. Ten komponent wykorzystuje nagrane demonstracje jako dane wejściowe do generowania dodatkowych syntetycznych trajektorii ruchu w Isaac Lab, obsługując zarówno manipulację robotem humanoidalnym jednoramiennym, jak i dwuręcznym. Proces ten obejmuje adnotację kluczowych punktów demonstracji i interpolację w celu zapewnienia płynności i adekwatności syntetycznych trajektorii do kontekstu.
• GR00T-Gen Wykorzystuje platformy NVIDIA Omniverse i Cosmos do rozbudowy syntetycznych zestawów danych poprzez skalowanie 3D i randomizację domen. Ten komponent zapewnia dodatkową różnorodność poprzez losową zmianę tła, oświetlenia i innych zmiennych w scenie. Rozszerza generowane obrazy za pomocą NVIDIA Cosmos Transfer, osiągając fotorealizm, który pomaga zredukować różnicę między symulacją a rzeczywistością.

Ten potok doskonale ilustruje wyspecjalizowane, uzupełniające się role nowoczesnych procesorów graficznych (GPU) w centrach danych. L40S, z dedykowanymi rdzeniami RT, pełni rolę konstruktora świata. Jest niezbędny na początkowych etapach generowania danych, gdzie obsługuje renderowanie oparte na fizyce, śledzenie promieni w czasie rzeczywistym oraz randomizację domen, niezbędne do stworzenia fotorealistycznego i zróżnicowanego środowiska wirtualnego.

Ten wirtualny świat o wysokiej wierności staje się następnie kanwą dla kolejnego etapu generacji. Generatywne modele sztucznej inteligencji, takie jak te w NVIDIA Cosmos , są uruchamiane na procesorach graficznych zorientowanych na obliczenia, takich jak H100, w celu wygenerowania ostatecznych danych treningowych. H100 wykorzystuje realistyczne środowisko stworzone przez L40S do generowania milionów dynamicznych, fizycznych scenariuszy.

Testy wydajności wnioskowania AI

Innym zastosowaniem, w którym karty takie jak L40S cieszą się popularnością, jest ekonomiczne wnioskowanie. Aby ocenić rzeczywiste możliwości wnioskowania AI karty L40S w porównaniu z kartą H100, przeprowadziliśmy testy wydajności LLM przy użyciu vLLM z modelem parametrów Nemotron 14B firmy Nvidia w trybie BF16 i z maksymalną długością tokena 32 tys. 

Wyniki testów porównawczych vLLM

Model H100 wyraźnie przoduje w wydajności, zapewniając około 4.2 razy wyższą przepustowość niż L40S. Ta przewaga wynika bezpośrednio z podwojonej wydajności rdzenia Tensor Core i ponad dwukrotnie większej przepustowości pamięci (2 TB/s w porównaniu z 864 GB/s) w modelu H100. 

Jednak stosunek wydajności do ceny przedstawia inny obraz. Model L40S zazwyczaj kosztuje mniej niż jedną trzecią ceny modelu H100, co czyni go bardziej opłacalnym w przypadku wielu obciążeń inferencyjnych. Organizacje korzystające z usług inferencyjnych, w których absolutna wydajność szczytowa nie jest kluczowa, często przekonują się, że model L40S zapewnia niższy całkowity koszt posiadania.

Po dwukrotnym kliknięciu sekcji dotyczącej wydajności liniowej zobaczymy, że L40S zapewnia bardzo akceptowalny poziom wydajności, będąc w stanie obsłużyć 16 równoczesnych żądań ze wskaźnikiem czasu TPOT (Time Per Output Token) wynoszącym około 52 ms.

Istotnym czynnikiem, na który należy zwrócić uwagę, jest fakt, że wnioskowanie AI, a w szczególności faza dekodowania generowania tekstu, jest zasadniczo operacją intensywnie wykorzystującą przepustowość pamięci. Podczas wnioskowania model musi wielokrotnie uzyskiwać dostęp do wag przechowywanych w pamięci GPU, aby wygenerować każdy nowy token, co sprawia, że ​​przepustowość pamięci stanowi krytyczne wąskie gardło wydajności. Ta cecha wyjaśnia, dlaczego H100, dzięki swojej wyższej przepustowości pamięci i zwiększonej wydajności rdzenia Tensor, naturalnie osiąga wyższą przepustowość wnioskowania.

Jednak w przypadku scenariuszy wdrożeniowych wymagających zarówno wnioskowania AI, jak i przyspieszenia grafiki, takich jak renderowanie w czasie rzeczywistym z efektami wspomaganymi przez AI czy interaktywne aplikacje z funkcjami obsługiwanymi przez AI, L40S staje się jedyną sensowną opcją.

Wniosek

NVIDIA L40S i najnowsza następczyni Blackwell RTX Pro 6000 to strategicznie pozycjonowane procesory graficzne, które odpowiadają rosnącym potrzebom nowoczesnych centrów danych, gdzie obliczenia AI i zaawansowane możliwości graficzne coraz częściej się przenikają. Podczas gdy karty graficzne klasy H100 i B200 pozostają niekwestionowanymi liderami w zakresie obciążeń związanych z czystym szkoleniem i wnioskowaniem AI, L40S tworzy odrębną i cenną niszę jako uniwersalny procesor graficzny, który wypełnia lukę między kartami AI zorientowanymi na obliczenia a tradycyjnymi profesjonalnymi rozwiązaniami wizualizacyjnymi.

Unikalna propozycja wartości L40S staje się najbardziej widoczna w scenariuszach wymagających zarówno możliwości wnioskowania AI, jak i akceleracji grafiki. Jego 142 rdzenie RT trzeciej generacji umożliwiają realizację aplikacji, które są po prostu niemożliwe na procesorach graficznych o charakterze obliczeniowym, takich jak H100, od śledzenia promieni w czasie rzeczywistym w profesjonalnych procesach roboczych po fotorealistyczne generowanie danych syntetycznych do szkolenia AI nowej generacji. Ta podwójna funkcjonalność sprawia, że ​​jest on niezastąpiony w nowych zastosowaniach w zakresie tworzenia cyfrowych bliźniaków, szkolenia AI opartego na fizyce oraz rozwijającego się ekosystemu Omniverse.

Z ekonomicznego punktu widzenia, L40S oferuje atrakcyjną wartość dla organizacji, które nie wymagają absolutnie najwyższej wydajności AI, jaką oferuje H100. Przy cenie stanowiącej około jedną trzecią ceny H100, L40S zapewnia przyzwoitą wydajność wnioskowania, a jednocześnie oferuje funkcje graficzne, które zapewniają ogromną wszechstronność wdrożeniom w centrach danych. Dla wielu organizacji to połączenie opłacalności i wszechstronności sprawia, że ​​L40S jest bardziej praktycznym wyborem niż inwestowanie w oddzielne rozwiązania AI i graficzne.

Karta danych L40S

Tabela wyników: Model L40S został uznany za najlepszy procesor graficzny do wnioskowania głównego nurtu, który wciąż jest dostępny w naszej tabeli najlepszych procesorów graficznych dla przedsiębiorstw , sklasyfikowany na podstawie wyników obsługi vLLM.