Recenzja karty NVIDIA RTX PRO 4500 Blackwell Server Edition: przepustowość L40S na poziomie 165 W w jednym slocie

NVIDIA RTX PRO 4500 Blackwell Server Edition to karta graficzna firmy NVIDIA stworzona z myślą o serwerach, które większość przedsiębiorstw już posiada. To jednoslotowa, chłodzona pasywnie karta o mocy 165 W z 32 GB pamięci GDDR7 i pełnym zestawem funkcji Blackwell: rdzeniami Tensor piątej generacji z FP4, rdzeniami RT czwartej generacji, trzema enkoderami i trzema dekoderami oraz obsługą wielu instancji GPU, co pozwala na podział karty na dwie izolowane partycje o pojemności 16 GB. Zastępuje ona L4 jako punkt wejścia do oferty serwerów NVIDIA RTX PRO i pasuje do systemów PowerEdge, ProLiant lub ThinkSystem 2U bez obaw o zasilanie czy chłodzenie.

NVIDIA argumentuje, że karta jest odpowiednia pod względem rozmiaru: większość przedsiębiorstw nie buduje fabryk sztucznej inteligencji; zarządzają chłodzonymi powietrzem, zdegradowanymi centrami danych z twardymi ograniczeniami mocy w szafach rack i potrzebują pierwszego kroku w przyspieszonych obliczeniach, który nie wymaga nowej klasy serwera. Albo pracują na brzegu sieci, gdzie RTX PRO 4500 lepiej radzi sobie z obciążeniami i ograniczeniami mocy, które zazwyczaj determinują, co można wdrożyć.

Karta RTX PRO 6000 Blackwell plasuje się na szczycie tego rynku, oferując 96 GB pamięci i moc do 600 W. Model 4500 zachowuje tę samą architekturę i redukuje wszystkie inne parametry mniej więcej o połowę, dzięki czemu klienci z mniejszymi modelami, wieloma mniejszymi zadaniami lub budżetem skalowalnym w przeliczeniu na dolara za wat otrzymują kartę Blackwell bez konieczności płacenia za przestrzeń, której nie wykorzystają.

Obciążenia dla tej klasy GPU są dobrze znane: wnioskowanie modeli małych języków, sztuczna inteligencja wizyjna i analiza wideo, wyszukiwanie i generowanie osadzania wektorów, transkodowanie oraz wirtualne stacje robocze w ramach vGPU 20. Zapewnia on ponad 5-krotnie większą wydajność L4 w przypadku wnioskowania modeli małych i średnich rozmiarów oraz do 10-krotnie większą w przypadku modeli Nemotron. Partnerami wdrożeniowymi są NTT DATA (wideo na krawędzi sieci), Pacific Biosciences (sekwencjonowanie) i Nokia (stacje bazowe AI-RAN). AWS zbudował na nim swoje nowe instancje G7 jako zamiennik G6.

Przetestowaliśmy już kartę w porównaniu z L4 w serwerze HPE ProLiant DL145 Gen11 w naszej recenzji RTX PRO 4500 Edge , gdzie zapewniła 2.7-krotnie większą przepustowość niż L4. Niniejsza recenzja odpowiada na pytanie, jak bardzo zbliża się do 350-watowego, dwuslotowego L40S, który przez dwa lata był domyślną kartą inferencyjną, oraz jakie dodatkowe zasoby pamięci i mocy oferuje karta RTX PRO 6000, która jest na niej wyższa.

Aby się tego dowiedzieć, zestawiliśmy kartę 4500 z serwerem Dell PowerEdge R770 z modelami L40S i L4, dodaliśmy dane z karty RTX PRO 6000 Blackwell z karty Dell Pro Max Tower T2 przy domyślnym poborze mocy 600 W i maksymalnym poborze mocy 450 W, który odpowiada poborowi mocy w gnieździe GPU w serwerze R770, a następnie uruchomiliśmy usługę vLLM online na czterech modelach przy dwóch długościach kontekstu.

Krótko mówiąc, przy typowych długościach czatu i kontekstu agenta, 4500 dotrzymuje kroku układowi L40S w modelach FP8 i BF16, zużywając mniej niż połowę energii; przy wejściu 8K bufor ramki o pojemności 32 GB pokazuje swoje granice; a NVFP4, precyzja, z jaką NVIDIA przewodzi w swojej ofercie Blackwell, działa na równi z resztą serii w tej konfiguracji vLLM.

Na wynos

• Przepustowość L40S przy 165 W w jednym slocie: Przy 512 wejściach i wyjściach żetonów karta 4500 dorównywała lub przewyższała kartę L40S na każdym testowanym przez nas modelu FP8 i BF16, osiągając wynik 1,107 w porównaniu do 995 żetonów/s w przypadku karty Ministral 3 14B FP8 oraz 2,006 w porównaniu do 1,988 żetonów/s w przypadku karty Ministral 3 3B, przy wykorzystaniu karty o mocy stanowiącej 47 procent mocy karty L40S i zajmującej połowę jej gniazd.
• Około 3 razy większy od L4, który zastępuje: Od 2.8x do 3.6x przepustowości wyjściowej L4 przy krótkim kontekście i 2.3x poboru mocy przez płytę L4.
• 32GB ma limit: Przy wejściu 8K procesor 4500 pozostawał w tyle za procesorem L40S o 17–33 procent, a jego krzywe spłaszczyły się przy współbieżności 8, podczas gdy procesor L40S wzrastał do 16. Spłaszczenie wynika z wyczerpania pamięci podręcznej KV, a limit ten wyznacza 32 GB.
• NVFP4 to historia oprogramowania, widoczna na każdej karcie: W systemie Qwen3.8-27B NVFP4 układ 4500 wygenerował 320 tokenów/s przy współbieżności 32, L40S 480 bez żadnego sprzętu FP4, a RTX PRO 6000 621. Ścieżka NVFP4 w tej kompilacji vLLM nie skaluje się wraz z przepustowością pamięci na żadnym z nich, podczas gdy analiza MAMF pokazuje, że sprzęt FP4 układu 4500 osiągnął 568.6 TFLOPS w porównaniu z 280.1 w FP8.
• Co można kupić za większą kartę: Z limitem 450 W, czyli maksymalnym poborem mocy przez slot GPU Dell R770, karta RTX PRO 6000 działała około 2 razy szybciej niż 4500 przy krótkim kontekście i 2.5-3.2 razy szybciej w rozdzielczości 8K. Pełna moc 600 W zwiększała o 1-2 procent w krótkim kontekście i o 4-9 procent w długim kontekście, więc większość tego, co karta 6000 oferuje w porównaniu z 4500, to pamięć.

Specyfikacja NVIDIA RTX PRO 4500 Blackwell Server Edition

Dwie karty noszą nazwę RTX PRO 4500 Blackwell i są podobne, ale nie są tym samym produktem. Wersja Workstation Edition, zapowiedziana na targach GTC 2025, to 200-watowa, dwuslotowa, aktywnie chłodzona karta z czterema wyjściami DisplayPort i przepustowością pamięci 896 GB/s. Recenzowana przez nas wersja Server Edition pojawiła się na targach GTC 2026 jako 165-watowa, jednoslotowa, pasywna karta bezgłowa o przepustowości 800 GB/s, która oferuje zestaw funkcji dla centrów danych: MIG, poufne przetwarzanie, trzeci NVENC i NVDEC oraz obsługę vGPU 20. Pod spodem mają ten sam 10 496-rdzeniowy procesor graficzny i 32 GB pamięci GDDR7 z korekcją ECC.

Dane firmy NVIDIA wskazują, że układ składa się z 45.6 miliarda tranzystorów na 378 mm² niestandardowego krzemu TSMC 4 nm z 82 rdzeniami RT czwartej generacji, co daje 82 rdzenie SM i 328 rdzeni Tensor. Są to wartości GB203, tej samej rodziny układów co RTX 5080, z niewielkimi zmianami. Poniższe wartości Tensor to wartości szczytowe firmy NVIDIA z uwzględnieniem rozrzedzenia; gęstość to połowa, co potwierdza własny wykres binarny NVIDIA peakTOPS, który wynosi 805 TFLOPS dla FP8 i 403 TFLOPS dla FP16 zmierzonych na tej karcie.

Specyfikacja	RTX PRO 4500 Blackwell SE	L4	L40S	RTX PRO 6000 Blackwell SE
Omówienie platformy
Architektura	NVIDIA Blackwell	NVIDIA Ada Lovelace	NVIDIA Ada Lovelace	NVIDIA Blackwell
Rdzenie CUDA	10,496	7,424	18,176	24,064
Rdzenie RT	82 (4. generacja)	58 (3. generacja)	142 (3. generacja)	188 (4. generacja)
Pamięć GPU	32 GB pamięci GDDR7 z funkcją ECC	24GB GDDR6	48 GB pamięci GDDR6 z funkcją ECC	96 GB pamięci GDDR7 z funkcją ECC
Interfejs pamięci	256-bit	192-bit	384-bit	512-bit
Przepustowość pamięci	800GB / s	300GB / s	864GB / s	1,597GB / s
Wydajność (szczytowe wartości NVIDIA, wskaźniki tensora z rzadkością)
FP32	X TFTPS	X TFTPS	X TFTPS	X TFTPS
Tensor FP16 / BF16	X TFTPS	X TFTPS	X TFTPS	1 PFLOPS
Tensor FP8	X TFTPS	X TFTPS	X TFTPS	2 PFLOPS
Tensor FP4	1.6 PFLOPS	Nie jest obsługiwany	Nie jest obsługiwany	4 PFLOPS
Wydajność rdzenia RT	X TFTPS	Nie wymienione	X TFTPS	X TFTPS
Moc i współczynnik kształtu
Maksymalna moc płyty	165W	72W	350W	Do 600 W (konfigurowalne)
Form Factor	Pojedynczy slot, FHFL 4.4 "x 10.5"	Pojedynczy slot, HHHL	Podwójny slot, FHFL 4.4 "x 10.5"	Podwójne gniazdo, FHFL (powietrzne) Pojedynczy slot, FHXL (płynny)
Termiczny	Pasywny	Pasywny	Pasywny	Pasywne (powietrzne) lub ciekłe
Złącze zasilania	1x PCIe CEM5 16-pin	Zasilany przez slot	1x 16-pin	1x PCIe CEM5 16-pin
Połączyć się	PCIe 5.0 x16	PCIe 4.0 x16	PCIe 4.0 x16	PCIe 5.0 x16
Waga	1,055g	Nie wymienione	Nie wymienione	Nie wymienione
Udogodnienia
Wieloinstancyjny procesor graficzny	Do 2x 16 GB	Nie	Nie	Do 4x 24 GB
NVENC / NVDEC	3x / 3x	2x / 4x	3x / 3x	4x / 4x
Poufne przetwarzanie danych	Utrzymany	Nie	Nie	Utrzymany
Obsługa vGPU	Tak (vGPU 20)	Tak	Tak	Tak

Zaprojektuj i zbuduj

Wersja serwerowa 4500 to płyta o pełnej wysokości i pełnej długości, mierząca 4.4 cala wysokości i 10.5 cala długości, zajmująca jedno gniazdo. To istotna zmiana w porównaniu z wersją L4, która była kartą o połowie wysokości i połowie długości. Wersja L4 nadal jest porównywalna z poprzednimi wersjami, ale jej format został zmieniony na FHFL, aby zrobić miejsce na pamięć, 16-pinowe wejście zasilania oraz radiator, który może odprowadzić 165 W mocy tylko dzięki przepływowi powietrza w obudowie.

Ten współczynnik kształtu to jedyna prawdziwa różnica w porównaniu z L4, który pasował do każdego gniazda HHHL i pobierał z niego 72 W mocy, dzięki czemu trafił do serwerów 1U i małych skrzynek brzegowych. Model 4500 ma pełną wysokość, pełną długość i wymaga 16-pinowego kabla, a popularne serwery 1U, z którymi pracujemy, w tym obecna linia 1U PowerEdge firmy Dell, oferują karty HHHL lub FHHL bez tego złącza.

W praktyce jest to karta 2U lub jedna z niewielu białych obudów 1U zbudowanych wokół gniazd FHFL, więc sklep, który kupił karty L4 do obudów 1U lub krawędziowych, nie otrzyma gotowego zamiennika.

Ułożone krawędziami do siebie, z L4 nad nim i L40S pod nim, urządzenie 4500 wymaga jednego gniazda, podczas gdy L40S wymaga dwóch, dlatego serwer 2U, który obsługuje cztery karty o podwójnej szerokości, może pomieścić osiem takich gniazd, a instancje G7 firmy AWS obsługują do ośmiu takich gniazd na hosta.

Zasilanie jest dostarczane przez pojedyncze, 16-pinowe złącze PCIe CEM5, takie samo jak w karcie RTX PRO 6000, bez dodatkowego, 8-pinowego złącza. Chłodzenie jest całkowicie pasywne, więc karta jest zależna od wentylatorów serwera i będzie dławić się w obudowie, która nie może przepływać przez nią powietrzem, co jest normalne dla tej klasy kart graficznych. Wszystkie inne procesory graficzne mają takie same wymagania.

Karta nie posiada wyjść wideo, więc grafika, niezależnie od tego, czy chodzi o wirtualne stacje robocze vGPU, czy renderowanie, jest przesyłana przez sieć, a wspornik jest wentylowany. Trzy silniki NVENC dziewiątej generacji i trzy silniki NVDEC szóstej generacji dodają kodowanie i dekodowanie 4:2:2 H.264 i HEVC w porównaniu z generacją L4, a NVIDIA deklaruje dwukrotnie większą przepustowość dekodowania H.264 na silnik NVDEC w porównaniu z L4. Poniższy rysunek wspornika uwidacznia ten podział: L4 i 4500 mają tylko otwory wentylacyjne, podczas gdy L40S i RTX PRO 6000 Workstation Edition mają po cztery wyjścia DisplayPort.

Gdzie pasuje karta RTX PRO 4500 Blackwell Server Edition

Firma NVIDIA twierdzi, że „centralną wartością karty jest połączenie sztucznej inteligencji, mocy obliczeniowej, grafiki i akceleracji wideo w 165-watowej, pasywnej, jednoslotowej konstrukcji”, stworzonej z myślą o serwerach, „w których gęstość szafy, zużycie energii i chłodzenie stanowią główne ograniczenia wdrożeniowe”. Karta ta znajduje się w segmencie, który NVIDIA określa jako główny segment centrów danych i urządzeń brzegowych oferty serwerów RTX PRO, poniżej modelu RTX PRO 6000 Blackwell Server Edition i powyżej niczego; jest to punkt wejścia do linii serwerów Blackwell.

W przypadku L4, NVIDIA podaje nawet 10-krotny wzrost w wnioskowaniu na małych modelach za pomocą swoich modeli Nemotron Nano (NVFP4 w procesorze 4500 w porównaniu z FP8 w procesorze L4), do 4-krotnego w podsumowaniu wideo za pomocą Cosmos Reason 2, 1.9-krotnego w SPECviewperf 15 w rozdzielczości 4K i 1.8-krotnej gęstości strumieniowania. W przypadku procesorów, NVIDIA podaje nawet 50-krotny wzrost w pracy z wektorową bazą danych z cuVS CAGRA w Milvus i do 100-krotnego w przypadku sztucznej inteligencji wizyjnej, oba wyniki mierzone na serwerach 4500 z ośmioma kartami w porównaniu z systemami z dwoma gniazdami EPYC 9654.

Zespół ds. serwerów Dell poinformował nas, że widzi kartę 4500 w popularnych szafach rack, ponieważ trzy karty 4500 o pojemności 32 GB kosztują prawie tyle samo, co jedna karta 6000 o pojemności 96 GB, a w tym przypadku zazwyczaj wygrywa większa karta. Jest to karta przeznaczona do serwera, który w przeciwnym razie nie miałby procesora graficznego ani procesora L4, i nie jest optymalnym rozwiązaniem dla serwera zaprojektowanego do obsługi jednej lub kilku kart 6000.

Konfiguracja testowa

Zainstalowaliśmy karty 4500, L40S i L4 w naszym serwerze Dell PowerEdge R770, skonfigurowanym z dwoma procesorami Intel Xeon 6787P (po 86 rdzeni każdy) i 2 TB pamięci DDR5-6400 w 32 modułach DIMM, ze sterownikiem NVIDIA 595.71.05. Do testów użyliśmy kontenera NGC vLLM 26.08-py3, który zawiera vLLM 0.27.1 na CUDA 13.4.1, dzięki czemu stos oprogramowania jest identyczny dla wszystkich kart. Każda karta została przetestowana indywidualnie przy domyślnym limicie poboru mocy, a model R770 podaje każdej karcie pełną moc: Dell podaje moc L4 na poziomie 72 W, 4500 na poziomie 165 W, a L40S na poziomie 350 W w tej obudowie.

Karta RTX PRO 6000 Blackwell to karta do stacji roboczej w naszym Dell Pro Max Tower T2, w tej samej obudowie i ze sterownikiem. NVIDIA ocenia pobór mocy w wersjach do stacji roboczej i serwera identycznie, przy 600 W, i w naszych testach ich profile są takie same, więc karta ta zastępuje kartę serwerową. Nawiasem mówiąc, mamy recenzję kart serwerowych RTX PRO 6000 w obudowie XE7740, jeśli chcesz dowiedzieć się, jak te karty się skalują.

Przetestowaliśmy 6000 dwukrotnie: raz z domyślnym poborem mocy 600 W, a raz ze zweryfikowanym limitem 450 W, podanym przez nvidia-smi, ponieważ 450 W to maksymalna moc, jaką R770 może dostarczyć do 6000 w slocie GPU, i to właśnie tę wartość powinien porównać kupujący, wybierając między 4500 a 6000 dla typowego serwera 2U. Platforma hosta różni się w przypadku 6000, ale przy tych obciążeniach związanych z obciążeniem GPU, procesor i topologia PCIe wpływają na wynik znacznie mniej niż limit mocy.

Użyliśmy testu porównawczego obsługi online vLLM na poziomach współbieżności 1, 2, 4, 8, 16 i 32 z dwoma kształtami żądań: 512 tokenów wejściowych i 512 tokenów wyjściowych, co przybliża czat i krótkie tury agentów, oraz 8,192 tokeny wejściowe i 1,024 tokeny wyjściowe, co przybliża pracę RAG i dokumentów, gdzie dominuje wstępne wypełnianie i wypełnianie pamięci podręcznej KV. Modele zostały dobrane tak, aby pasowały do ​​najmniejszej karty w grupie, jeśli to możliwe, więc 24 GB pamięci L4 wyznacza dolną granicę: Ministral 3 3B Reasoning i Ministral 3 8B Reasoning w BF16, Ministral 3 14B Instruct w FP8 oraz Qwen 3.8-27B w NVFP4, co pasuje do kart 32 GB i większych, ale nie do L4.

Raportujemy przepustowość tokenów wyjściowych na każdym poziomie współbieżności i cytujemy całkowitą przepustowość, w tym tokeny wstępnego wypełniania, tam gdzie zmienia to sytuację.

Czego tu nie ma: większych modeli, które mogą pomieścić jedynie karty o pojemności 48 GB i większe, partycjonowania MIG, vGPU, transkodowania wideo, pomiaru poboru mocy, konfiguracji z dwiema kartami 4500 i kart centrów danych wyższych klas.

Maksymalna osiągalna liczba flopów Matmul (MAMF)

MAMF to test GEMM z ciągłą gęstością, który raportuje najwyższą przepustowość matmul, jaką karta osiąga w każdej precyzji, co czyni go najłatwiejszym sposobem sprawdzenia, czy sprzęt FP4 działa, gdy stos obsługujący jest wyłączony. Model 4500 osiągnął 135.9 TFLOPS w BF16, 280.1 w FP8 i 568.6 w NVFP4, a każdy spadek precyzji był bliski podwojenia przepustowości. W porównaniu z wartościami szczytowymi gęstości NVIDII wynoszącymi 202, 406 i 811 TFLOPS, stanowi to od 67% do 70% wartości szczytowej przy każdej precyzji i pokrywa się z wynikami cuBLAS firmy NVIDIA dla karty wynoszącymi 133, 275 i 534 TFLOPS.

RTX PRO 6000 skalował się podobnie, osiągając 398.9, 773.9 i 1,480.9 TFLOPS przy 600 W, 2.6x do 2.9x 4500 we wszystkich trzech precyzjach, co jest zgodne z przewidywaniami rozmiaru rdzenia i budżetu mocy. Przy maksymalnej mocy 450 W osiągnął 368.6, 772.4 i 1,413.1: FP8 nie zmienił się, BF16 stracił 8 procent, a NVFP4 stracił 5 procent, co oznacza, że ​​ścieżka tensorowa FP8 6000 znajduje się poniżej 450 W w tym teście, a pozostałe dwie precyzje tylko muskają sufit. L40S osiągnął 220.0 i 368.6 TFLOPS w BF16 i FP8, a L4 osiągnął 50.1 i 115.8; żadna z kart Ada nie posiada sprzętu FP4 Tensor.

Przydatnym porównaniem jest wynik NVFP4 procesora 4500 z FP8 innych procesorów: 568.6 TFLOPS to 1.5 raza więcej niż maksymalny limit FP8 procesora L40S i 74% limitu procesorów 6000, z kartą 165 W. To jest przewaga FP4, widoczna na poziomie GEMM. Poniższe wyniki obsługi vLLM pokazują, że w tej kompilacji nie osiągnięto jeszcze poziomu stosu obsługi, a wynik MAMF sugeruje, że liczba obsługiwanych procesorów będzie nadal rosła w miarę nadrabiania zaległości przez jądra NVFP4.

Usługi online vLLM: krótki kontekst (512/512)

W skrócie, karta 4500 ma rację: w trzech modelach FP8 i BF16 jej przepustowość wyjściowa przy współbieżności 32 wyniosła 1,107 tokenów/s w Ministral 3 14B w porównaniu z 995 w L40S, 1,017 w porównaniu z 1,005 w Ministral 3 8B i 2,006 w porównaniu z 1,988 w Ministral 3 3B. Każda z tych wartości to karta Blackwell o mocy 165 W, dorównująca lub przewyższająca kartę Ada o mocy 350 W, a krzywe nakładają się na siebie od współbieżności 1 do 32, więc nie jest to wynik wyłącznie szczytowy. L4 osiągnął wartości 364, 279 i 704 w tych samych modelach, co daje karcie 4500 2.8x do 3.6x większą od poprzednika.

Karta RTX PRO 6000 pokazuje, co oferuje reszta budżetowej karty Blackwell. Z limitem 450 W, osiągnęła 2,161, 2,042 i 4,069 tokenów/s na tych samych trzech modelach, czyli 1.95x do 2.03x więcej niż 4500; przy pełnym 600 W, osiągnęła 2,283, 2,139 i 4,155 tokenów/s, czyli 2.06x do 2.1x. Dwie krzywe 6000 nakładają się na siebie dzięki współbieżności 16 w każdym modelu i różnią się o 2 do 5 procent tylko przy 32, więc w skrócie, ostatnie 150 W niewiele dodaje. W porównaniu z 4500, to dwukrotnie większa przepustowość niż karta z 3-krotnie większą pamięcią, a w R770, 2.7x większą mocą slotu.

Całkowita przepustowość, która obejmuje również 512 wstępnie wypełnionych tokenów na żądanie, przedstawia się następująco: 2,215 tokenów/s dla modelu 4500 w modelu 14B, 1,990 dla modelu L40S i 727 dla modelu L4, przy czym model 6000 ma limit 4,323 tokenów/s i 4,566 tokenów/s dla modelu 600W. Różnica w stosunku do modelu L4 jest największa w modelu 8B i wynosi 3.6x, a najmniejsza w modelu 3B i wynosi 2.8x, a różnica w stosunku do modelu L40S nigdy nie przekracza 12% na korzyść modelu 4500.

Obsługa online vLLM: długi kontekst (8 KB/1 KB)

Przy 8,192 tokenach wejściowych obraz się zmienia, a przyczyna jest widoczna w kształcie krzywych. W Ministral 3 14B FP8, 4500 śledzi L40S przez współbieżność 8, a następnie spłaszcza się przy około 180 tokenach/s, podczas gdy L40S kontynuuje do 230 przy współbieżności 16 i utrzymuje się na tym poziomie. Model 8B robi to samo: 185 tokenów/s dla 4500 przy 32 w porównaniu do 277 dla L40S, przy czym 4500 osiąga plateau przy 8, a L40S przy 16. W modelu 3B obie karty osiągają plateau przy 16 384 w porównaniu do 475.

Powodem jest pojemność pamięci podręcznej KV: każde współbieżne żądanie 8K wymaga obecności kontekstu na karcie, a po załadowaniu wag bufor ramki o pojemności 32 GB przechowuje ich mniej niż bufor o pojemności 48 GB. Gdy vLLM wyczerpie przestrzeń pamięci KV, przestaje dodawać użyteczną współbieżność, a przepustowość spada. Z tego powodu model 4500 ustępuje modelowi L40S o 17 do 33 procent przy współbieżności 32 w tych modelach; strona obliczeniowa nie jest wąskim gardłem, jak pokazują wyniki krótkoterminowe. Model L4, z 24 GB i 300 GB/s, jest płaski od współbieżności 4 w każdym modelu, z wartościami od 34 do 130 tokenów/s.

96 GB pamięci 6000 nigdy nie zawodzi w tym teście, a jego krzywe rosną do 32 w każdym modelu. Przy limicie 450 W osiągnął 552, 589 i 973 tokenów/s, czyli 2.5x do 3.2x więcej niż 4500; przy 600 W osiągnął 608, 639 i 1,033, czyli 2.7x do 3.5x. To właśnie tutaj pojawia się limit mocy: prefill dla długiego kontekstu dłużej ogranicza moc obliczeniową 6000, więc karta z limitem oddaje od 4 do 9 procent przy współbieżności 16 i 32, w porównaniu z 2 do 5 procent przy krótkim kontekście. Tak czy inaczej, stosunek do 4500 zwiększa się z 2x do około 3x, a powodem jest bardziej pamięć niż moc.

Jeśli Twoim zadaniem jest obsługa pytań i odpowiedzi dotyczących dokumentów, RAG w długich kontekstach lub agenci obsługujący duże dane wyjściowe narzędzi, dominującą specyfikacją jest pamięć, a 32 GB w modelu 4500 stanowi ograniczenie współbieżności. Jeśli chodzi o czat, klasyfikację lub krótkie tury agentów, to nie. Całkowita przepustowość przy 8K/1K jest zdominowana przez prefill i powtarza tę samą kolejność: 1,713 tokenów/s dla modelu 4500 w modelu 14B, w porównaniu z 2,070 dla modelu L40S i 381 dla modelu L4, przy czym model 6000 ma limit 4,971 tokenów/s i 5,474 tokenów/s przy 600 W.

NVFP4: Gdzie oprogramowanie wyznacza pułap

Qwen3.8-27B w NVFP4 to jedyny model w tej grupie, który wykorzystuje sprzęt FP4 Tensor, z którym Blackwell prowadzi, a wynik jest najbardziej płaskim zestawem krzywych w tym przeglądzie. Przy współbieżności 32 w teście krótkiego kontekstu, karta 4500 wygenerowała 320 tokenów/s na wyjściu; L40S, 480 i RTX PRO 6000 osiągnęły 621 (z limitem) i 616 przy 600 W. Przy współbieżności 1, każda karta osiągnęła od 17 do 22 tokenów/s w modelu 27B, w tym 6000 z 1.6 TB/s pamięci GDDR7, podczas gdy ta sama karta zapewnia 99 tokenów/s w pojedynczym strumieniu w modelu 14B FP8.

Karta L40S nie ma sprzętu FP4 Tensor, więc vLLM uruchamia punkt kontrolny NVFP4, dekwantyzując wagi i obliczając z wyższą precyzją, na ścieżce ograniczonej przepustowością pamięci, i pokonuje 4500 1.5-krotnie. Karta 6000, która ma ten sam sprzęt FP4 co 4500 i dwukrotnie większą przepustowość, osiąga ten sam wynik, około dwukrotnie większy od 4500, co dzieli obie karty we wszystkich pozostałych aspektach. Jej przebiegi 450 W i 600 W różnią się o 1 procent przy każdej współbieżności, więc jądro również nie jest ograniczone mocą.

Schemat obejmujący wszystkie cztery serie, z przepustowością pojedynczego strumienia, która nie zmienia się wraz z przepustowością pamięci i limitem współbieżności 32 na poziomie 480–621, niezależnie od procesora graficznego znajdującego się pod spodem, wskazuje na ścieżkę jądra NVFP4 w tej kompilacji vLLM jako limit dla każdej karty.

Przy 8K/1K, 4500 osiągnął 153 tokeny/s przy współbieżności 32, w porównaniu ze 190 dla L40S oraz 402 i 425 dla 6000 z limitem i bez limitu. To te same kształty ograniczone pamięcią podręczną KV, które pokazały modele FP8 i BF16, przy czym 96 GB pamięci 6000 ponownie jest powodem, dla którego prędkość rośnie, podczas gdy inne spadają.

NVIDIA zapewnia FP4 na tej karcie z prędkością 1,221 tokenów/s w Llama 3.1 8B przy 2K/256 i 905 tokenów/s w Nemotron 3 Nano 30B A3B w systemie TensorRT-LLM, więc sprzęt sprawdza się w stosie NVIDIA. Dane wskazują obecnie, że NVFP4 na tej karcie to historia oprogramowania vLLM, którą podziela każdy testowany przez nas procesor graficzny, a kupujący, którzy liczą na przepustowość FP4, powinni przetestować swój stos serwerowy, zanim zaczną na nim polegać.

Przepustowość na wat znamionowy

W tej rundzie nie mierzyliśmy mocy, więc tym razem dostępne obliczenia wydajności odnoszą się do limitu mocy testowanej każdej karty. Na Ministral 3 14B FP8 przy współbieżności 32, karta 4500 zapewnia 6.7 ​​tokenów wyjściowych/s na wat mocy znamionowej, w porównaniu z 2.8 dla karty L40S, 5.1 dla karty L4, 4.8 dla karty RTX PRO 6000 przy jej mocy maksymalnej 450 W i 3.8 dla karty 6000 przy mocy 600 W. W modelu 3B stosunek ten utrzymuje się na poziomie: 12.2 dla karty 4500, 5.7 dla karty L40S, 9.8 dla karty L4, 9.0 dla karty 6000 z limitem i 6.9 dla karty 6000 przy mocy 600 W.

Karta 4500 jest najwydajniejszą kartą w tej grupie, biorąc pod uwagę ten parametr w skrócie, a limitowana karta 6000 jest jedyną, która zbliża się do tego wyniku. Obniżenie mocy karty 6000 do 450 W kosztuje ją od 2 do 5 procent przepustowości i zwraca 25 procent jej budżetu mocy, dlatego jej wydajność wzrasta o jedną czwartą. Karta L4 pozostaje konkurencyjna pod tym względem, ponieważ 72 W to bardzo mały mianownik, ale potrzebuje trzy razy więcej slotów i serwerów, aby osiągnąć tę samą przepustowość, co było celem karty 4500.

Przy 8K/1K kolejność się zmienia: 4500 osiąga 1.2 tokena/s na wat mocy znamionowej w modelu 14B, limitowany 6000 – 1.2, a 600W 6000 – 1.0, a L40S – 0.7. Po wyczerpaniu pamięci podręcznej KV w 4500 jego przepustowość przestaje rosnąć, a moc znamionowa nie, więc w dłuższej perspektywie 6000 o mocy 450 W dorównuje mu pod względem wydajności i zapewnia 2.9-krotnie większą moc obliczeniową na slot.

Wniosek

Karta RTX PRO 4500 Blackwell Server Edition robi dokładnie to, co obiecuje NVIDIA: umieszcza Blackwell w slocie, budżecie mocy i obudowie klasy, która wcześniej osiągała poziom L4. Modele, które obsługują większość popularnych serwerów, instrukcje dla małych i średnich serwerów oraz modele wnioskowania w kontekście długości czatu, zapewniają przepustowość L40S z karty jednoslotowej o mocy mniejszej niż połowa mocy L40S i trzykrotnie większej niż L4.

Oczywiście istnieją pewne ograniczenia. Zaczynając od pamięci: 32 GB to wystarczająca pojemność dla modeli, do których adresowana jest ta karta, ale ogranicza to współbieżność w długim kontekście, gdzie 48 GB pamięci L40S, a zwłaszcza 96 GB pamięci 6000, znacznie ją przewyższa, a 6000 działa mniej więcej trzy razy szybciej niż 4500 przy tym samym kształcie żądania, nawet przy mocy ograniczonej do tego, co oferowałby ten sam serwer.

NVFP4, czyli najwyższa precyzja Blackwell, działa porównywalnie z kartami, które nie mają sprzętu FP4 w tym zestawie vLLM, mimo że analiza MAMF pokazuje, że sprzęt FP4 zapewnia dwukrotnie większą szybkość FP8 karty na poziomie GEMM, więc przewagę FP4 należy zweryfikować na własnym stosie, ale wyraźnie widać większy potencjał rozwoju poprzez oprogramowanie.

Każdy, kto posiada serwery 2U lub obudowę 1U z kartą FHFL i potrzebuje rozbudować możliwości wnioskowania, sztucznej inteligencji wizyjnej, transkodowania lub wirtualnej stacji roboczej bez konieczności zwiększania mocy ani chłodzenia, uzna kartę RTX PRO 4500 za idealne rozwiązanie. Co więcej, każdy, kto nadal korzysta z serwerów L4 i nie ma już 24 GB pamięci RAM, powinien być entuzjastycznie nastawiony do karty 4500. Dla organizacji, których obciążenia są na tyle rozbudowane, że wymagają 48 GB lub więcej na kartę, lepszym wyborem będzie karta RTX PRO 6000.

Firma NVIDIA dobrze postąpiła, wyznaczając dwa wyraźne obszary zastosowań dla tych kart, a model 4500 wypełnia lukę w zakresie sztucznej inteligencji między modelami L4 i 6000, pobierając przy tym zaledwie 165 W.

Tabela wyników: Karta RTX PRO 4500 Blackwell Server Edition została uznana za najlepszą kartę graficzną z jednym gniazdem w naszej tabeli najlepszych kart graficznych klasy korporacyjnej , w której znalazły się również dane dotyczące kart L40S i RTX PRO 6000 z tej recenzji.

NVIDIA RTX PRO 4500 Blackwell Server Edition