NVIDIA RTX PRO 4500 Blackwell Server Edition je karta, kterou NVIDIA vytvořila pro servery, které většina podniků již vlastní. Jedná se o jednoslotovou, pasivně chlazenou 165W desku s 32 GB paměti GDDR7 a kompletní sadou funkcí Blackwell: jádra Tensor páté generace s FP4, jádra RT čtvrté generace, tři kodéry a tři dekodéry a podporu Multi-Instance GPU, která ji umožňuje rozdělit na dva izolované 16GB oddíly. Nahrazuje L4 jako vstupní bod do řady serverů RTX PRO od NVIDIA a vejde se do 2U PowerEdge, ProLiant nebo ThinkSystem bez problémů s napájením nebo chlazením.
NVIDIA se snaží o správné dimenzování karty: většina podniků nestaví továrny na umělou inteligenci; provozují vzduchem chlazená datová centra s pevnými limity výkonu racku a potřebují první krok v oblasti zrychlených výpočtů, který nevyžaduje novou třídu serverů. Nebo pracují na okraji sítě, kde je RTX PRO 4500 lépe přizpůsobena pracovním zátěžím a energetickým omezením, které obvykle určují, co lze nasadit.
RTX PRO 6000 Blackwell pokrývá s 96 GB a až 600 W vrchol tohoto trhu. Model 4500 si zachovává stejnou architekturu a vše ostatní snižuje zhruba na polovinu, takže zákazníci s menšími modely, mnoha menšími úkoly nebo rozpočtem na škálování na dolar za watt získají Blackwell, aniž by museli platit za nevyužitý prostor.
Pracovní zátěže pro tuto třídu GPU jsou dobře známy: odvozování modelů v malých jazycích, analýza obrazu s využitím umělé inteligence a videa, generování vektorového vyhledávání a vkládání, překódování a virtuální pracovní stanice pod vGPU 20. Uvádí na trh více než 5x výkon oproti L4 pro odvozování modelů pro malé a střední velikosti a až 10x výkon u modelů Nemotron. Mezi její startovací partnery patří NTT DATA pro edge video, Pacific Biosciences pro sekvenování a Nokia pro základnové stanice AI-RAN. AWS na něm postavila své nové instance G7 jako náhradu za G6.
Tuto kartu jsme již testovali proti L4 v HPE ProLiant DL145 Gen11 v naší recenzi RTX PRO 4500 edge , kde poskytla 2.7násobnou propustnost oproti L4. Tato recenze odpovídá na to, jak se blíží 350W dvouslotové kartě L40S, která je dva roky výchozí mainstreamovou inferenční kartou, a co RTX PRO 6000 nad ní přidává v podobě extra paměti a výkonu.
Abychom to zjistili, porovnali jsme procesor Dell PowerEdge R770 s procesory L40S a L4, přidali jsme data z grafické karty RTX PRO 6000 Blackwell z našeho serveru Dell Pro Max Tower T2, a to jak s výchozím výkonem 600 W, tak s maximálním výkonem 450 W odpovídajícím slotu GPU, který R770 umožňuje, a spustili jsme online test vLLM napříč čtyřmi modely ve dvou délkách kontextu.
Pro stručnou představu, při typické délce kontextu chatu a agenta drží 4500 krok s L40S na modelech FP8 a BF16 s méně než poloviční spotřebou; při vstupním rozlišení 8K ukazuje 32GB frame buffer své limity; a NVFP4, přesnost, se kterou NVIDIA vede svou Blackwell prezentaci, si v této sestavě vLLM vede shodně se zbytkem řady.
Key Takeaways
- Propustnost L40S při 165 W v jednom slotu: Při vstupu a výstupu 512 žetonů se karta 4500 vyrovnala nebo dokonce překonala L40S na všech modelech FP8 a BF16, které jsme spustili, 1 107 oproti 995 žetonům/s na Ministral 3 14B FP8 a 2 006 oproti 1 988 na Ministral 3 3B, a to z karty s výkonem 47 procent a polovinou slotů, které nabízí L40S.
- Zhruba 3x více než L4, který nahrazuje: 2.8x až 3.6x výstupní propustnost L4 v krátkém kontextu, při 2.3x výkonu desky L4.
- 32 GB má strop: Na vstupu 8K zaostával 4500 za L40S o 17 až 33 procent a jeho křivky se zploštily na úrovni souběžnosti 8, kde L40S stále stoupal k 16. Toto zploštění je způsobeno vyčerpáním mezipaměti KV a 32 GB tento limit stanovuje.
- NVFP4 je softwarový příběh, na každé kartě: Na Qwen3.8-27B NVFP4 produkoval 4500 320 tokenů/s při souběžnosti 32, L40S 480 bez hardwaru FP4 a RTX PRO 6000 621. Cesta NVFP4 v této sestavě vLLM se neškáluje s šířkou pásma paměti na žádné z nich, zatímco rozptyl MAMF ukazuje, že hardware FP4 u 4500 dosahuje 568.6 TFLOPS oproti 280.1 v FP8.
- Co vám větší karta koupí: S omezením 450 W, což je limit pro slot Dell R770 GPU, běžela RTX PRO 6000 v krátkém kontextu přibližně 2x rychlejší než 4500 a 2.5x až 3.2x rychlejší při rozlišení 8K. Plný výkon 600 W přidal 1 až 2 procenta v krátkém kontextu a 4 až 9 procent v dlouhém kontextu, takže většina toho, co 6000 nabízí oproti 4500, je paměť.
Specifikace NVIDIA RTX PRO 4500 Blackwell Server Edition
Dvě karty nesou název RTX PRO 4500 Blackwell a jsou si podobné, ale nejedná se o stejný produkt. Workstation Edition, oznámená na GTC 2025, je 200W, dvouslotová, aktivně chlazená karta se čtyřmi DisplayPort výstupy a paměťovou propustností 896 GB/s. Server Edition, kterou zde recenzujeme, dorazila na GTC 2026 jako 165W, jednoslotová, pasivní, bezhlavá deska s propustností 800 GB/s a vyměňuje zobrazovací výstupy a určitý taktovací prostor za sadu funkcí pro datová centra: MIG, důvěrné výpočty, třetí NVENC a NVDEC a podporu vGPU 20. Pod nimi je stejný 10 496jádrový GPU a 32 GB paměti GDDR7 s ECC.
Data společnosti NVIDIA uvádějí, že čip obsahuje 45.6 miliardy tranzistorů na 378 mm² vlastního křemíku TSMC vyrobeného technologií 4nm s 82 RT jádry čtvrté generace, což odpovídá 82 modulům SM a 328 jádrům Tensor. Jedná se o čísla GB203, stejnou rodinu čipů jako RTX 5080, s mírným zkrácením. Níže uvedené hodnoty Tensor jsou vrcholy NVIDIA s řídkostí; hustota je poloviční, což potvrzuje i vlastní binární soubor NVIDIA peakTOPS naměřený na této kartě s hodnotami 805 TFLOPS FP8 a 403 TFLOPS FP16.
| Specifikace | RTX PRO 4500 Blackwell SE | L4 | L40S | RTX PRO 6000 Blackwell SE |
|---|---|---|---|---|
| Přehled platformy | ||||
| Architektura | NVIDIA Blackwell | Nvidia Ada Lovelace | Nvidia Ada Lovelace | NVIDIA Blackwell |
| CUDA Cores | 10,496 | 7,424 | 18,176 | 24,064 |
| RT jádra | 82 (4. generace) | 58 (3. gen) | 142 (3. gen) | 188 (4. generace) |
| Paměť GPU | 32GB GDDR7 s ECC | 24GB GDDR6 | 48GB GDDR6 s ECC | 96GB GDDR7 s ECC |
| Paměťové rozhraní | 256-bit | 192-bit | 384-bit | 512-bit |
| Paměťová šířka pásma | 800GB / s | 300GB / s | 864GB / s | 1,597GB / s |
| Výkon (špičkové hodnoty NVIDIA, tenzorové frekvence s řídkostí) | ||||
| FP32 | 51 TFLOPS | 30.3 TFLOPS | 91.6 TFLOPS | 120 TFLOPS |
| Tenzor FP16 / BF16 | 406 TFLOPS | 242 TFLOPS | 733 TFLOPS | 1 PFLOPS |
| Tenzor FP8 | 811 TFLOPS | 485 TFLOPS | 1,466 TFLOPS | 2 PFLOPS |
| Tenzor FP4 | 1.6 PFLOPS | Není podporováno | Není podporováno | 4 PFLOPS |
| Výkon jádra RT | 154 TFLOPS | Nezapsáno | 209 TFLOPS | 355 TFLOPS |
| Výkon a tvarový faktor | ||||
| Maximální výkon desky | 165W | 72W | 350W | Až 600 W (konfigurovatelné) |
| Form Factor | Jednoslotový, FHFL 4.4 "x 10.5" |
Jednoslotový, HHHL | Dvouslotový, FHFL 4.4 "x 10.5" |
Dvouslotový, FHFL (vzduch) Jednoslotový, FHXL (kapalina) |
| Termální | Pasivní | Pasivní | Pasivní | Pasivní (vzduch) nebo kapalný |
| Napájecí konektor | 1x PCIe CEM5 16pinový | Napájení ze slotu | 1x 16-kolík | 1x PCIe CEM5 16pinový |
| Propojit | PCIe 5.0 x16 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| Hmotnost | 1,055 g | Nezapsáno | Nezapsáno | Nezapsáno |
| Funkce | ||||
| Multi-instance GPU | Až 2x 16GB | Ne | Ne | Až 4x 24GB |
| NVENC / NVDEC | 3x / 3x | 2x / 4x | 3x / 3x | 4x / 4x |
| Důvěrné výpočty | Podporované | Ne | Ne | Podporované |
| Podpora vGPU | Ano (vGPU 20) | Ano | Ano | Ano |
Design a budování
Serverová edice 4500 je deska s plnou výškou a délkou, vysoká 4.4 cm a 10.5 cm dlouhá, která zabírá jeden slot. To je důležitá změna oproti L4, která měla poloviční výšku a délku. L4 je stále srovnávací deskou, ale její tvar se změnil na FHFL, aby se uvolnilo místo pro paměť, 16pinový napájecí vstup a chladič, který dokáže pouze s prouděním vzduchu v šasi odvést 165 W.
Tento tvarový faktor je jediným skutečným rozdílem oproti L4, který se vešel do jakéhokoli slotu HHHL a odebíral z něj 72 W, takže se používal v 1U serverech a malých edge boxech. Model 4500 má plnou výšku, plnou délku a potřebuje 16pinový kabel a 1U běžné servery, se kterými pracujeme, včetně současné řady 1U PowerEdge od Dellu, dosahují maxima u karet HHHL nebo FHHL bez tohoto konektoru.
V praxi se jedná o 2U kartu, nebo kartu pro několik málo bílých 1U šasi postavených na slotech FHFL, takže obchod, který koupil L4 pro 1U nebo edge boxy, nedostane náhradu.
Pokud je model 4500 naskládán vedle sebe s L4 nad ním a L40S pod ním, potřebuje jeden slot, zatímco L40S potřebuje dva, což je důvod, proč 2U server, který pojme čtyři karty s dvojitou šířkou, může pojmout osm z nich a instance G7 od AWS proto mohou provozovat až osm z nich na hostitele.
Napájení je dodáváno přes jediný 16pinový konektor PCIe CEM5, stejný konektor jako RTX PRO 6000, bez pomocné 8pinové možnosti. Chlazení je zcela pasivní, takže karta je závislá na ventilátorech serveru a v šasi, které nemůže proudit vzduchem, se bude regulovat, což je pro tuto třídu normální a všechny ostatní GPU mají stejné požadavky.
Karta nemá žádné grafické výstupy, takže grafická práce, ať už se jedná o virtuální pracovní stanice vGPU nebo renderování, probíhá přes síť a adaptér je odvětrávaný. Tři enginy NVENC deváté generace a tři NVDEC šesté generace přidávají oproti generaci L4 kódování a dekódování 4:2:2 H.264 a HEVC a NVIDIA uvádí dvojnásobnou propustnost dekódování H.264 na každý NVDEC engine oproti L4. Snímek adaptéru níže ukazuje toto rozdělení: L4 a 4500 mají pouze větrací otvory, zatímco L40S a RTX PRO 6000 Workstation Edition mají každá čtyři DisplayPort výstupy.
Kam se hodí RTX PRO 4500 Blackwell Server Edition
Společnost NVIDIA tvrdí, že „ústřední hodnotou karty je kombinace umělé inteligence, výpočetního výkonu, grafiky a akcelerace videa v pasivním jednoslotovém provedení s výkonem 165 W“, které je navrženo pro servery, „kde jsou primárními omezeními nasazení hustota racku, napájení a chlazení“. Karta se nachází v tom, co NVIDIA označuje za mainstreamový segment datových center a edge segment portfolia serverů RTX PRO, pod RTX PRO 6000 Blackwell Server Edition a nad ničím; je vstupním bodem řady serverů Blackwell.
Oproti L4 uvádí NVIDIA až 10násobné zlepšení v inferenci malých modelů u svých modelů Nemotron Nano (NVFP4 na 4500 oproti FP8 na L4), až 4násobné zlepšení v sumarizaci videa s Cosmos Reason 2, 1.9násobné zlepšení SPECviewperf 15 při rozlišení 4K a 1.8násobné zlepšení hustoty streamování. Oproti CPU uvádí až 50násobné zlepšení v práci s vektorovou databází s cuVS CAGRA v Milvus a až 100násobné zlepšení v oblasti vizuální umělé inteligence, obojí měřeno na osmikartových serverech 4500 oproti dvousocketovým systémům EPYC 9654.
Serverový tým společnosti Dell nám sdělil, že vidí model 4500 v běžných raccích, protože tři 32GB karty 4500 stojí téměř stejně jako jedna 96GB karta 6000, a v tomto případě obvykle vítězí větší karta. Jedná se o kartu pro server, který by jinak neměl grafickou kartu ani L4, a není optimální pro server, který byl navržen pro jeden nebo více disků 6000.
Test nastavení
Karty 4500, L40S a L4 jsme nainstalovali do našeho serveru Dell PowerEdge R770, který je konfigurován se dvěma procesory Intel Xeon 6787P (každý s 86 jádry) a 2 TB paměti DDR5-6400 na 32 modulech DIMM s ovladačem NVIDIA 595.71.05. Testovací běhy používaly kontejner NGC vLLM 26.08-py3, který obsahuje vLLM 0.27.1 na CUDA 13.4.1, takže softwarový balík je napříč kartami identický. Každá karta byla testována individuálně při svém výchozím limitu napájení a R770 dodává každé kartě plný výkon: Dell uvádí v tomto šasi pro L4 72 W, pro 4500 165 W a pro L40S 350 W.
RTX PRO 6000 Blackwell je karta pro pracovní stanici v našem Dell Pro Max Tower T2, na stejném pouzdře a ovladači. NVIDIA uvádí shodný výkon pro pracovní stanici i server, a to 600 W, a v našich testech uvádějí stejný výkon, takže tato karta zastupuje serverovou kartu. Mimochodem, máme recenzi serverových karet RTX PRO 6000 v XE7740, pokud se chcete ponořit do škálování těchto karet.
Model 6000 jsme spustili dvakrát: jednou s výchozím výkonem 600 W a jednou s ověřeným limitem 450 W aplikovaným pomocí nvidia-smi, protože 450 W je nejvyšší hodnota, kterou R770 dokáže nabídnout grafické kartě 6000 ve slotu pro GPU, a je to číslo, se kterým by se měl kupující, který si vybírá mezi 4500 a 6000 pro typický 2U server, porovnávat. Hostitelská platforma se u modelu 6000 liší, ale při tomto zatížení vázaném na GPU ovlivňuje topologie CPU a PCIe výsledek mnohem méně než limit napájení.
Použili jsme benchmark online obsluhy vLLM na úrovních souběžnosti 1, 2, 4, 8, 16 a 32 se dvěma tvary požadavků: 512 vstupních tokenů a 512 výstupních tokenů, což aproximuje chat a krátké tahy agentů, a 8 192 vstupních tokenů s 1 024 výstupními tokeny, což aproximuje práci s RAG a dokumenty, kde dominuje předvyplňování a vyplňování mezipaměti KV. Modely byly vybrány tak, aby se tam, kde je to možné, vešly na nejmenší kartu ve skupině, takže 24GB u L4 určuje spodní hranici: Ministral 3 3B Reasoning a Ministral 3 8B Reasoning v BF16, Ministral 3 14B Instruct v FP8 a Qwen3.8-27B v NVFP4, který se hodí pro karty s kapacitou 32 GB a vyšší, ale ne pro L4.
Uvádíme propustnost výstupních tokenů na každé úrovni souběžnosti a uvádíme celkovou propustnost, včetně tokenů před vyplněním, tam, kde to mění obraz.
Co zde není: větší modely, které pojmou pouze karty s kapacitou 48 GB a větší, dělení MIG, vGPU, překódování videa, měření spotřeby, konfigurace 4500 se dvěma kartami a karty pro datová centra nad touto třídou.
Maximálně dosažitelné Matmul FLOPS (MAMF)
MAMF je test GEMM s trvalou hustotou, který udává nejlepší propustnost matmulu, které karta dosahuje v každé přesnosti, což z něj činí nejjednodušší způsob, jak ověřit, zda hardware FP4 funguje, jakmile je obslužný zásobník vyřazen z hry. 4500 dosáhla 135.9 TFLOPS v BF16, 280.1 v FP8 a 568.6 v NVFP4, přičemž každé snížení přesnosti se blížilo dvojnásobné propustnosti. Oproti špičkám NVIDIA s hustotou 202, 406 a 811 TFLOPS to představuje 67 % až 70 % špičky v každé přesnosti a odpovídá to vlastním údajům NVIDIA z cuBLAS pro kartu s hodnotami 133, 275 a 534.
RTX PRO 6000 si vedl podobně a při 600 W dosáhl 398.9, 773.9 a 1 480,9 TFLOPS, což je 2.6x až 2.9x více než 4500 napříč třemi přesnostmi, což odpovídá předpovědi velikosti čipu a energetického rozpočtu. Při stropu 450 W dosáhl 368.6, 772.4 a 1 413,1: FP8 se nepohnul, BF16 ztratil 8 procent a NVFP4 ztratil 5 procent, což znamená, že tenzorová cesta FP8 u 6000 je v tomto testu pod 450 W a další dvě přesnosti pouze zaostávají. L40S dosáhla v BF16 a FP8 220.0 a 368.6 TFLOPS a L4 50.1 a 115.8; ani jedna z karet Ada nemá hardware FP4 Tensor.
Užitečným srovnáním je výsledek NVFP4 u 4500 oproti FP8 všech ostatních: 568.6 TFLOPS je 1.5násobek stropu FP8 u L40S a 74 % limitu 6000, a to z karty s výkonem 165 W. To je výhoda FP4 a ta existuje na úrovni GEMM. Následující výsledky servingu vLLM ukazují, že v této sestavě nedosáhl serving stacku a výsledek MAMF naznačuje, že počet servingů bude i nadále růst, jakmile se jádra NVFP4 budou zpožďovat.
Online prezentace vLLM: Stručný kontext (512/512)
Stručný kontext je oblastí, kde 4500 dokládá své argumenty: u tří modelů FP8 a BF16 byla jeho výstupní propustnost při souběžnosti 32 1 107 tokenů/s na Ministral 3 14B oproti 995 u L40S, 1 017 oproti 1 005 na Ministral 3 8B a 2 006 oproti 1 988 na Ministral 3 3B. Každá z nich je karta Blackwell se 165 W, která se vyrovná nebo překoná kartu Ada s 350 W, a křivky se navzájem překrývají od souběžnosti 1 do 32, takže se nejedná o výsledek pouze z vrcholu. L4 dosáhl u stejných modelů hodnot 364, 279 a 704, což řadí 4500 na 2.8x až 3.6x vyšší výkon než jeho předchůdce.
RTX PRO 6000 ukazuje, co zbytek rozpočtu Blackwell nabízí. S limitem 450 W dosáhla u stejných tří modelů hodnot 2 161, 2 042 a 4 069 tokenů/s, což je 1.95x až 2.03x více než 4500; při plných 600 W dosáhla hodnot 2 283, 2 139 a 4 155, což je 2.06x až 2.1x více. Dvě křivky 6000 se nacházejí na sobě díky souběžnosti 16 u každého modelu a liší se pouze o 2 až 5 procent na hodnotě 32, takže v krátkém kontextu posledních 150 W přidává jen málo. Oproti 4500 je to dvojnásobná propustnost oproti kartě s 3x větší pamětí a u R770 2.7x větším výkonem slotu.
Celková propustnost, která zahrnuje i 512 předfill tokenů na požadavek, se řídí stejným pořadím: 2 215 tokenů/s pro 4500 na modelu 14B oproti 1 990 pro L40S a 727 pro L4, přičemž u 6000 je limit 4 323 a u 600W 4 566. Rozdíl oproti L4 je největší u modelu 8B s 3.6x a nejmenší u modelu 3B s 2.8x a rozdíl oproti L40S nikdy nepřesahuje 12 procent ve prospěch 4500.
Online prezentace vLLM: Dlouhý kontext (8K/1K)
Při 8 192 vstupních tokenech se obraz mění a důvod je patrný z tvaru křivek. Na Ministral 3 14B FP8 sleduje 4500 L40S až do souběžnosti 8, poté se zploští na přibližně 180 tokenech/s, zatímco L40S pokračuje k 230 při souběžnosti 16 a tam se drží. Model 8B dělá totéž: 185 tokenů/s pro 4500 na 32 oproti 277 pro L40S, přičemž 4500 se ustálí na 8 a L40S na 16. Na modelu 3B se obě karty ustálí na 16, 384 oproti 475.
Důvodem je kapacita mezipaměti KV: každý souběžný požadavek o velikosti 8K potřebuje svůj kontext uložený na kartě a jakmile jsou váhy načteny, 32GB vyrovnávací paměť snímků jich pojme méně než 48GB vyrovnávací paměť. Když vLLM dojde prostor KV, přestane přidávat užitečnou souběžnost a propustnost se vyrovnává. Už jen z tohoto důvodu propadá procesor 4500 procesoru L40S při souběžnosti 32 u těchto modelů o 17 až 33 procent; výpočetní strana není úzkým hrdlem, jak ukazují výsledky krátkého kontextu. L4 s 24 GB a 300 GB/s je u všech modelů vyrovnaný od souběžnosti 4, s 34 až 130 tokeny/s.
96GB paměť 6000 v tomto testu nikdy nezaostává a její křivky u všech modelů stoupají až k hodnotě 32. Při 450W limitu dosáhla 552, 589 a 973 tokenů/s, což je 2.5x až 3.2x více než u 4500; při 600W dosáhla 608, 639 a 1 033, tedy 2.7x až 3.5x. Toto je jediné místo, kde se limit výkonu projevuje: předvyplnění v dlouhém kontextu udržuje 6000 déle ve výpočetní oblasti, takže karta s omezeným výkonem dostává 4 až 9 procent při souběžnosti 16 a 32, oproti 2 ku 5 v krátkém kontextu. Ať tak či onak, poměr k 4500 se rozšiřuje z 2x na zhruba 3x a důvodem je spíše paměť než výkon.
Pokud je vaší pracovní zátěží otázka a odpověď na dokumenty, RAG v dlouhých kontextech nebo agenti, kteří přenášejí velké výstupy nástrojů, je paměť dominantní specifikací a 32 GB u 4500 představuje omezení souběžnosti. Pokud se jedná o chat, klasifikaci nebo krátké směny agentů, tak to není. Celková propustnost při 8K/1K je dominantně ovlivněna předfillem a opakuje stejné pořadí: 1 713 tokenů/s pro 4500 na modelu 14B oproti 2 070 pro L40S a 381 pro L4, přičemž 6000 má omezenou kapacitu 4 971 a 5 474 při 600W.
NVFP4: Kde software určuje strop
Qwen3.8-27B v NVFP4 je jediný model ve skupině, který používá hardware FP4 Tensor, se kterým Blackwell vede, a výsledkem je nejplošší sada křivek v recenzi. Při souběžnosti 32 v krátkodobém testu dosáhla karta 4500 výkonu 320 tokenů/s; L40S, 480 a RTX PRO 6000 dosáhly 621, s limitem a 616 při 600W. Při souběžnosti 1 dosáhly všechny karty mezi 17 a 22 tokeny/s na modelu s 27B, včetně 6000 s 1.6 TB/s GDDR7, kde stejná karta poskytuje 99 tokenů/s v jednom streamu na modelu s 14B FP8.
L40S nemá hardware FP4 Tensor, takže vLLM používá kontrolní bod NVFP4 dekvantizací vah a výpočty s vyšší přesností, cestou vázanou na šířku pásma paměti, a překonává 4500 1.5krát. 6000, která má stejný hardware FP4 jako 4500 a 2x větší šířku pásma, dosahuje zhruba 2x vyššího výkonu než 4500, který odděluje obě karty všude jinde, a její 450W a 600W běhy se od sebe liší do 1 procenta při každé souběžnosti, takže jádro není vázáno ani na napájení.
Vzorec napříč všemi čtyřmi sériemi, s propustností jednoho streamu, která se nemění s šířkou pásma paměti, a stropem souběžnosti-32 od 480 do 621 bez ohledu na použitou GPU, ukazuje na cestu jádra NVFP4 v této sestavě vLLM jako limit na každé kartě.
Při rychlosti 8K/1K dosáhl model 4500 153 tokenů/s při souběžnosti 32, ve srovnání se 190 u L40S a 402 a 425 u modelů 6000 s omezením i bez omezení. Jedná se o stejné limity KV-cache jako modely FP8 a BF16, přičemž 96 GB u modelu 6000 je opět důvodem, proč stále roste, zatímco ostatní se zplošťují.
NVIDIA má na této kartě FP4 s propustností 1 221 tokenů/s na Llama 3.1 8B při 2K/256 a 905 tokenů/s na Nemotron 3 Nano 30B A3B pod TensorRT-LLM, takže hardware zvládá pod stackem NVIDIA. Dnešní data ukazují, že NVFP4 na této kartě je softwarovou historií vLLM, kterou sdílí každá testovaná GPU, a kupující, kteří se spoléhají na propustnost FP4, by si měli předtím, než se na něj spolehnou, otestovat svůj serving stack.
Propustnost na jmenovitý watt
V tomto kole jsme neměřili spotřebu, takže matematické výpočty účinnosti jsou tentokrát porovnávány s testovaným limitem výkonu každé karty. Na Ministral 3 14B FP8 při souběžnosti 32 poskytuje 4500 6.7 výstupních tokenů/s na jmenovitý watt, oproti 2.8 u L40S, 5.1 u L4, 4.8 u RTX PRO 6000 s limitem 450 W a 3.8 u 6000 s limitem 600 W. U modelu 3B platí poměr: 12.2 u 4500, 5.7 u L40S, 9.8 u L4, 9.0 u limitované 6000 a 6.9 u 6000 s limitem 600 W.
Karta 4500 je v tomto ohledu v krátkodobém kontextu nejúčinnější ve skupině a omezená karta 6000 se k tomu blíží jako jediná. Snížení spotřeby 6000 na 450 W ji stojí 2 až 5 procent propustnosti a vrací 25 procent jejího energetického rozpočtu, což je důvod, proč se její účinnost zvyšuje o čtvrtinu. L4 si v tomto ohledu udržuje konkurenceschopnost, protože 72 W je velmi malý jmenovatel, ale k dosažení stejné propustnosti potřebuje třikrát více slotů a serverů, což je kompromis, kvůli kterému byla karta 4500 navržena.
Při 8K/1K se pořadí mění: 4500 dosahuje u modelu 14B rychlosti 1.2 tokenu/s na jmenovitý watt, u modelu 6000 s omezeným výkonem 1.2 a u modelu 600W 1.0, přičemž L40S dosahuje 0.7. Jakmile u modelu 4500 dojde mezipaměť KV, jeho propustnost přestane růst, zatímco jeho výkon neroste, takže v dlouhém kontextu se mu 6000 s výkonem 450 W vyrovná v účinnosti a poskytuje 2.9x více práce na slot.
Závěr
RTX PRO 4500 Blackwell Server Edition dělá přesně to, co NVIDIA slibuje: zařazuje Blackwell do slotu, má nízký energetický rozpočet a třídu šasi, která dříve dosahovala vrcholu L4. Na modelech, které používá většina běžných serverů, malých a středních instruktážních a uvažovacích modelů v kontextu chatu, poskytuje propustnost L40S z jednoslotové karty s méně než poloviční spotřebou L40S a třikrát více, než by zvládla L4.
Samozřejmě existují omezení. Počínaje pamětí: 32 GB je dostatečná kapacita pro modely, na které je tato karta zaměřena, ale omezuje to souběžnost v dlouhodobém kontextu, kde 48 GB u L40S a zejména 96 GB u 6000 dohánějí, a kde 6000 běží zhruba 3x rychleji než 4500 při stejném objemu požadavků, a to i při výkonu omezeném na to, co by dovolil stejný server.
NVFP4, hlavní produkt od Blackwellu s precizností, si v této sestavě vLLM vede srovnatelně s kartami bez hardwaru FP4, i když test MAMF ukazuje, že hardware FP4 dosahuje na úrovni GEMM dvojnásobné rychlosti oproti kartě FP8. Výhodu FP4 je tedy třeba ověřit na vlastním stacku, ale software jednoznačně nabízí další výhody.
Každý, kdo má 2U servery nebo 1U šasi s FHFL kartou a potřebuje přidat inferenci, vizuální umělou inteligenci, překódování nebo kapacitu virtuálních pracovních stanic bez nutnosti dotýkat se napájení nebo chlazení, shledá RTX PRO 4500 vynikající volbou. Navíc každý, kdo stále používá L4 servery a přerostl 24GB, by měl být z 4500 nadšený. Pro organizace, jejichž pracovní zátěž je dostatečně dlouhodobá nebo multitenantní a potřebuje 48GB nebo více na kartu, je RTX PRO 6000 lepší volbou.
NVIDIA si dobře počínala tím, že pro tyto karty vyčlenila dva volné pruhy, a model 4500 vyplňuje mezeru v oblasti umělé inteligence mezi L4 a 6000, přičemž spotřebovává pouhých 165 W.
Žebříček: RTX PRO 4500 Blackwell Server Edition drží ocenění Nejlepší jednoslotová grafická karta v našem žebříčku Nejlepší podnikové grafické karty , kde se objevují i data L40S a RTX PRO 6000 z této recenze.
Amazon