Dell Pro Precision 9 T4 je jednopaticový tower počítač na vrcholu řady Dell Pro Precision. Náš recenzovaný kus je konfigurován pro lokální umělou inteligenci v rozsahu, kterého většina pracovních stanic nedokáže dosáhnout. Je kombinován s 86jádrovým procesorem Intel Xeon 698X s 256 GB paměti DDR5-6400 ECC, dvěma 300W grafickými kartami NVIDIA RTX PRO 6000 Blackwell Max-Q s 96 GB paměti GDDR7, dvěma 2TB SSD disky Gen5 a dvouportovým 25GbE adaptérem, napájeným 2400W zdrojem. Se stejnou konfigurací na Dell.com se jeho cena pohybuje kolem 66 600 dolarů.
Key Takeaways
- Dvě grafické karty promění model, který se nevejde na jednu kartu, v použitelný. MiniMax M2.7 s pamětí 129.3 GB generoval 83.7 tokenů za sekundu pro jednoho uživatele při rozdělení mezi obě karty RTX PRO 6000, což je 2.8krát více než 30.3 tokenů za sekundu s jednou kartou a zbytkem modelu v systémové paměti.
- Druhá grafická karta zvýšila obsluhu 1.85krát až 2.02krát a vkládání 1.92krát. Maximální výkon llama.cpp se na Ministral 3 3B zvýšil z 582.5 na 1 176,1 tokenů za sekundu a na gpt-oss 120B z 424.8 na 787.9 s jedním serverem na GPU a vkládání jednoho milionu pasáží z Wikipedie se snížilo z 890 na 464 sekund.
- Druhá grafická karta zkrátila dobu trvání LoRA o 37 procent. Jedna epocha LoRA na Ministral 3 8B trvala 31.5 minuty na jedné GPU a 19.7 minuty na dvou, což skončilo s trvalými ztrátami 1.169 a 1.167.
- Šířka pásma paměti je oblastí, kde se Xeon s T4 dostává dopředu. STREAM Triad dosáhl rychlosti 328 GB/s, což je o 53 procent více než Threadripper PRO 9995WX v Precision 7875, a T4 dokončil OpenFOAM drivAer solve za 293 sekund oproti 556 sekundám a 10miliardový y-cruncher za 53.9 sekund oproti 83.7 sekundám.
- Precision 7875 vede v oblasti výkonu CPU vázaného na jádra. 96jádrový Threadripper měl v 7-Zip náskok 37 procent a v Blender Monster 30 procent a sestavení LLVM dokončil za 43.7 sekundy oproti 58.4 sekundám.
Kde se nachází Pro Precision 9 T4
Společnost Dell umisťuje T4 jako svou vlajkovou loď mezi jednopaticovými věžovými pracovními stanicemi pro organizace, které vyžadují maximální výpočetní hustotu a rozšiřitelnost, přičemž vývoj umělé inteligence, technické simulace a vědecké výpočty jsou na vrcholu seznamu pracovních úloh. Je nad modelem Dell Pro Precision 9 T2 , který využívá stejnou platformu pracovních stanic Granite Rapids-WS Xeon 6 v menším šasi s jednou grafickou kartou. T4 přidává osmikanálové procesory na vrcholu řady, až 86 jader, a prostor pro až čtyři grafické karty, v závislosti na modelu.
Nabídka procesorů na Dell.com začíná 12jádrovým Xeonem 634 a pokračuje přes 64jádrový Xeon 696X až po 86jádrový Xeon 698X v našem kuse, který má 336 MB mezipaměti, základní frekvenci 2.0 GHz, maximální frekvenci 4.8 GHz a spotřebu 350 W. Paměť dosahuje až 4 TB DDR5 RDIMM v 16 slotech a náš kus je vybaven osmi z nich 32GB moduly s přenosovou rychlostí 6400 MT/s. Grafika začíná jednou grafickou kartou RTX A400 a počet karet závisí na modelu: konfigurátor Dellu uvádí čtyři karty RTX A1000, tři karty RTX PRO 4000 Blackwell, dvě karty RTX PRO 6000 Max-Q s výkonem 300 W nebo jednu 600W RTX PRO 6000.
Základní konfigurace je na Dell.com uvedena za 5 925 dolarů. Naše konfigurace přidává 8 300 dolarů za Xeon 698X, 15 000 dolarů za 256 GB paměti a 30 820 dolarů za dvojici karet RTX PRO 6000 Max-Q, a to bez úložiště, sítě a 36měsíčního upgradu ProSupport, který Dell automaticky přidává k sestavám na této úrovni.
Stavět a navrhnout
T4 je full tower s výškou 449.8 mm, šířkou 203.7 mm a hloubkou 617.5 mm a uvádí, že Dell váží minimálně 24.1 kg a maximálně 33.6 kg v závislosti na konfiguraci. Náš model používá 2400W zdroj Platinum, který konfigurátor Dellu vybírá pro konfiguraci s duálními grafickými kartami RTX PRO 6000, a 1500W zdroj je standardně instalován u lehčích sestav.
Silnou stránkou T4 je snadná údržba, počínaje beznástrojovým přístupem pomocí západky na bočním panelu a 2400W napájecím zdrojem, který se ručně vysouvá z horní zadní části šasi. Vše ostatní, včetně grafických karet a SSD disků, se vyjímá pomocí křížového šroubováku a modré dotykové body Dell označují součásti, které se vyjímají ručně. Laboratoř shledala platformu snadnou pro uživatele, kteří ji v terénu opravují, což je u pracovní stanice v této cenové relaci důležité.
Chlazení je nejlepší provedení, jaké jsme od společnosti Dell v této třídě věžových počítačů viděli. Vzduch proudí zepředu dozadu a velké tvarované kryty ho ženou dolů a přes procesor a paměť, přičemž tento kanál udržují oddělený od oblasti PCIe. Dvě 300W grafické karty proto nasávají samostatný proud vzduchu a nedědí teplo od 350W Xeonu. S nasazenými kryty se mezi zónou procesoru a slotem pro kartu nacházejí dva ventilátory a sestava má stejné modré dotykové body a lze ji vyjmout pro přístup k paměti.
Rozšiřování probíhá přes šest plnohodnotných slotů PCIe: dva sloty Gen5 x16 pro grafické karty, jeden slot Gen5 x8, jeden slot Gen4 x8 a dva sloty Gen4 s konektory x8 a kabeláží x4. Úložiště zahrnuje tři interní sloty M.2 Gen5 a jeden slot Gen4, dvě interní 3.5palcové pozice SATA a přední FlexBay, která pojme až čtyři disky NVMe nebo dva 3.5palcové disky s volitelnou tenkou optickou mechanikou. Náš počítač se spouští z interního 2TB disku Gen5 a obsahuje další 2TB disk Gen5 v interním slotu M.2.
Přední panel obsahuje konektor pro sluchátka, dva 10Gbps porty USB-A, 20Gbps port USB-C s technologií PowerShare, 10Gbps port USB-C a volitelný slot pro SD kartu. Zadní panel přidává 10GbE a 1GbE porty RJ-45, čtyři 10Gbps porty USB-A, dva 10Gbps porty USB-C, 20Gbps port USB-C, sériový port, dva porty PS/2 a linkový výstup. Náš přístroj je osazen adaptérem Intel E810-XXV se dvěma porty 25GbE SFP28, adaptérem MediaTek Wi-Fi 7 MT7925 s technologií Bluetooth 5.4, čtečkou paměťových karet a dvojitou rozšiřující kartou Dell s porty USB-C.
Zabezpečení a správa zahrnují TPM 2.0, Dell SafeBIOS, detekci narušení šasi, podporu samošifrovacích disků, zabezpečené mazání BIOSu a Intel vPro Enterprise. Společnost Dell uvádí, že disk T4 obsahuje až 85 procent recyklovaného plastu v klíčových komponentách, 90 procent recyklovaného hliníku v rukojetích a 11 procent recyklované oceli v šasi a konfigurace splňuje normu ENERGY STAR.
Specifikace Dell Pro Precision 9 T4
| Specifikace | Dell Pro Precision 9 T4 (testovaný) |
|---|---|
| Plošina | |
| Model | Dell Pro Precision 9 T4 (PW9T4260) |
| Procesor | Intel Xeon 698X, 86 jader, 172 vláken, 336 MB mezipaměti, základní frekvence 2.0 GHz, až 4.8 GHz, 350 W |
| Možnosti procesoru | Xeon 634 (12 jader) až Xeon 698X (86 jader) |
| Memory | 256GB (8x 32GB) DDR5-6400 RDIMM ECC 16 slotů, až 4 TB |
| Grafika | 2x NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition, každá 96 GB GDDR7, každá 300 W |
| Operační systém | Windows 11 Pro pro pracovní stanice (testováno na Ubuntu 26.04.1 LTS) |
| Skladování | |
| Jak je nakonfigurováno | 2x 2TB M.2 2280 Gen5 x4 TLC SED (oba v interních slotech M.2) |
| Vnitřní sloty | 3x M.2 2230/2280 Gen5 NVMe 1x M.2 2230/2280 Gen4 NVMe 2x 3.5palcový SATA |
| FlexBay | Až 4 disky NVMe plus volitelná tenká optická mechanika nebo 2x 3.5palcový SATA |
| Rozšíření a konektivita | |
| PCIe sloty | 2x Gen5 x16 1x Gen5 x8 1x Gen4 x8 2x Gen4 x8 (x4 elektrické) |
| networking | Intel E810-XXV dvouportový 25GbE SFP28 (doplňkový modul) Integrované 10GbE a 1GbE RJ-45 MediaTek Wi-Fi 7 MT7925, Bluetooth 5.4 |
| přední porty | 1x USB-C 20 Gb/s s funkcí PowerShare 1x USB-C 10 Gb/s 2x USB-A 10 Gb/s Konektor pro připojení sluchátek Volitelný slot pro SD kartu |
| Zadní porty | 1x USB-C 20 Gb/s 2x USB-C 10 Gb/s 4x USB-A 10 Gb/s Sériový, 2x PS/2, linkový výstup |
| Moc a fyzická síla | |
| napájení | 2400W Platinum (možnost 1500W) |
| Rozměry | 449.8 x 203.7 x 617.5 mm (17.70 x 8.01 x 24.31 palce) |
| Hmotnost | 24.1 kg až 33.6 kg (53.1 až 74.1 lb) dle konfigurace |
| Záruka | ProSupport s objednením servisu na místě po vzdálené diagnostice, 36 měsíců |
| Cena | Základ 65 000 dolarů Přibližně 66 600 USD v konfiguraci (Dell.com) |
Nastavení testu a metodologie
Testovali jsme špičkové pracovní stanice na Linuxu a všechny čtyři systémy v této recenzi běžely na Ubuntu 26.04.1 LTS na jádře 7.0.0-43 s ovladačem NVIDIA 595.99.02, CUDA 13, buildem llama.cpp b11716 a Ollama 0.40.3 na profilu výkonu a výkonu Linuxu. Výsledky pocházejí ze tří nástrojů: sr-client pro lokální AI a klientské úlohy, sr-harness pro kompilaci, kompresi, kryptoměny, webové služby a y-cruncher a sr-suite r5.28 pro GROMACS, OpenFOAM, ClickHouse, Valkey a šířku pásma paměti. Každý výsledek je mediánem opakovaných průchodů.
Všechny čtyři systémy běžely s teplotním režimem BIOSu nastaveným na Ultra Performance a T4 používal BIOS 1.2.0. Svazek T4 používal sr-harness 3.3, Precision 7875 3.5 a oba T2 používali 3.6, se stejnou sestavou testů ve všech těchto verzích.
Každý srovnávací systém je věžový počítač Dell s grafickou kartou RTX PRO 6000 Blackwell. Dell Precision 7875 kombinuje 96jádrový procesor Threadripper PRO 9995WX se stejnými dvěma kartami RTX PRO 6000 Max-Q a 512 GB paměti DDR5-5600, což z něj dělá nejbližší srovnatelnou verzi. Dell Pro Precision 9 T2 pohání 24jádrový procesor Xeon 658X s jednou kartou Max-Q a Dell Pro Max Tower T2 pohání 24jádrový procesor Core Ultra 9 285K s 600W RTX PRO 6000, což ukazuje, co vyšší limit výkonu přidává na jednu grafickou kartu.
| Konfigurace | Procesor (CPU) | Memory | GPU | Test Drive | Tepelný režim BIOSu |
|---|---|---|---|---|---|
| Dell Pro Precision 9 T4 | Xeon 698X, 86 jader | 256GB DDR5-6400 (8 kanály) | 2x RTX PRO 6000 Max-Q (300W) | 2TB SK Hynix PCB01 Gen5 | Ultra výkon |
| Dell Precision 7875 | Threadripper PRO 9995WX, 96 jader | 512GB DDR5-5600 (8 kanály) | 2x RTX PRO 6000 Max-Q (300W) | 2TB Samsung Gen4 | Ultra výkon |
| Dell Pro Precision 9 T2 | Xeon 658X, 24 jader | 128GB DDR5-6400 (4 kanály) | 1x RTX PRO 6000 Max-Q (300W) | Samsung PM9E1 Gen5, 2TB disky v prokládaném poli | Ultra výkon |
| Dell Pro Max Tower T2 | Core Ultra 9 285K, 24 jader | 128GB DDR5-4400 (2 kanály) | 1x RTX PRO 6000 (600 W) | 2TB Samsung PM9F1 Gen4 | Ultra výkon |
Výkon lokální umělé inteligence
Každý zde uvedený systém obsahuje alespoň jednu grafickou kartu RTX PRO 6000 Blackwell s 96 GB paměti GDDR7, takže výsledky testů s jednou grafickou kartou měří samotnou kartu, její výkonový limit a rychlost, s jakou ji platforma napájí. Dvě karty u T4 ji odlišují a naše testy se dvěma grafickými kartami provádějí každý model třemi způsoby, kde se to hodí: dva nezávislé servery, jeden na každou grafickou kartu, pro propustnost; jeden model rozdělený vrstvami mezi obě karty; a v případě MiniMax M2.7 jedna karta se zbytkem modelu v systémové paměti.
LLM Serving na jednom GPU
| Server llama.cpp, jedna GPU (výstupní tokeny/s, čím vyšší je lepší) | Dell Pro Precision 9 T4 | Dell Precision 7875 | Dell Pro Precision 9 T2 | Dell Pro Max Tower T2 |
|---|---|---|---|---|
| Ministral 3 3B, jedna žádost | 240.5 | 252.6 | 243.8 | 261.6 |
| Ministral 3 3B, vrchol | 582.5 | 637.6 | 602.6 | 658.8 |
| Ministral 3 8B, jedna žádost | 166.8 | 171.1 | 167.3 | 194.5 |
| Ministral 3 8B, vrchol | 383.6 | 398.9 | 384.9 | 477.5 |
| Qwen3.8 27B, jeden požadavek | 54.9 | 55.4 | 53.8 | 64.5 |
| Qwen3.8 27B, vrchol | 158.1 | 162.8 | 155.8 | 194.7 |
| gpt-oss 120B, jeden požadavek | 166.9 | 171.2 | 164.5 | 193.0 |
| gpt-oss 120B, vrchol | 424.8 | 458.4 | 413.1 | 520.7 |
| gpt-oss 120B, jeden požadavek, doba do prvního tokenu (ms, nižší je lepší) | 1,189 | 1,181 | 1,213 | 844 |
Na jedné grafické kartě se T4 dostala tam, kde je limit 300 W, který karta stanoví. Na gpt-oss 120B vygenerovala 166.9 tokenů za sekundu pro jednoho uživatele a dosáhla vrcholu 424.8 při 64 souběžných požadavcích, což je v rozmezí 1 až 9 procent od identické karty Max-Q Precision 7875 napříč všemi čtyřmi modely a na úrovni Pro Precision 9 T2. 600W karta v Pro Max Tower T2 je ve špičce o 13 až 25 procent rychlejší na všech modelech a dosahuje 520.7 tokenů za sekundu na gpt-oss 120B.
Dvě grafické karty: repliky a rozdělené modely
| Server llama.cpp, dvě GPU (výstupní tokeny/s, čím vyšší je lepší) | Dell Pro Precision 9 T4 | Dell Precision 7875 |
|---|---|---|
| Ministral 3 3B, špička, jeden server na GPU | 1,176.1 | 1,260.2 |
| Ministral 3 8B, špička, jeden server na GPU | 765.7 | 796.4 |
| Qwen3.8 27B, špička, jeden server na GPU | 310.8 | 323.2 |
| gpt-oss 120B, špička, jeden server na GPU | 787.9 | 905.8 |
| gpt-oss 120B, jeden požadavek, rozdělený podle vrstev | 170.6 | 182.4 |
| gpt-oss 120B, vrchol, rozdělený vrstvou | 539.2 | 619.4 |
Spuštění jednoho serveru na GPU zvýšilo maximální výkon T4 1.85krát až 2.02krát napříč všemi čtyřmi modely. Maximální výkon se zvýšil z 582.5 na 1 176,1 tokenů za sekundu na Ministral 3 3B, z 383.6 na 765.7 na modelu 8B a ze 158.1 na 310.8 na Qwen3.8 27B, což představuje 1.97krát až 2.02krát větší škálování. gpt-oss 120B se škáloval 1.85krát na 787.9 tokenů za sekundu na T4 a 1.98krát na 905.8 na Precision 7875, který dosáhl svého vrcholu při 128 souběžných požadavcích, zatímco T4 dosáhl vrcholu 64.
Rozdělení gpt-oss 120B po vrstvách mezi obě karty je pomalejší způsob, jak použít druhou grafickou kartu, když se model již vejde na jednu. Jednoho uživatele obsluhovala rychlostí 170.6 tokenů za sekundu, což je do 3 procent od jedné karty, a vrcholu dosáhla na 539.2, což je o 27 procent více než jedna grafická karta a výrazně méně než 787.9, které dosáhly dvě repliky. Rozdělené rozvržení si vydobylo své místo u modelů, které se nevejdou na jednu kartu, a zde přichází na řadu MiniMax M2.7.
| Server llama.cpp, gpt-oss 120B, výzvy k zadání 8 192 tokenů, výstupy 1 024 tokenů | T4, jedna grafická karta | T4, dvě GPU, jeden server na GPU | T4, dvě GPU, rozdělené po vrstvách | Precision 7875, dvě grafické karty, jeden server na každou grafickou kartu |
|---|---|---|---|---|
| 1 souběžných: celková propustnost (tokeny/s) | 1,502 | 1,504 | 1,536 | 1,530 |
| 1 souběžných: doba do prvního tokenu, medián (ms, nižší je lepší) | 1,189 | 1,180 | 719 | 1,189 |
| 8 souběžných: celková propustnost (tokeny/s) | 2,760 | 4,820 | 3,300 | 4,949 |
| 8 souběžných: výstup na uživatele (tokeny/s) | 38.3 | 66.9 | 45.8 | 68.7 |
| 8 souběžných: doba do prvního tokenu, medián (ms, nižší je lepší) | 2,654 | 2,523 | 1,622 | 2,472 |
| 64 souběžných: celková propustnost (tokeny/s) | 3,823 | 7,091 | 4,853 | 7,557 |
| 64 souběžných: výstup na uživatele (tokeny/s) | 6.6 | 12.3 | 8.4 | 13.1 |
| 64 souběžných: doba do prvního tokenu, medián (ms, nižší je lepší) | 3,874 | 3,226 | 2,852 | 2,867 |
Úplný rozběh na gpt-oss 120B ukazuje, jak druhá karta mění křivku, přičemž celková propustnost se počítá společně s výstupními tokeny. Jedna GPU se zvýšila z 1 502 tokenů za sekundu pro jeden požadavek na 2 760 při osmi požadavcích a 3 823 při 64 požadavcích, kde každý uživatel obdržel 6.6 výstupních tokenů za sekundu. S jedním serverem na GPU běželo osm požadavků s rychlostí 4 820 a 64 požadavků dosáhlo 7 091, což je 1.85krát jedna karta, což představuje 12.3 tokenu za sekundu na uživatele. Rozdělení modelu dosáhlo vrcholu níže na 4 853, ale první token jednoho uživatele byl vrácen za 719 ms oproti 1 189 ms.
MiniMax M2.7: Model příliš velký pro jednu grafickou kartu
| MiniMax M2.7 Q4_K_M, 129.3 GB (čím vyšší, tím lepší, pokud není uvedeno jinak) | Dell Pro Precision 9 T4 | Dell Precision 7875 | Dell Pro Precision 9 T2 | Dell Pro Max Tower T2 |
|---|---|---|---|---|
| Jeden GPU plus systémová RAM, jeden požadavek (tokeny/s) | 30.3 | 32.8 | 22.6 | 15.8 |
| Jeden GPU plus systémová RAM, špička (tokeny/s) | 35.5 | 39.1 | 27.7 | 18.0 |
| Jedna grafická karta plus systémová RAM, doba do prvního tokenu (ms, nižší je lepší) | 16,224 | 16,143 | 16,216 | 18,522 |
| Dvě GPU rozdělené podle vrstev, jeden požadavek (tokeny/s) | 83.7 | 85.0 | Jeden grafický procesor | Jeden grafický procesor |
| Dvě GPU rozdělené podle vrstev, vrchol (tokeny/s) | 127.3 | 129.5 | Jeden grafický procesor | Jeden grafický procesor |
| Dvě GPU rozdělené podle vrstev, doba do prvního tokenu (ms, nižší je lepší) | 3,138 | 3,162 | Jeden grafický procesor | Jeden grafický procesor |
| Studené zatížení, jedna grafická karta plus RAM (s, méně je lepší) | 40.5 | 65.8 | 37.6 | 81.1 |
| Studené zatížení, dvě GPU rozdělené (s, nižší je lepší) | 27.6 | 50.7 | Jeden grafický procesor | Jeden grafický procesor |
MiniMax M2.7 je model smíšených expertů s 230 miliardami parametrů a naše 4bitová kvantizace zabere 129.3 GB, což je více než 96 GB na jedné RTX PRO 6000. Na jedné kartě se zbytkem v systémové paměti T4 generoval 30.3 tokenů za sekundu pro jednoho uživatele a vrácení prvního tokenu trvalo 16.2 sekundy. Rozděleno mezi obě karty generoval 83.7 tokenů za sekundu, což je 2.8krát rychleji, vrátil první token za 3.1 sekundy a dosáhl vrcholu 127.3 tokenů za sekundu oproti 35.5.
Výsledky s jedním GPU ukazují, jak moc záleží na hostitelské platformě, jakmile model přejde do systémové paměti. Osm kanálů DDR5-6400 u T4 ho řadí o 34 procent před čtyřkanálový Pro Precision 9 T2 s 22.6 tokeny za sekundu a 1.9krát před dvoukanálový Pro Max Tower T2 s 15.8 tokeny za sekundu, a to i přesto, že 600W karta Pro Max Tower T2 je rychlejší ve všech modelech, do kterých se vejde. Precision 7875 překonal T4 s 32.8 tokeny za sekundu s o 35 procent menší šířkou pásma paměti, takže samotná šířka pásma o tomto výsledku nerozhoduje. Náskok 7875 uvádíme naměřený a nevyčlenili jsme jeho příčinu.
Načítání modelu
| Načtení modelu Ollama 0.40.3 a llama.cpp (s, čím nižší, tím lepší) | Dell Pro Precision 9 T4 | Dell Precision 7875 | Dell Pro Precision 9 T2 | Dell Pro Max Tower T2 |
|---|---|---|---|---|
| gpt-oss:20b (12.8 GB), za studena | 5.79 | 7.61 | 5.57 | 7.95 |
| gpt-oss:20b, teplý | 3.45 | 2.50 | 3.47 | 3.05 |
| gpt-oss:120b (60.9 GB), za studena | 15.16 | 25.80 | 15.16 | 28.18 |
| gpt-oss:120b, teplý | 7.49 | 5.01 | 7.87 | 6.81 |
| gpt-oss:120b, za studena, jedna kopie na každém GPU | 26.47 | 35.55 | Jeden grafický procesor | Jeden grafický procesor |
| MiniMax M2.7 (129.3 GB), chladný, jedna grafická karta plus RAM | 40.5 | 65.8 | 37.6 | 81.1 |
| MiniMax M2.7, zahřívaný, jedna grafická karta plus RAM | 28.6 | 15.2 | 36.7 | 80.5 |
Studené načítání z disků Gen5 upřednostňuje disky, přičemž T4 načte gpt-oss:120b ze svého SSD disku SK hynix Gen5 za 15.2 sekundy, což je srovnatelné s Pro Precision 9 T2 a výrazně lepší než 25.8 a 28.2 sekundy u Precision 7875 a Pro Max Tower T2 s Gen4. Teplé načítání z mezipaměti stránek probíhá v opačném pořadí, přičemž 7875 načte za 5.0 sekundy oproti 7.5 sekundám u T4 a načtení kopie na každou GPU najednou trvalo u T4 26.5 sekundy.
Generování rozšířeného vyhledávání ve velkém měřítku
| RAG přes 1 002 067 pasáží z Wikipedie | Dell Pro Precision 9 T4 | Dell Precision 7875 | Dell Pro Precision 9 T2 | Dell Pro Max Tower T2 |
|---|---|---|---|---|
| Embedding, jeden GPU (průchody/s) | 1,126 | 1,196 | 1,141 | 1,388 |
| Doba vkládání na zeď, jedna GPU (s, méně je lepší) | 890 | 838 | 878 | 722 |
| Vkládání, dva GPU (průchody/s) | 2,162 | 2,371 | Jeden grafický procesor | Jeden grafický procesor |
| Doba vkládání na zeď, dvě GPU (s, nižší je lepší) | 464 | 423 | Jeden grafický procesor | Jeden grafický procesor |
| Sestavení indexu HNSW (s, nižší je lepší) | 27.3 | 34.8 | 46.3 | 118.6 |
| HNSW vyhledávání, ef 64 (dotazy/y) | 98,503 | 65,228 | 45,085 | 17,540 |
| HNSW vyhledávání, ef 256 (dotazy/y) | 32,149 | 19,598 | 13,478 | 4,932 |
| Recall@5 vs. přesné vyhledávání, efektivita 256 (%) | 97.59 | 97.67 | 97.26 | 97.70 |
| Otázka k odpovědi p50 (s, nižší je lepší) | 0.123 | 0.082 | 0.117 | 0.095 |
Test RAG-at-scale skrývá otázky SQuAD mezi milionem pasáží z Wikipedie, vkládá je pomocí nomic-embed-text, vytváří index HNSW a odpovídá pomocí Phi-4-mini. Vkládání trvalo 890 sekund na jedné grafické kartě T4 a 464 sekund na dvou, což je 1.92násobné zrychlení, a Precision 7875 dokončil test za 423 sekund na dvou kartách. 600W karta v Pro Max Tower T2 je zde s časem 722 sekund nejrychlejší samostatnou grafickou kartou.
Vytvoření indexu a vektorové vyhledávání běží na CPU a v tom T4 vede. Index HNSW sestavil za 27.3 sekundy oproti 34.8 sekundám u Precision 7875 a 118.6 sekundám u Pro Max Tower T2 a prohledával rychlostí 98 503 dotazů za sekundu s ef 64, což je 1.51krát více než 7875 a 5.6krát více než systém Core Ultra. S ef 256 zpracoval 32 149 dotazů za sekundu s 97.6% vyhodnocením oproti přesnému vyhledávání a odpovědi byly nalezeny s mediánem 0.12 sekundy.
Doladění
| Ministral 3 8B LoRA, BF16, jedna epocha Dolly 15k | Dell Pro Precision 9 T4 | Dell Precision 7875 | Dell Pro Precision 9 T2 | Dell Pro Max Tower T2 |
|---|---|---|---|---|
| Doba trénování epochy, jedna GPU (minuty, čím níže, tím lépe) | 31.5 | 27.2 | 30.6 | 22.3 |
| Propustnost, jeden GPU (tokeny/s) | 1,584 | 1,834 | 1,631 | 2,236 |
| Ztráta před a po tréninku, jedna GPU | 1.534 1.169 na | 1.534 1.172 na | 1.534 1.167 na | 1.534 1.167 na |
| Doba trénování epochy, dvě GPU (minuty, čím níže, tím lépe) | 19.7 | 18.1 | Jeden grafický procesor | Jeden grafický procesor |
| Propustnost, dva GPU (tokeny/s) | 2,528 | 2,754 | Jeden grafický procesor | Jeden grafický procesor |
| Zrychlení z druhé grafické karty | 1.60x | 1.50x | Jeden grafický procesor | Jeden grafický procesor |
| Ztráta po tréninku, dvě grafické karty | 1.167 | 1.168 | Jeden grafický procesor | Jeden grafický procesor |
Jednoepochový LoRA test dolaďuje Ministral 3 8B v BF16 na Dolly 15k napříč 1 849 kroky a dosahuje 200 případů vydržení každých 100 kroků. Každý systém začal se ztrátou vydržení 1.534 a skončil mezi 1.167 a 1.172, takže výsledkem, který je odděluje, je doba trvání epochy. Jedna GPU T4 skončila za 31.5 minuty s 1 584 tokeny za sekundu, což je do 3 procent oproti Pro Precision 9 T2 na stejné kartě Max-Q. Precision 7875 trvala 27.2 minuty a 600W karta v Pro Max Tower T2 22.3 minuty.
Ztráta na T4 klesla v prvních 100 krocích, po 1.6 minutě tréninku, z 1.534 na 1.219 a poté se během zbytku epochy zpomalila na 1.169. Přidání druhé grafické karty zkrátilo epochu T4 na 19.7 minuty s 2 528 tokeny za sekundu, což je 1.60násobné zrychlení a skončilo před 22.3 minutami u jedné 600W karty. Precision 7875 dokončila svou epochu se dvěma GPU za 18.1 minuty, což je 1.50násobné zrychlení, a běhy se dvěma GPU skončily s ztrátami 1.167 a 1.168.
Obě karty běží paralelně s daty, dva příklady na GPU a gradienty se akumulují do stejné globální dávky osmi, během čtyř průchodů na jednom GPU a dvou průchodů na páru, takže běh na dvou GPU vidí v každém kroku stejné příklady a končí se stejnou ztrátou. Se dvěma krátkými příklady na GPU v každém průchodu má druhá karta málo práce k absorbování a výměna gradientů zabírá větší podíl v každém kroku. Epocha dosáhla vrcholu 19.5 GiB paměti GPU na jedné kartě a 19.7 GiB na kartu na dvou, což je zlomek 96 GB na každé RTX PRO 6000.
Kódovací agent, maloobjemový RAG a generování obrazu
| Kódovací agent, RAG a generování obrázků (vyšší hodnota je lepší, pokud není uvedeno jinak) | Dell Pro Precision 9 T4 | Dell Precision 7875 | Dell Pro Precision 9 T2 | Dell Pro Max Tower T2 |
|---|---|---|---|---|
| Kódovací agent, gpt-oss:20b 64K, úspěšné spuštění (z 3) | 3 | 2* | 2* | 2* |
| Kódovací agent, gpt-oss:120b 128K, úspěšné spuštění (z 3) | 3 | 3 | 3 | 3 |
| Kódovací agent, gpt-oss:120b, rychlost generování (tokeny/s) | 161.5 | 167.9 | 166.7 | 183.2 |
| RAG, 20 963 pasáží, požití (pasáže/y) | 304.6 | 433.8 | 392.1 | 371.6 |
| Generování odpovědí RAG, Phi-4-mini (tokeny/s) | 372.5 | 410.0 | 402.8 | 415.8 |
| FLUX.2 klein 4B BF16, 1024×1024 (snímky/min) | 40.96 | 43.03 | 41.32 | 54.25 |
| Z-Image Turbo 6B BF16 (obrázků/min) | 17.29 | 17.67 | 17.27 | 23.83 |
| Qwen-Image 20B BF16 (obrázků/min) | 2.43 | 2.45 | 2.39 | 3.20 |
*Označeno sadou: jeden ze tří agentů spuštěných v tomto systému neprošel všemi 11 testy.
T4 prošel každým spuštěním kódovacího agenta na každé modelové úrovni, včetně všech tří běhů gpt-oss:20b v kontextu 64K, kde ostatní tři systémy prošly dvěma ze tří, a na gpt-oss:120b generoval 161.5 tokenů za sekundu. Generování obrázků běží na jednom GPU, takže 40.96 obrázků za minutu u T4 na FLUX.2 klein v BF16 se umístí po boku ostatních systémů Max-Q a za 600W kartou s 54.25.
Výkon CPU
Výsledky CPU srovnávají 86 jader Xeonu u T4 s 96 jádry Threadripperu u Precision 7875, přičemž referenčními body jsou dva 24jádrové T2. Threadripper má o deset jader více a oproti 172 vláknům u Xeonu přináší 192 vláken. T4 vede tam, kde o výsledku rozhoduje šířka pásma paměti, a 7875 vede tam, kde o výsledku rozhoduje počet jader a takt.
Komprese, vykreslování a kompilace
| test | Dell Pro Precision 9 T4 | Dell Precision 7875 | Dell Pro Precision 9 T2 | Dell Pro Max Tower T2 |
|---|---|---|---|---|
| 7-Zip, všechna vlákna (GIPS) | 619.8 | 850.0 | 285.1 | 172.7 |
| 7-Zip, jedno vlákno (GIPS) | 8.85 | 10.58 | 9.27 | 11.04 |
| Blender 4.5 Monster (vzorky/min) | 961.8 | 1,253.8 | 400.7 | 303.0 |
| Blender 4.5 Junkshop (vzorky/min) | 641.9 | 849.7 | 266.9 | 191.9 |
| Blender 4.5 Classroom (vzorky/min) | 442.8 | 612.2 | 187.2 | 147.1 |
| Ruční brzda x265 (fps) | 31.4 | 41.7 | 41.5 | 40.0 |
| Ruční brzda SVT-AV1 (fps) | 159.4 | 255.8 | 198.5 | 122.6 |
| Sestavení LLVM 21 (verze, čím nižší, tím lepší) | 58.4 | 43.7 | 106.4 | 155.9 |
| Linuxové jádro allmodconfig (s, nižší hodnota je lepší) | 312 | 264 | 537 | 843 |
| OpenSSL AES-256-GCM, všechna vlákna (GB/s) | 882.6 | 1,139.1 | 371.2 | 137.0 |
| nginx, 1 000 připojení (požadavky/s) | 414,468 | 467,128 | 323,567 | 153,732 |
T4 dosáhl v 7-Zip skóre 619.8 GIPS a v Blender Monster 961.8 vzorků za minutu, což je 2.2 a 2.4krát více než 24jádrový Pro Precision 9 T2. Precision 7875 měl v 7-Zip o 37 procent náskok a v Blenderu o 30 procent. Sestavení LLVM dokončil za 43.7 sekundy oproti 58.4 sekundám a sestavení linuxového jádra allmodconfig za 264 sekund oproti 312 sekundám. Slabinou T4 je rychlost na jádro, s nejnižším skóre 7-Zip v této skupině, a to 8.85 GIPS.
Kódování x265 u HandBrake je v této tabulce odlehlé a příčinou je spíše kodér než procesor. Ostatní tři systémy se s 24 nebo 96 jádry dostaly mezi 40.0 a 41.7 fps, takže x265 v této předvolbě nezávisí na počtu jader a 31.4 fps u T4 je v souladu s jeho nižší rychlostí na jádro u vláken, která x265 používá. Během kódování dosáhl T4 průměrné frekvence kolem 1 GHz napříč 172 vlákny při 51 °C až 64 °C, což ukazuje, že většina čipu byla v nečinnosti. SVT-AV1 dosáhl lepšího škálování, 159.4 fps u T4 oproti 255.8 u 7875.
Šířka pásma paměti, simulace a matematika
| test | Dell Pro Precision 9 T4 | Dell Precision 7875 | Dell Pro Precision 9 T2 | Dell Pro Max Tower T2 |
|---|---|---|---|---|
| STREAM triáda (MB/s) | 328,329 | 215,177 | 141,832 | 45,102 |
| OpenFOAM 13 drivAer, 3M buňky, řešení (s, nižší je lepší) | 293 | 556 | 826 | Nedokončil/a |
| GROMACS benchPEP, všechna jádra (ns/den) | 1.243 | 1.034 | Nespuštěno | Nespuštěno |
| GROMACS benchMEM, 16 jader (ns/den) | 68.09 | 84.94 | 78.03 | 54.26 |
| OpenBLAS DGEMM, všechna jádra (GFLOPS) | 3,664 | 4,745 | 2,319 | 1,063 |
| Řešení OpenBLAS LU N=20000 (GFLOPS) | 1,660 | 1,172 | 1,616 | 858 |
| y-cruncher Pi, 1 miliard číslic (s, čím nižší je lepší) | 4.01 | 7.45 | 8.51 | 24.61 |
| y-cruncher Pi, 10 miliard číslic (s, čím nižší je lepší) | 53.9 | 83.7 | 119.2 | 347.9 |
| y-cruncher Pi, 25 miliard číslic (s, čím nižší je lepší) | 155.6 | 259.6 | Nespuštěno | Nespuštěno |
Osm kanálů paměti DDR5-6400 dává procesoru T4 v režimu STREAM Triad rychlost 328 GB/s, což je o 53 procent více než u DDR5-5600 u Precision 7875 a 2.3krát více než u čtyřkanálového procesoru Pro Precision 9 T2. Následuje práce s omezenou šířkou pásma: procesor T4 vyřešil problém se skříní OpenFOAM drivAer s 3 miliony buněk za 293 sekund oproti 556 sekundám u 7875 a 826 sekundám u Pro Precision 9 T2, zatímco Pro Max Tower T2 nedokončil ani 150minutový limit sady. Procesor T4 také zvládl skříň s 22.6 miliony buněk za 6 851 sekund.
GROMACS benchPEP, rozsáhlý all-core molekulárně dynamický případ, běžel na T4 s rychlostí 1.243 ns/den oproti 1.034 na 7875 a LU řešení dosáhlo 1 660 GFLOPS oproti 1 172. y-cruncher vypočítal 10 miliard číslic čísla Pí za 53.9 sekundy oproti 83.7 na 7875 a 25 miliard za 155.6 sekundy oproti 259.6. Husté výpočty, které zůstávají v mezipaměti, zvýhodňují Threadripper, který vedl OpenBLAS DGEMM s rychlostí 4 745 GFLOPS oproti 3 664.
Databáze a služby
| test | Dell Pro Precision 9 T4 | Dell Precision 7875 | Dell Pro Precision 9 T2 | Dell Pro Max Tower T2 |
|---|---|---|---|---|
| ClickBench hot run, 43 dotazů (s, nižší je lepší) | 3.21 | 2.88 | 4.80 | 10.44 |
| ClickBench za studena, 43 dotazů (s, nižší hodnota je lepší) | 6.45 | 7.09 | 6.92 | 14.22 |
| Mezipaměť Valkey, SET (požadavky/s) | 666,714 | 1,138,696 | 914,832 | 1,719,108 |
| Mezipaměť Valkey, GET (požadavky/s) | 865,353 | 1,279,429 | 991,576 | 1,648,278 |
| Stockfish, všechna vlákna (Mnps) | 68.21 | 168.27 | 45.44 | 37.42 |
| PyPerformance go (ms, nižší je lepší) | 74.3 | 66.0 | 72.1 | 56.7 |
ClickHouse zpracoval 43 dotazů ClickBench za 3.21 sekundy v horkém režimu a 6.45 sekundy ve studeném režimu na T4, což je o 0.33 sekundy méně než 7875 v horkém režimu a o 0.64 sekundy více než v studeném režimu. Valkey upřednostňuje rychlá jádra před mnoha jádry a T4 s 666 714 SET požadavky za sekundu zaostává za všemi třemi srovnávacími systémy, přičemž Core Ultra 9 285K v Pro Max Tower T2 vede s 1.72 miliony. Tento vzorec odpovídá výsledkům T4 v jednom vlákně a stojí za zvážení pro služby vázané na latenci.
Se všemi 172 načtenými vlákny a průměrnou teplotou procesoru 87 °C prohledal T4 v databázi Stockfish 68.21 milionu uzlů za sekundu, což je 1.5krát více než 48vláknový Pro Precision 9 T2 a výrazně méně než polovina oproti 168.27 uzlů za sekundu u 7875 na 192 vláknech. Test také vypršel při prvním plném běhu T4, než samostatný opakovaný test přinesl toto číslo. Výsledek uvádíme jako naměřený a příčinu slabého škálování jsme dosud neidentifikovali.
Úložná výkonnost
| fio, kapacita 25 GiB (čím vyšší, tím lepší) | Dell Pro Precision 9 T4 | Dell Precision 7875 | Dell Pro Precision 9 T2 | Dell Pro Max Tower T2 |
|---|---|---|---|---|
| Sekvenční čtení 128K (MB/s) | 14,152 | 7,089 | 20,914 * | 7,234 |
| Sekvenční zápis 128K (MB/s) | 10,078 | 5,265 | 12,564 | 6,772 |
| Náhodné čtení 4K, špička (IOPS) | 2,306,346 | 993,569 | 3,214,066 | 1,538,387 |
| Náhodný zápis 4K, špička (IOPS) | 1,830,776 | 787,388 | 2,353,766 | 1,326,030 |
*Označeno sadou pro odchylku mezi spuštěními po opakovaném spuštění.
2TB bootovací disk SK hynix Gen5 v T4 dosahoval rychlosti čtení 14 152 MB/s a zápisu 10 078 MB/s, což je zhruba dvojnásobek sekvenčního čtení oproti diskům Gen4 v Precision 7875 a Pro Max Tower T2. Vrchol dosáhl 2.31 milionu IOPS pro náhodné čtení a 1.83 milionu IOPS pro náhodný zápis. Sekvenční rychlost čtení 20 914 MB/s u Pro Precision 9 T2 překračuje rychlost jednoho linku Gen5 x4, což odpovídá testovacímu objemu systému, tedy pruhovanému poli disků Samsung PM9E1 Gen5. Testovali jsme pouze bootovací disk T4 a druhý 2TB disk nebyl součástí tohoto testu.
Teploty a hodiny při zátěži
| Dell Pro Precision 9 T4 | Max. výkon CPU (C) | Průměrná hodnota CPU (C) | Průměrný takt CPU (MHz) |
|---|---|---|---|
| 7-Zip | 93 | 80.6 | 1,967 |
| Mixér | 91 | 85.7 | 2,587 |
| GROMACS | 96 | 81.3 | 1,313 |
| Sestavení LLVM | 83 | 74.5 | 2,127 |
| OpenBLAS | 80 | 62.9 | 1,325 |
| Poskytování LLM | 84 | 65.0 | 924 |
| Doladění | 71 | 61.2 | 854 |
| RAG ve velkém měřítku | 74 | 64.4 | 987 |
| Skladování | 64 | 55.4 | 942 |
S BIOSem v režimu Ultra Performance dosáhl Xeon 698X maxima 93 °C v 7-Zip a 96 °C v GROMACS. Údaje o taktu v tabulce jsou průměry pro všech 172 logických CPU. Blender a Stockfish zatěžují každé vlákno a udržují frekvenci 2.5 GHz až 2.6 GHz, což je nad základní frekvencí čipu 2.0 GHz. GROMACS a OpenBLAS zatěžují 64 a 86 fyzických jader a zbývající vlákna nechávají nečinná poblíž 0.8 GHz, a proto jejich průměry dosahují přibližně 1.3 GHz. Práce s GPU udržovala procesor chladnější na průměrné hodnotě 61 °C až 65 °C během testování LLM, jemného ladění a RAG, protože tyto testy jsou závislé na grafických kartách.
Závěr
Dell Pro Precision 9 T4 je stvořen pro lokální práci s umělou inteligencí a druhá RTX PRO 6000 se v něm projevuje. Dvě karty Max-Q zvýšily špičkovou propustnost servingu 1.85krát až 2.02krát u čtyř modelů a propustnost embeddingu 1.92krát, zkrátily dobu LoRA na Ministral 3 8B z 31.5 na 19.7 minuty a zkrátily MiniMax M2.7, model, který je pro jednu kartu příliš velký, z 30.3 na 83.7 tokenů za sekundu pro jednoho uživatele. Na gpt-oss 120B dosáhl jeden server na GPU celkem 7 091 tokenů za sekundu při 64 požadavcích, zatímco rozdělení modelu mezi obě karty vrátilo první token jednoho uživatele za 719 ms oproti 1 189 ms.
Osm kanálů DDR5-6400 dalo procesoru Xeon 698X 53% náskok v propustnosti paměti před Threadripperem PRO 9995WX. Díky této propustnosti se procesor T4 dostal do rychlejšího vyhledávání OpenFOAM, GROMACS benchPEP, y-cruncher a HNSW než Precision 7875 a úložiště Gen5 procesoru T4 načítalo velké modely rychleji. Pochvalu si zaslouží i šasi s nejlepším chladicím systémem, jaké jsme od Dellu v této třídě viděli, a beznástrojovým přístupem k napájení.
7875 zůstává v renderování, kompresi a kompilaci s vázanými na jádra o 18 až 38 procent a v SVT-AV1 o 60 procent. Rychlost Xeonu na jádro zaostávala za všemi systémy v této skupině, což se projevilo u Valkey a dalších málo vláknových služeb. Jemné ladění na jedné GPU bylo také pomalejší na T4, kde epocha LoRA trvala 31.5 minuty oproti 27.2 minutám u 7875 a 22.3 minutám u 600W karty v Pro Max Tower T2, přičemž všechny systémy skončily s odchylkou do 0.005 od stejné očekávané ztráty.
S cenou přibližně 66 600 dolarů dle konfigurace na Dell.com je karta T4 vhodná pro týmy, které chtějí zobrazovat, vkládat a dolaďovat modely lokálně, včetně modelů vyžadujících více než 96 GB paměti GPU, a to společně se simulací a analýzou vázanou na paměť na stejném počítači. Kupující, jejichž práce se zabývá převážně renderováním a kompilací, zjistí, že platforma Threadripper je rychlejší, a kupující, kteří potřebují jednu GPU, mohou stejnou kartu získat v menší verzi Pro Precision 9 T2.
Žebříček: Dell Pro Precision 9 T4 drží ocenění Nejlepší Xeon Tower pro lokální AI v našem žebříčku Nejlepší stolní počítače pro lokální AI.
Amazon