Najčastejšia otázka, ktorú sme po našej recenzii dostali ohľadom MSI XpertStation WS300, sa sústreďuje na jednu kľúčovú tému. GB300 Grace Blackwell Ultra Superchip je 1 300 W komponent, ktorý sa bežne nachádza v kvapalinou chladenom racku, takže čo sa stane s teplotou, keď ho umiestnite do veže? Obava je oprávnená: systém GB300, ktorý dosiahne svoj tepelný limit, stratí výkon a systém, ktorý sa pri trvalom inferencii znižuje, neposkytuje to, na čo bol kúpený. V našej recenzii sme uviedli, že WS300 zostal počas testovania chladný a stabilný. Dôvod spočíva vo vlastných údajoch o návrhu chladenia od MSI, ktoré sú tu spárované s teplotnými, výkonovými a taktovacími krivkami, ktoré sme zaznamenali počas behu systému.
Čo musí slučka robiť
Tepelný rozpočet na stanici DGX je stanovený spoločnosťou NVIDIA; modul GB300 má limit výkonu 1 300 W pre SuperChip a celý systém beží na jednom 1 600 W zdroji, ktorý musí napájať aj úložisko, čerpadlá, ventilátory a akúkoľvek voliteľnú kartu RTX PRO. Takmer všetkých týchto 1 300 W končí ako teplo na štyroch miestach: grafická karta Blackwell Ultra s 252 GB pamäte HBM3e, 72-jadrový procesor Grace, 496 GB pamäte v štyroch moduloch SOCAMM LPDDR5X a sieťová karta ConnectX-8 SuperNIC s dvoma optickými portami 400 GbE. Spoločnosť MSI umiestňuje chladiace platne na všetky štyri a slučka prechádza cez dva 360 mm radiátory so šiestimi 120 mm ventilátormi. Samostatný 120 mm ventilátor šasi presúva vzduch cez zvyšok skrine pre SSD disky a ďalšie vzduchom chladené časti. Spoločnosť MSI udáva spotrebu procesora a grafickej karty na 1 400 W, čo je zhruba o 100 W viac, ako NVIDIA udáva pre superčip.
Tá 100W rezerva je konštrukčné rozhodnutie, na ktorom dosť záleží. Slučka určená len pre nominálnu záťaž nemá miesto pre teplú kanceláriu, prašný radiátor alebo ventilátor bežiaci pod plnou rýchlosťou. Slučka s rezervou nad limitom výkonu znamená, že kremík dosiahne svoj výkonový strop skôr, ako dosiahne svoj tepelný strop.
Údaje o chladiacom paneli od spoločnosti MSI
Spoločnosť MSI sa s nami podelila o charakterizačné údaje, ktoré stoja za slučkou. Spoločnosť túto metodiku nazýva CIT, čo znamená Component Integrity Test (Test integrity komponentov), a krivky označuje ako empirické: boli merané na skúšobnej stolici počas opakovaných tlakových a tepelných cyklov. Prvý graf je ten, ktorý najviac zaujíma tepelného inžiniera. Zobrazuje tepelný odpor v stupňoch Celzia na watt pre studené dosky GPU a CPU v závislosti od prietoku chladiacej kvapaliny spolu s poklesom tlaku, ktorý každá doska spôsobuje pumpe.
Prietok prietoku grafickej karty (GPU) začína na hodnote okolo 0.031 C/W pri miernom poklese prietoku 0.3 litra za minútu a strmo klesá so zvyšujúcim sa prietokom, pričom prietok dosahuje približne 0.017 C/W pri 1.5 l/min a 0.012 C/W pri 3 l/min. Prietok prietoku CPU, ktorý pokrýva časť s oveľa nižšou spotrebou energie, je umiestnený vyššie, približne 0.028 C/W pri 1.5 l/min. Tepelný odpor je multiplikátor, ktorý premieňa watty na stupne: pri prietoku 1.5 l/min každých 100 W prejdených GPU doskou predstavuje nárast tlaku medzi chladiacou kvapalinou a doskou približne o 1.7 °C. Ak cez ňu prejdete 1 000 W, doska sa dostane približne o 17 °C nad vodu. Nevýhodou je pokles tlaku, ktorý stúpa s druhou mocninou prietoku. Pri prietoku 1.5 l/min stojí GPU čerpadlo približne 1.1 PSI a CPU doska približne 1.9 PSI. Krivky sa pri prietoku nad 2 l/min splošťujú, a preto je slučka navrhnutá tak, aby fungovala v rozsahu 1.5 až 2 l/min; vyšší prietok znamená klesajúci tepelný výnos a tým aj vysoké náklady na čerpadlo.
Radiátory, ventilátory a kompromis v oblasti hluku
Druhá sada grafov pokrýva druhý koniec slučky. ATD je termín pre rozdiel okolitých teplôt, čo je stúpanie chladiacej kvapaliny nad vzduch v miestnosti po tom, čo opustí radiátory. Je to číslo, ktoré určuje spodnú hranicu teploty každého komponentu v systéme, pretože nič v slučke nemôže bežať chladnejšie ako voda, ktorá ho napája. Spoločnosť MSI zobrazuje ATD v závislosti od tepelného zaťaženia pre dvojicu 360 mm radiátorov pri prietokoch od 1 do 2 l/min, raz so šiestimi ventilátormi na 100 percent PWM (modulácia šírky impulzu) a raz na 60 percentách.
Pri plnej rýchlosti ventilátorov udržiavajú radiátory chladiacu kvapalinu v rozmedzí 5 až 9 °C okolitého prostredia pri tepelnom zaťažení 1 000 W v celom rozsahu prietoku a v rozmedzí 8 až 12 °C pri 1 400 W, čo je nad výkonovým limitom superčipu. Krivky sú takmer lineárne a pomalšia chladiaca kvapalina zostáva v radiátore dlhšie a vychádza bližšie k izbovej teplote, a preto je čiara 1 l/min najnižšia; kompromisom je vyšší odpor studenej dosky pri nízkom prietoku z prvého grafu, takže prevádzkový bod slučky je rovnováhou medzi týmito dvoma. Graf 60-percentnej PWM je realistickejší pre systém vedľa stola, pretože v kancelárii nikto nepoužíva (alebo nechce používať) šesť 120 mm ventilátorov na plný výkon.
Pri 60 percentách sa ATD zhruba zdvojnásobí: o 10 až 16 °C pri 1 000 W a o 15 až 23 °C pri 1 400 W, čo je relatívne mierny pokles. Aj pri plnom výkone Superchipu a znížených otáčkach ventilátora chladiaca kvapalina vstupuje do chladiacich platní maximálne o 23 °C nad teplotou miestnosti. Pridajte 17 °C zdvih platne GPU z prvého grafu a balík Blackwell Ultra beží pri 1 000 W s teplotou približne 40 °C nad teplotou okolia, čo je hlboko v rámci svojho prevádzkového rozsahu v akejkoľvek bežnej kancelárii. Posledný graf MSI je krivka impedancie na strane vzduchu chladiča, ktorá zobrazuje tlak, ktorý musia ventilátory prekonať, aby pretlačili vzduch cez rebrovaný rad, pričom dosahuje približne 1 mm vody pri 135 CFM a 2 mm pri 185 CFM. Ide o jadro s nízkou reštrikciou, čo umožňuje ventilátorom bežať pomaly.
Naša jazda: ~3 hodiny na GB300
Krivky návrhu hovoria, čo by mala slučka robiť. Aby sme zistili, čo v skutočnosti robí, zaznamenávali sme WS300 počas 2.8-hodinovej relácie pozostávajúcej z piatich fáz: 75-minútové zapaľovanie pri trvalom zaťažení GPU, potom DeepSeek v4 Flash obsluhovaný cez vLLM v troch profiloch, rovnaké zaťaženie 512 vstupných a 512 výstupných tokenov, zaťaženie s intenzívnym predfillovaním 8 192 vstupných a 1 024 výstupných tokenov a zaťaženie s intenzívnym dekódovaním 1 024 vstupných a 8 192 výstupných tokenov, ktoré prechádzalo zvyšujúcou sa súbežnosťou, po čom nasledovalo okno pozorovania v nečinnosti. Nepretržite sme vzorkovali telemetriu GPU, HBM, CPU a napájania. Teploty chladiacej kvapaliny, vzduchu v šasi a dosky pochádzajú z BMC, ktorý sme monitorovali každé dve minúty. Tieňované oblasti v každom grafe označujú fázy.
Počas celého zapaľovania sa čip Blackwell Ultra udržiaval na teplote 60 °C, pričom HBM3e bol približne o 10 °C teplejší pri 70 °C a Grace na 64 °C. Toto sú čísla v ustálenom stave pri približne 1 000 W výkonu GPU a počas 75 minút sa nezvyšovali, čo je znakom slučky, ktorá dosiahla rovnováhu s rezervou. Inferenčné fázy sú v priemere chladnejšie, pretože záťaž je prudšia: GPU opäť dosiahla vrchol 60 °C počas rovnakého zaťaženia a 58 °C počas dlhého dekódovacieho nábehu, pričom HBM dosiahol vrchol 73 °C. Pílovitý kmit na krivke DRAM je artefaktom vzorkovacieho intervalu BMC; samotný LPDDR5X dosiahol vrchol okolo 75 °C. Najteplejším senzorom v krabici počas väčšiny behu bol ConnectX-8 s 76 až 77 °C. Teploty v pokoji sa ustálili na 33 až 36 °C pre GPU a HBM a okolo 48 °C pre Grace.
Počas zapaľovania chladiaca kvapalina opúšťala chladiče s teplotou 37 °C a vracala sa zo studených dosiek s teplotou 47 °C, čo predstavuje nárast o 10 °C v celom okruhu. Vzduch vo vnútri skrine dosiahol 46 °C, základná doska BMC 52 °C a snímač najteplejšej dosky 56 °C. Každá z týchto čiar sa počas prvých 15 minút zaťaženia ustáli a zostane stabilná, potom sa po zastavení zaťaženia v priebehu niekoľkých minút vráti späť. Pri voľnobehu sa teplota chladiacej kvapaliny pohybovala na úrovni 30 až 31 °C.
Počas zapaľovania sa GPU udržalo na približne 995 W, pričom Grace pridal ďalších 85 až 90 W, čím sa celkový výkon Superchipu blížil k 1 080 W, čo je zaťaženie, ktorému zodpovedá vyššie uvedená delta chladiacej kvapaliny. Rovnaké zaťaženie sa pri vysokej súbežnosti krátko dotklo rovnakej úrovne 1 000 W GPU; fáza s intenzívnym predplnením prebiehala v krátkych intervaloch až do celkovej spotreby približne 1 050 W; a nárast s intenzívnym dekódovaním je najjasnejším obrazom toho, ako inferenčný server zaťažuje GPU, pričom sa zvýšil z približne 500 W na niečo vyše 1 000 W, pričom sa súbežnosť v každej fáze zdvojnásobovala. V žiadnom bode behu sa celkový výkon Superchipu nedostal pod 200 W z limitu 1 300 W vyznačeného v grafe. Pre každého, kto plánuje spotrebu, stojí za zmienku režim nečinnosti: samotná GPU spotrebuje 150 až 210 W, keď nič nebeží, a celkový výkon Superchipu je v nečinnosti 220 až 290 W.
Blackwell Ultra bežal od začiatku zaťažovania až do konca na frekvencii približne 2.07 GHz, pričom v každej fáze pretrvávala rovná krivka bez akýchkoľvek poklesov. Grace sa držal okolo 3.5 GHz s normálnym jitterom, HBM zostal na 4 000 MHz a LPDDR5X zostal na 3 200 MHz. Tepelne obmedzená GPU sa tu javí ako veľmi trhaná, pretože algoritmus boost sa zastaví a zotaví; energeticky obmedzená GPU sa javí ako frekvencia, ktorá sleduje záťaž; v našich testoch sa však neobjavuje ani jeden z týchto vzorcov. Pri týchto záťažiach nebol systém ani dostatočne horúci, ani dostatočne energeticky obmedzený, aby opustil svoju maximálnu frekvenciu.
Spojenie dvoch dohromady
Krivky spoločnosti MSI a naše merania boli vytvorené nezávisle a spoločne vedú k rovnakému záveru. Vychádzame zo nárastu teploty chladiacej kvapaliny o 10 °C pri 1 080 W. Teplo prenášané kvapalinou je prietok vynásobený nárastom teploty, takže táto delta znamená prietok chladiacej kvapaliny približne 1.5 litra za minútu pre chladiacu kvapalinu na vodnej báze, čo je presne v rozsahu charakterizovanom spoločnosťou MSI. Prečítajte si tabuľku chladičov spoločnosti MSI pri tomto prietoku a zaťažení: pri 100 percentách otáčok ventilátora by chladiaca kvapalina mala byť približne o 8 °C nad teplotou v miestnosti; pri 60 percentách približne o 14 °C. V laboratóriu spoločnosti MSI sme nemali kalibrovanú sondu okolitého prostredia, takže túto slučku nemôžeme s istotou uzavrieť, ale teplota prívodu 37 °C je konzistentná s teplou laboratórnou miestnosťou a ventilátormi bežiacimi výrazne pod plnou rýchlosťou.
Pri 1.5 l/min je nameraný odpor dosky GPU približne 0.017 C/W, čo pri 995 W predpovedá nárast od chladiacej kvapaliny k doske 17 °C. Merali sme čip Blackwell Ultra pri 60 °C oproti napájaniu 37 °C, čo je medzera 23 °C. Rozdiel 6 °C medzi nimi je spôsobený tepelným rozhraním a samotným puzdrom, teda časťou dráhy, ktorú studená doska nedokáže ovládať, a pre GPU s dvoma mriežkami tejto veľkosti je to malé číslo. Doska robí to, čo ukazujú údaje z benchmarku MSI, a rozdiel medzi čipom a chladiacou kvapalinou je určený fyzikou.
Ak použijeme rozpočet opačne, priestor, o ktorom sme hovorili skôr, sa stane viditeľnejším. Grafické procesory NVIDIA pre dátové centrá nezačnú znižovať frekvenciu, kým čip nedosiahne 80 °C, takže WS300 pri plnom trvalom zaťažení ponechávala približne 20 °C medzi čipom Blackwell Ultra a bodom, kde by sa mal zapojiť tepelný manažment, a to pri spotrebe 1 080 W slučkou. Dokonca aj pri najhoršom prípade limitu 1 300 W pre Superchip ďalších 220 W cez dosku s pomerom C/W 0.017 pridáva na GPU menej ako 4 °C a graf chladiča MSI ukazuje, že chladiaca kvapalina stúpa len o približne 2 °C pri tomto dodatočnom zaťažení.
Čo to znamená pre kupujúceho
WS300 sa pri trvalom inferenciálnom alebo syntetickom zaťažení nestimuluje, pretože jeho chladiaci okruh bol dimenzovaný nad limit výkonu superčipu a namerané teploty nechávajú na GPU zhruba 20 °C rezervu, pričom HBM a CPU sú stále chladnejšie v porovnaní so svojimi limitmi. Komponent, ktorý sa najviac zohrieva, je ConnectX-8, a preto je vôbec v okruhu. Teploty chladiacej kvapaliny sa stabilizujú do 15 minút a obnovia sa v priebehu niekoľkých minút, takže úlohy, ktoré sa spúšťajú po sebe, nehromadia teplo. Rýchlosť ventilátora je jediným prvkom medzi hlukom a teplotou chladiacej kvapaliny a údaje MSI o 60 percentách ukazujú, že systém dokáže odovzdať veľa prúdu vzduchu predtým, ako sa ventilátory musia zvýšiť. Jedna vec, ktorá sa nezmenšuje, je elektrická stránka: v Severnej Amerike je stále potrebný 20A obvod a odber v nečinnosti v rozsahu 220 až 290 W predstavuje náklady na udržiavanie 252 GB HBM3e a 72-jadrového procesora Arm pripraveného na prevádzku. Na druhej strane, s takouto investíciou by systém mal byť zriedkakedy nečinný.
Túto správu sponzoruje spoločnosť MSI. Všetky názory a stanoviská vyjadrené v tejto správe vychádzajú z nášho nestranného pohľadu na posudzovaný(e) produkt(y).
Amazonka