Podcast č. 152: Tepelná dynamika a chladicí architektury datových center s Timem Sheddem

Brian se nedávno setkal s Timem Sheddem, odborníkem na tepelný management a průkopníkem v technologiích kapalinového chlazení. Podcast se zabývá některými historickými aspekty kapalinového chlazení datových center, od Timovy práce s Crayem a stříkání kapaliny do trubic až po jeho nedávné angažmá s počítačem Dell PowerEdge XE9680.

Tim Shedd je odborník v oboru a strojní inženýr specializující se na tepelný management, kapalinové chlazení a infrastrukturu datových center. Díky své kariéře zahrnující akademický výzkum jako profesor na University of Wisconsin-Madison, základní inženýrské role ve společnosti Motivair a vedoucí technické vedení v organizaci CTO společnosti Dell Technologies je v popředí architektury chlazení s vysokou hustotou. Jeho práce se zaměřuje na propojení pokročilé tepelné fyziky a hyperškálovatelné vyrobitelnosti, stanovení standardů pro chladicí distribuční jednotky a optimalizaci energetické účinnosti datových center napříč vzduchem a kapalinou chlazenými hardwarovými topologiemi.

Tento podcast nabízí skvělý vhled do vývoje termálních technologií od mainframů, přes HPC platformy až po současné serverové technologie. Za méně než hodinu lépe pochopíte, jak to ovlivňuje mnoho aspektů efektivního chodu našich technologií.

Pokud nemáte čas se na to podívat celý, rozdělili jsme to na pětiminutové segmenty, abyste si mohli vybrat ten, který je pro vás nejdůležitější.

[00:00] Vývoj kapalinového chlazení od HPC k podnikové umělé inteligenci

Úvodní část nastiňuje historický vývoj kapalinového chlazení od specializovaných instalací superpočítačů až po komerční podnikové aplikace s vysokou hustotou a zdůrazňuje rané volby v oblasti tepelného designu.

• Raná výpočetní prostředí se spoléhala na odpařovací chlazení a základní nucenou konvekci vzduchu, než dosáhla limitů daných vysoce hustými výpočetními systémy (HPC) a zrychlenými výpočetními úlohami.
• Počáteční akademické experimenty s architekturami Cray zahrnovaly přímé postřikování kapalinou na trubice, což se ukázalo jako technicky proveditelné, ale komerčně neúnosné.
• Zvýšení hustoty výkonu racků po roce 2015 donutilo výrobce originálního vybavení (OEM) navrhovat standardizované podnikové systémy s kapalinovým chlazením, což do roku 2019 vyvrcholilo modely pro výrobu racků s vysokou hustotou.
• Dodavatelské řetězce OEM se přesunuly z výroby několika tisíc kapalinou chlazených uzlů ročně na škálování dodávek do tisíců výrobních systémů týdně.
• Podnikové platformy Workhorse, jako je PowerEdge XE9680, nejrychleji rostoucí server v historii společnosti Dell, vyvažovaly tepelné zátěže z raných fází vývoje umělé inteligence pomocí hustých vzduchových chladičů spárovaných s výměníky tepla v zadních dvířkách, než se stalo povinným plné přijetí přímého napájecího napětí (DIM).

[05:00] Testování teplotních bodů zlomu a fyziky tekutin ve velkém měřítku

Tato část zkoumá laboratorní hodnocení konkurenčních tepelných technologií a podrobně popisuje, proč se jednofázové smyčky pro přímé napájení čipem staly dominantní architekturou oproti imerzním systémům.

• Validační laboratoře výrobců originálních zařízení (OEM) provedly rozsáhlé testování smyček se studenými destičkami, sítí s podtlakem, imerzních konfigurací a dvoufázových systémů, aby stanovily základní linie nasazení.
• Tepelné zatížení křemíkových čipů se historicky s každou generací postupně zvyšovalo, což umožňovalo standardní chlazení vzduchem a základní kapalinové chlazení, dokud TDP nepřekročilo rozsah 500 W až 1000 W.
• Imerzní chlazení nabízí provozní výhody pro široce rozptýlené tepelné profily, jako jsou kryptofarmy, ale potýká se s lokalizovanými, vysoce koncentrovanými tepelnými toky, které se vyskytují na moderních urychlovačích.
• Voda smíchaná s 25 % propylenglykolu (PG25), dodávaná přes mikrokanálové chladicí desky, se stal primárním standardem díky svému předvídatelnému škálování, dostupnosti dodávek a zavedeným vlastnostem přenosu tepla.
• Standardy otevřeného ekosystému zůstávají klíčové pro získávání chladicích desek, rozdělovačů a rychlospojek od více dodavatelů bez snížení výkonu.

[10:00] Standardizace, interoperabilita s více dodavateli a mechanická spolehlivost

Diskuse se přesouvá k provozní realitě nasazení tekutého hardwaru se zaměřením na integraci komponent od více dodavatelů, vymezení odpovědnosti a integritu materiálu.

• Míchání chladicích komponent od různých dodavatelů s sebou nese značné překážky mechanické kompatibility a přísná omezení záruky v případě úniku kapaliny.
• Právní odpovědnost a dohody o úrovni služeb (SLA) zůstávají hlavními překážkami v odvětví, které brání architekturám smíšených dodavatelů napříč produkčními serverovými podlažími.
• Starší systémy detekce úniků typu lana ustupují integrovaným senzorovým topologiím s automatickým vypínáním čerpadel a uzavíráním ventilů.
• Pokroky ve výrobě hadic z EPDM vytvrzovaných peroxidem výrazně snížily míru poruchovosti na úrovni součástí instalatérských systémů s přímým kontaktem s třískou.
• Nespolehlivost systému v terénu pramení převážně z výrobních nečistot a nedostatečného počátečního proplachování potrubí, spíše než z únavy surových součástí.

[15:00] Management odpadu, limity tepelného toku a fyzika negativního tlaku

Tento časový rámec zkoumá přesnou dynamiku tekutin za studena, katastrofické účinky kontaminace mikroskopickými částicemi a atmosférickou fyziku, která omezuje chladicí smyčky s podtlakem.

• Částice o velikosti 100 až 200 mikronů, dokonce i jediné vlákno drátěného kartáče zachycené v rychlospojce, mohou ucpat žebra mikrokanálu a tepelným škrcením zničit stojan.
• Pokročilé modelování výpočetní dynamiky tekutin (CFD) umožňuje moderním chladicím deskám rozptylovat zátěž 1500 W při zachování úzké delta T penalizace 30 °C.
• Chladicí systémy s podtlakem jsou ze své podstaty omezeny atmosférickým tlakem, takže zbývá pouze 7 až 9 PSI použitelného diferenčního tlaku, než kapalina dosáhne bodu varu při pokojové teplotě.
• Omezené tlakové rozpočty ztěžují vedení podtlakových smyček dlouhými rozdělovači zařízení, CDU a vysokoodporovými mikrokanálovými chladicími deskami.
• Specializovaná analýza chemického složení vody a průběžné chemické monitorování jsou nezbytné pro prevenci koroze, biologického růstu a degradace materiálů.

[20:00] Proměnné prostředí, chemie kapalin a pokročilá detekce netěsností

Zde se diskuse zabývá regionálními dopady klimatu na provoz datových center, riziky kondenzace a technologickým vývojem senzorů pro rychlou detekci úniků.

• Regionální vlhkost, nadmořská výška a okolní podmínky určují teploty vody v sekundárním okruhu a účinnost chlazení zařízení.
• Teploty smyčky pod okolní teplotou ve vlhkém podnebí představují riziko kondenzace na součástech šasi serveru a vyžadují specializované regulace rosného bodu.
• Tradiční lana pro detekci úniků trpí úzkými místy v dodavatelském řetězci a vysokými spouštěcími prahy, které vyžadují značný objem kapaliny před spuštěním poplachu.
• Detekce úniků nové generace využívá flexibilní polymerem potištěné senzorové stopy, optickou detekci barviv a čichací zařízení par k identifikaci mikroúniků dříve, než dojde ke katastrofickému selhání.
• Inteligentní řídicí jednotky rozvaděčů aktivně modulují tlak v smyčce CDU po zjištění včasné ztráty kapaliny, aby se minimalizoval objem úniku a zároveň se zachovala provozuschopnost.

[25:00] Vyhodnocení potenciálu dvoufázové přímé výroby na čip a chemie chladiva

Tato část zkoumá termodynamické výhody odpařování latentního tepla ve dvoufázovém chlazení a zároveň se zabývá aspekty dodavatelského řetězce a chemikáliemi týkajícími se chladiv s nízkým GWP.

• Dvoufázové chlazení přímo na čip eliminuje znatelné náklady na zahřívání jednofázových smyček, obvykle alespoň 5 °C, a udržuje konstantní teplotu varu, ať už čip rozptyluje 10 W nebo 1 000 W.
• Dvoufázové chlazení minimalizuje korozi související s vodou a riziko elektrického zkratu v racku, což představuje přesvědčivý model nasazení pro podnikové datové haly.
• Škálování dvoufázových smyček vyžaduje řešení interoperability více dodavatelů pro fázově měnící rozdělovače, CDU a komplexní parní kondenzátory.
• Nově vznikající nehořlavé dielektrické kapaliny s nízkým GWP (jako R-515B a R-1233zd) překonávají regulační omezení spojená se staršími sloučeninami PFAS.
• Moderní poskytovatelé infrastruktury datových center získávají specializované dodavatele chlazení, aby mohli sestavit jednotná portfolia kapalných tepelných systémů na klíč.

[31:33] Architektury CDU, dynamické řízení toku a zmírňování poloměru výbuchu

Tato část se zaměřuje na infrastrukturu jádra čerpadel a analyzuje standardizované zkušební metody, přechodovou tepelnou odezvu a technické kompromisy mezi centralizovanými a distribuovanými CDU.

• Norma ASHRAE 127 zavedla standardizované zkušební metody, které poskytují přesné a relevantní srovnání tepelné účinnosti a výkonu čerpání CDU.
• Malé změny v průtoku chladicí kapaliny se okamžitě projeví kolísáním teploty na chladicí desce; změna průtoku o 10 procent může spustit škrcení, což vyžaduje ultra citlivé řídicí algoritmy.
• Centralizované CDU o výkonu několika megawattů zahrnují obrovské objemy kapalin a velké provozní poloměry výbuchu, takže jediná kontaminace nebo únik může zničit celou halu zařízení.
• Kvůli aditivní chemické nekompatibilitě je míchání patentovaných chladicích kapalin od různých dodavatelů nebezpečné a může způsobit srážení a ucpávání.
• Distribuované CDU na úrovni řad a v racku izolují domény mechanického selhání, snižují množství potrubí pro přenos kapalin a zrychlují instalaci.

[37:00] CDU ve stojanu versus centralizované smyčky a životaschopnost vzduchem chlazené inference

Tato část hodnotí výkonnostní profily vysoce výkonných rackových CDU a nastiňuje, proč je vzduchové chlazení stále dominantní v distribuovaných podnikových inferenčních clusterech.

• Účelově vestavěné rozvaděčové jednotky CDU do rozvaděčů dokáží podporovat tepelné zatížení o výkonu 220 kW s teplotou 4 °C, čímž přeměňují provozní vodu o teplotě 41 °C na chladivo o teplotě 45 °C pro rozvaděče Vera Rubin s průtokem 1.5 litru na kilowatt.
• Redundance dvou čerpadel uvnitř rackových CDU zajišťuje nepřetržitý chladicí provoz i během údržby jednoho čerpadla.
• Chlazení vzduchem představuje zhruba 90 procent všech globálních dodávek serverů a podporuje podstatnou část podnikových inferenčních nasazení.
• Hardware pro inferenční odvozování na okraji sítě a v podnikových systémech musí být nasazen přímo ve starších, 10 až 15 let starých, vzduchem chlazených datových halách, kde se data generují.
• Dodatečné vybavení starších zařízení tepelnými výměníky se zadními dveřmi a odpařovacími chladicími věžemi převádí parazitní chladicí výkon na využitelné výpočetní kilowatty pro lokální inferenční boxy umělé inteligence.

[45:20] Vnitřní aerodynamika podvozku a hranice účinnosti ventilátorů

Závěrečná část rozebírá mechanické kompromisy uzavřených all-in-one chladičů a zkoumá, jak aerodynamická optimalizace podvozku posouvá schopnosti chlazení vzduchem na jejich fyzické limity.

• Interní kapalinové smyčky typu „vše v jednom“ na úrovni serveru zavádějí mechanické body selhání a složitost balení šasi, přičemž oproti optimalizovaným chladičům s parní komorou nabízejí pouze nepatrné výhody.
• Tepelné výměníky kapalina-vzduch v postranním vozíku poskytují čistší a snadněji provozuschopnou cestu pro lokalizované kapalinou chlazené stojany v zařízeních bez vodovodního potrubí.
• Účinnost ventilátorů podnikových serverů se zvýšila z 15 na 20 procent před deseti lety na moderní poměry přeměny elektrické energie na mechanickou 50 až 60 procent.
• Optimalizace aerodynamiky podvozku kolem konstrukčního bodu 100 CFM na kilowatt, kdy se každý kousek nasávaného vzduchu ohřeje o rovnoměrných 18 °C, maximalizuje odvod tepla na kilowatt.
• Vzduch má příznivé vlastnosti tepelné difuzivity, které v kombinaci s přesným potrubím a pokročilými chladiči poskytují pevný základ pro podnikový hardware nové generace.

Chcete-li být v obraze o všem, co se týká kapalinového chlazení a efektivního návrhu datových center, sledujte Tima Shedda na LinkedIn.