Podcast #152: Termisk dynamik och kylarkitekturer i datacenter med Tim Shedd

Brian träffade nyligen Tim Shedd, expert på värmehantering och pionjär inom vätskekylningsteknik. Podden täcker några av de historiska aspekterna av vätskekylning i datacenter, från Tims tid med att arbeta med Cray och spruta vätska över rör till hans senaste engagemang med Dells PowerEdge XE9680.

Tim Shedd är en branschexpert och maskiningenjör som specialiserar sig på termisk hantering, vätskekylning och datacenterinfrastruktur. Med en karriär som sträcker sig över akademisk forskning som professor vid University of Wisconsin-Madison, grundläggande ingenjörsroller på Motivair och senior teknisk ledning inom Dell Technologies CTO-organisation, har han varit i framkant inom högdensitetskylarkitektur. Hans arbete fokuserar på att överbrygga avancerad termisk fysik och hyperskalig tillverkningsbarhet, etablera standarder för kyldistributionsenheter och optimera datacenters energieffektivitet över luft- och vätskekylda hårdvarutopologier.

Den här podcasten ger en gedigen inblick i utvecklingen av termiska komponenter från stordatorer, HPC-plattformar och nuvarande serverteknik. På under en timme får du en bättre förståelse för hur detta påverkar många aspekter av att hålla vår teknik igång effektivt.

Om du inte har tid att titta på det här avsnittet i sin helhet har vi delat upp det i fem minuter långa segment så att du kan välja det som är viktigast för dig.

[00:00] Utvecklingen av vätskekylning från HPC till företags-AI

Det inledande segmentet beskriver den historiska utvecklingen av vätskekylning från specialiserade superdatorinstallationer till kommersiella företag med hög densitet, och belyser tidiga termiska designval.

• Tidiga beräkningsmiljöer förlitade sig på evaporativ kylning och grundläggande forcerad luftkonvektion innan de nådde gränserna som högdensitets-HPC och accelererade beräkningsarbetsbelastningar medförde.
• Inledande akademiska experiment med Cray-arkitekturer involverade direkt vätskesprutning över rör, vilket visade sig vara tekniskt genomförbart men kommersiellt kostnadseffektivt.
• Förändringen i rackeffektdensitet efter 2015 drev OEM-tillverkare att konstruera standardiserade flytande distributioner för företag, vilket kulminerade i rackproduktionsmodeller med hög densitet år 2019.
• OEM-leveranskedjor ställdes in från att producera några tusen vätskekylda noder årligen till att skala upp leveranser till tusentals produktionssystem varje vecka.
• Arbetshästar inom företagsplattformar som PowerEdge XE9680, den snabbast växande servern i Dells historia, balanserade tidiga AI-värmebelastningar med hjälp av täta luftkylflänsar i kombination med värmeväxlare på bakdörren innan fullständig direkt-till-chip-implementering blev obligatorisk.

[05:00] Testning av termiska brytpunkter och vätskefysik i stor skala

Detta avsnitt utforskar laboratorieutvärderingen av konkurrerande termiska tekniker och beskriver i detalj varför enfasiga direkt-till-chip-slingor framstod som den dominerande arkitekturen jämfört med immersionssystem.

• OEM-valideringslaboratorier utförde omfattande tester av kylplattslingor, negativt trycknätverk, immersionskonfigurationer och tvåfassystem för att fastställa baslinjer för driftsättning.
• Kisels termiska belastningar ökade historiskt sett stegvis med varje generation, vilket gjorde att standard luftkylning och grundläggande vätskekylningsmetoder räckte tills TDP:erna översteg intervallet 500W-1000W.
• Immersionskylning erbjuder operativa fördelar för brett distribuerade termiska profiler, såsom kryptofarmar, men kämpar med de lokaliserade, högkoncentrerade värmeflödena som finns på moderna acceleratorer.
• Vatten blandat med 25 % propylenglykol (PG25), levererat genom mikrokanalkylplattor, blev den primära standarden på grund av dess förutsägbara skalning, tillgång till försörjning och etablerade värmeöverföringsegenskaper.
• Öppna ekosystemstandarder är fortfarande avgörande för att kunna tillhandahålla kylplattor, grenrör och snabba frånkopplingar mellan flera leverantörer utan prestandaregressioner.

[10:00] Standardisering, interoperabilitet mellan flera leverantörer och mekanisk tillförlitlighet

Diskussionen övergår till den operativa verkligheten vid driftsättning av likvid hårdvara, med fokus på integration av komponenter från flera leverantörer, ansvarsavgränsning och materialintegritet.

• Att blanda kylkomponenter från olika leverantörer medför betydande hinder för mekanisk kompatibilitet och strikta garantibegränsningar i händelse av vätskeläckage.
• Rättsligt ansvar och servicenivåavtal är fortfarande de främsta hinder i branschen som förhindrar blandade leverantörs VVS-arkitekturer över hela produktionsservervåningarna.
• Äldre läckagedetekteringssystem i repstil ger vika för integrerade sensortopologier med automatiserade pumputlösningar och ventilavstängningar.
• Framsteg inom tillverkning av peroxidhärdade EPDM-slangar har avsevärt minskat felfrekvensen på komponentnivå i direkt-till-spån-VVS.
• Systemets otillförlitlighet i fält beror främst på tillverkningsskräp och otillräcklig initial linjespolning snarare än utmattning av råa komponenter.

[15:00] Skräphantering, värmeflödesgränser och fysiken bakom negativt tryck

Denna tidsram undersöker precisionsvätskedynamik i kalla plattor, de katastrofala effekterna av mikroskopisk partikelförorening och den atmosfäriska fysiken som begränsar kylslingor med negativt tryck.

• Partiklar på 100 till 200 mikron, till och med en enstaka stålborstefiber som fastnar i en snabbkoppling, kan blockera mikrokanalernas flänsar och förstöra ett rack genom termisk strypning.
• Avancerad beräkningsmodellering av fluiddynamik (CFD) gör det möjligt för moderna kalla plattor att avleda belastningar på 1500 W samtidigt som de bibehåller ett smalt delta T-straff på 30 °C.
• Kylsystem med negativt tryck är i sig begränsade av atmosfärstryck, vilket lämnar endast 7 till 9 PSI användbart differenstryck innan vätskan når sin kokpunkt vid rumstemperatur.
• Begränsade tryckbudgetar gör det svårt att leda negativa tryckslingor genom långa anläggningsgrenrör, CDU:er och högresistansa mikrokanalkylplattor.
• Dedikerad vattenkemisk analys och kontinuerlig kemisk övervakning är avgörande för att förhindra korrosion, biologisk tillväxt och materialnedbrytning.

[20:00] Miljövariabler, vätskekemi och avancerad läckagedetektering

Här behandlar samtalet regional klimatpåverkan på datacenterdrift, kondensrisker och den tekniska utvecklingen av snabbreagerande läckagedetekteringssensorer.

• Regional luftfuktighet, höjd över havet och omgivningsförhållanden avgör sekundärslingans vattentemperaturer och anläggningens kyleffektivitet.
• Slingtemperaturer under omgivningstemperatur i klimat med hög luftfuktighet riskerar kondensbildning på serverchassikomponenter och kräver dedikerade daggpunktskontroller.
• Traditionella läckdetekteringsrep lider av flaskhalsar i leveranskedjan och höga utlösningströsklar, vilket kräver en betydande volym vätska innan ett larm utlöses.
• Nästa generations läckdetektering utnyttjar flexibla polymertryckta sensorspår, optisk färgdetektering och ångsniffrar för att identifiera mikroläckor innan katastrofala fel inträffar.
• Intelligenta rackstyrenheter modulerar aktivt CDU-looptrycket vid tidig vätskeförlust för att minimera läckagevolymen samtidigt som drifttiden bibehålls.

[25:00] Utvärdering av tvåfas direkt-till-chip-potential och köldmediekemi

Detta segment utforskar de termodynamiska fördelarna med latent värmeförångning vid tvåfaskylning, tillsammans med leveranskedjan och kemiska överväganden kring köldmedier med lågt globalt uppvärmningspotential.

• Tvåfas direkt-till-chip-kylning eliminerar den rationella uppvärmningseffekten hos enfasslingor, vanligtvis minst 5 °C, och bibehåller en konstant koktemperatur oavsett om ett chip förbrukar 10 W eller 1 000 W.
• Tvåfaskylning minimerar vattenrelaterad korrosion och risken för elektrisk kortslutning i racket, vilket ger en övertygande implementeringsmodell för företagsdatahallar.
• Skalning av tvåfasslingor kräver lösningar på interoperabilitet mellan flera leverantörer för fasändringsgrenrör, CDU:er och komplexa ångkondensorer.
• Framväxande icke-brandfarliga dielektriska vätskor med lågt global uppvärmningspotential (såsom R-515B och R-1233zd) övervinner de regulatoriska begränsningarna som är förknippade med äldre PFAS-föreningar.
• Moderna leverantörer av datacenterinfrastruktur förvärvar specialiserade kylleverantörer för att sammanställa enhetliga, nyckelfärdiga portföljer av flytande termisk kylning.

[31:33] CDU-arkitekturer, dynamisk flödeskontroll och begränsning av sprängradier

Med fokus på den centrala pumpinfrastrukturen analyserar detta avsnitt standardiserade testmetoder, transient termiskt svar och de tekniska avvägningarna mellan centraliserade och distribuerade CDU:er.

• ASHRAE Standard 127 etablerade standardiserade testmetoder för att ge noggranna jämförelser av CDU:s termiska verkningsgrad och pumpprestanda.
• Mindre variationer i kylvätskeflödet leder omedelbart till temperaturfluktuationer vid kylplattan; en flödesförändring på 10 procent kan utlösa strypningshändelser, vilket kräver extremt responsiva styralgoritmer.
• Centraliserade CDU:er på flera megawatt involverar massiva vätskevolymer och stora operativa sprängradier, så att en enda kontaminerings- eller läckagehändelse kan rasa en hel anläggningshall.
• Kemiska inkompatibiliteter med additiva medel gör det farligt att blanda kylvätskor från olika leverantörer, vilket potentiellt kan orsaka utfällning och igensättning.
• Distribuerade CDU:er på radnivå och i rack isolerar mekaniska felområden, minskar vätsketransportrör och accelererar installationstiderna.

[37:00] In-rack CDU:er kontra centraliserade loopar och genomförbarheten av luftkyld inferens

Denna del utvärderar prestandaprofiler för högpresterande in-rack CDU och beskriver varför luftkylning fortfarande är dominerande i distribuerade företagsinferenskluster.

• Specialbyggda CDU:er i rack kan hantera 220 kW termiska belastningar med en inflygningstemperatur på 4 °C, vilket omvandlar 41 °C varmt vatten i anläggningen till 45 °C kylvätska för Vera Rubin-rack med 1.5 liter per kilowatt.
• Redundans med dubbla pumpar inuti CDU:er i racket upprätthåller kontinuerlig kylning även under underhåll av en enda pump.
• Luftkylning står för ungefär 90 procent av alla globala serverleveranser och stöder en betydande del av implementeringar av företagsinferens.
• Hårdvara för edge- och företagsinferens måste distribueras direkt i äldre, 10 till 15 år gamla, luftkylda datahallar där data genereras.
• Genom att eftermontera äldre anläggningar med bakdörrsvärmeväxlare och evaporativa kyltorn omvandlas parasitisk kyleffekt till användbara beräkningskilowatt för lokala AI-inferensboxar.

[45:20] Chassits interna aerodynamik och fläkteffektivitetsgränser

Det sista segmentet bryter ner de mekaniska avvägningarna med slutna allt-i-ett-kylare och undersöker hur chassits aerodynamiska optimering driver luftkylningskapaciteten till sin fysiska gräns.

• Interna allt-i-ett-vätskeslingor på servernivå introducerar mekaniska felpunkter och komplexitet i chassipaketeringen, samtidigt som de endast erbjuder marginella vinster jämfört med optimerade kylflänsar med ångkammare.
• Sidovagns vätska-till-luft-värmeväxlare ger en renare och mer användbar värmeväg för lokaliserade vätskekylda rack i anläggningar som saknar vatten.
• Effektiviteten hos fläktar i företagsservrar har ökat från 15 till 20 procent för ett decennium sedan till moderna omvandlingsgrader från elektrisk till mekanisk drift på 50 till 60 procent.
• Genom att optimera chassits aerodynamik runt en designpunkt på 100 CFM per kilowatt, där varje bit insugsluft värms upp till en jämn temperatur på 18 °C, maximeras värmeavledningen per kilowatt.
• Luft har gynnsamma termiska diffusionsegenskaper som, i kombination med precisionskanaler och avancerade kylflänsar, ger en solid grund för nästa generations företagshårdvara.

För att hålla dig uppdaterad om allt kring vätskekylning och effektiv datacenterdesign, följ Tim Shedd på LinkedIn.