Podcast #152: Thermische dynamiek en koelarchitecturen van datacenters met Tim Shedd

Brian sprak onlangs met Tim Shedd, een expert in thermisch beheer en een pionier op het gebied van vloeistofkoelingstechnologieën. De podcast behandelt een aantal historische aspecten van vloeistofkoeling in datacenters, van Tims tijd bij Cray, waar hij vloeistof door buizen sproeide, tot zijn meer recente betrokkenheid bij de Dell PowerEdge XE9680.

Tim Shedd is een expert in de branche en werktuigbouwkundig ingenieur, gespecialiseerd in thermisch beheer, vloeistofkoeling en datacenterinfrastructuur. Met een carrière die academisch onderzoek omvat als hoogleraar aan de Universiteit van Wisconsin-Madison, fundamentele engineeringfuncties bij Motivair en senior technisch leiderschap binnen de CTO-organisatie van Dell Technologies, heeft hij een voortrekkersrol gespeeld in de ontwikkeling van koelarchitectuur met hoge dichtheid. Zijn werk richt zich op het overbruggen van de kloof tussen geavanceerde thermische fysica en hyperscale produceerbaarheid, het vaststellen van standaarden voor koeldistributie-units en het optimaliseren van de energie-efficiëntie van datacenters voor zowel lucht- als vloeistofgekoelde hardwaretopologieën.

Deze podcast biedt een geweldig inzicht in de evolutie van thermische processen, van mainframes en HPC-platforms tot de huidige servertechnologie. In minder dan een uur krijg je een beter begrip van hoe dit van invloed is op veel aspecten die de efficiëntie van onze technologieën beïnvloeden.

Als je geen tijd hebt om dit helemaal te bekijken, hebben we het opgedeeld in segmenten van vijf minuten, zodat je kunt kiezen wat voor jou het belangrijkst is.

[00:00] De evolutie van vloeistofkoeling van HPC naar enterprise AI

Het eerste deel schetst de historische ontwikkeling van vloeistofkoeling, van gespecialiseerde supercomputerinstallaties tot commerciële toepassingen met een hoge energiedichtheid, en belicht daarbij de vroege keuzes op het gebied van thermisch ontwerp.

• De eerste computeromgevingen maakten gebruik van verdampingskoeling en eenvoudige geforceerde luchtconvectie, voordat ze de grenzen bereikten die werden opgelegd door high-density HPC en versnelde rekenworkloads.
• De eerste academische experimenten met Cray-architecturen bestonden uit het rechtstreeks besproeien van buizen met vloeistof. Dit bleek technisch haalbaar, maar commercieel gezien onbetaalbaar.
• De omslag in de vermogensdichtheid van racks na 2015 dwong OEM's ertoe gestandaardiseerde vloeistofkoelingsoplossingen voor bedrijven te ontwikkelen, wat in 2019 resulteerde in productiemodellen voor racks met een hoge vermogensdichtheid.
• De toeleveringsketens van OEM's zijn overgeschakeld van de productie van enkele duizenden vloeistofgekoelde nodes per jaar naar het opschalen van de levering naar duizenden productiesystemen per week.
• Bedrijfsgerichte platforms zoals de PowerEdge XE9680, de snelstgroeiende server in de geschiedenis van Dell, brachten de vroege thermische belasting van AI in evenwicht met behulp van compacte luchtkoelers in combinatie met warmtewisselaars aan de achterkant, voordat volledige directe koeling naar de chip noodzakelijk werd.

[05:00] Testen van thermische breekpunten en vloeistoffysica op grote schaal

In dit gedeelte wordt de laboratoriumevaluatie van concurrerende thermische technologieën onderzocht, waarbij gedetailleerd wordt uitgelegd waarom eenfasige direct-to-chip-circuits de dominante architectuur zijn geworden ten opzichte van immersiesystemen.

• De validatielaboratoria van de OEM hebben uitgebreide tests uitgevoerd met koelcircuits, onderdruksystemen, onderdompelingsconfiguraties en tweefasensystemen om basiswaarden voor de implementatie vast te stellen.
• De thermische belasting van siliciumchips nam historisch gezien geleidelijk toe met elke generatie, waardoor standaard luchtkoeling en eenvoudige vloeistofkoeling volstonden totdat de TDP's de 500W-1000W-range overschreden.
• Dompelkoeling biedt operationele voordelen bij breed gespreide thermische profielen, zoals bij cryptofarms, maar heeft moeite met de gelokaliseerde, sterk geconcentreerde warmtestromen die voorkomen bij moderne versnellers.
• Water vermengd met 25% propyleenglycol (PG25), geleverd via microkanaal-koelplatenHet werd de belangrijkste standaard vanwege de voorspelbare schaalbaarheid, de beschikbaarheid van de levering en de bewezen warmteoverdrachtseigenschappen.
• Open ecosysteemstandaarden blijven cruciaal voor het verkrijgen van koelplaten, verdeelstukken en snelkoppelingen van verschillende leveranciers zonder prestatieverlies.

[10:00] Standaardisatie, interoperabiliteit tussen meerdere leveranciers en mechanische betrouwbaarheid

De discussie verschuift naar de operationele realiteit van het inzetten van vloeibare hardware, met de nadruk op de integratie van componenten van verschillende leveranciers, de afbakening van aansprakelijkheid en de materiaalkwaliteit.

• Het combineren van koelcomponenten van verschillende leveranciers brengt aanzienlijke problemen met zich mee op het gebied van mechanische compatibiliteit en leidt tot strenge garantiebeperkingen in geval van een vloeistoflekkage.
• Juridische aansprakelijkheid en serviceovereenkomsten blijven de belangrijkste obstakels in de sector die de implementatie van gemengde leveranciersoplossingen voor serverinfrastructuur op productieservervloeren belemmeren.
• Traditionele lekdetectiesystemen met touwachtige sensoren maken plaats voor geïntegreerde sensortopologieën met geautomatiseerde pompuitschakeling en klepafsluiting.
• Dankzij verbeteringen in de productie van peroxide-geharde EPDM-slangen is het aantal defecten aan individuele componenten in direct-to-chip-leidingen aanzienlijk gedaald.
• De onbetrouwbaarheid van systemen in het veld is voornamelijk te wijten aan fabricageresten en onvoldoende initiële spoeling van de leidingen, in plaats van aan slijtage van de componenten zelf.

[15:00] Puinbeheer, warmtefluxlimieten en de fysica van onderdruk

In dit tijdsbestek worden de precieze vloeistofdynamica van koelplaten, de catastrofale gevolgen van microscopische deeltjesverontreiniging en de atmosferische natuurkunde die de werking van koelcircuits met onderdruk beperkt, onderzocht.

• Deeltjes van 100 tot 200 micron, zelfs een enkele draadborstelvezel die vast komt te zitten in een snelkoppeling, kunnen de lamellen van microkanalen verstoppen en een rack uitschakelen door thermische beperking.
• Geavanceerde computermodellen voor vloeistofdynamica (CFD) stellen moderne koelplaten in staat om vermogens van 1500 W af te voeren met een minimale temperatuurdaling van 30 °C.
• Koelsystemen met onderdruk worden inherent beperkt door de atmosferische druk, waardoor er slechts 7 tot 9 PSI aan bruikbare drukverschillen overblijft voordat de vloeistof bij kamertemperatuur het kookpunt bereikt.
• Door de beperkte drukbudgetten is het lastig om onderdrukcircuits door lange verdeelstukken, koelunits en koelplaten met hoge weerstand te leiden.
• Gerichte waterchemische analyses en continue chemische monitoring zijn essentieel om corrosie, biologische groei en materiaaldegradatie te voorkomen.

[20:00] Omgevingsvariabelen, vloeistofchemie en geavanceerde lekdetectie

In dit gesprek komen de regionale klimaateffecten op de werking van datacenters, condensatierisico's en de technologische ontwikkeling van snel reagerende lekdetectiesensoren aan bod.

• De luchtvochtigheid, hoogte en omgevingsomstandigheden in de regio bepalen de watertemperatuur in het secundaire koelcircuit en de koelefficiëntie van de installatie.
• Koelvloeistoftemperaturen onder de omgevingstemperatuur in vochtige klimaten verhogen het risico op condensvorming op componenten van de serverbehuizing en vereisen daarom speciale dauwpuntregeling.
• Traditionele lekdetectietouwen kampen met knelpunten in de toeleveringsketen en hoge drempelwaarden, waardoor een aanzienlijk volume vloeistof nodig is voordat een alarm afgaat.
• Lekdetectie van de volgende generatie maakt gebruik van flexibele, met polymeer geprinte sensorsporen, optische kleurstofdetectie en dampdetectoren om microlekken te identificeren voordat er een catastrofale storing optreedt.
• Intelligente rackcontrollers regelen actief de CDU-lusdruk bij het detecteren van vroegtijdig vloeistofverlies om het lekvolume te minimaliseren en tegelijkertijd de bedrijfszekerheid te waarborgen.

[25:00] Evaluatie van het potentieel van tweefasige direct-to-chip-technologie en de chemie van koelmiddelen

In dit onderdeel worden de thermodynamische voordelen van latente warmteverdamping bij tweefasekoeling onderzocht, evenals de overwegingen met betrekking tot de toeleveringsketen en de chemische samenstelling van koudemiddelen met een lage GWP (Global Warming Potential).

• Tweefasige directe koeling van de chip elimineert het extra warmteverlies van eenfasige koelcircuits, doorgaans minstens 5 °C, en zorgt voor een constante kooktemperatuur, ongeacht of een chip 10 W of 1,000 W aan warmte afvoert.
• Tweefasige koeling minimaliseert corrosie door water en het risico op kortsluiting in het rack, waardoor het een aantrekkelijk implementatiemodel vormt voor datacenters van bedrijven.
• Het opschalen van tweefasecircuits vereist het oplossen van interoperabiliteitsproblemen tussen verschillende leveranciers voor faseveranderingsverdeelstukken, koelvloeistofverdelers en complexe dampcondensatoren.
• Nieuwe, niet-brandbare diëlektrische vloeistoffen met een lage GWP (Global Warming Potential) (zoals R-515B en R-1233zd) overwinnen de wettelijke beperkingen die verbonden zijn aan de traditionele PFAS-verbindingen.
• Moderne aanbieders van datacenterinfrastructuur nemen gespecialiseerde koelleveranciers over om uniforme, kant-en-klare vloeistofkoelingsoplossingen samen te stellen.

[31:33] CDU-architecturen, dynamische stroomregeling en beperking van de explosieradius

Deze sectie richt zich op de kerninfrastructuur voor pompen en analyseert gestandaardiseerde testmethoden, de tijdelijke thermische respons en de technische afwegingen tussen gecentraliseerde en decentrale koelinstallaties.

• ASHRAE-norm 127 heeft gestandaardiseerde testmethoden vastgesteld om nauwkeurige, vergelijkbare metingen te kunnen uitvoeren van het thermisch rendement en de pompcapaciteit van koelinstallaties.
• Kleine variaties in de koelvloeistofstroom leiden direct tot temperatuurschommelingen bij de koelplaat; een verandering van 10 procent in de stroom kan al leiden tot het terugdringen van de koelvloeistof, wat uiterst responsieve regelalgoritmes vereist.
• Gecentraliseerde CDU's met een vermogen van meerdere megawatt hebben enorme vloeistofvolumes en een grote operationele explosieradius, waardoor één enkele besmetting of lekkage een complete hal van een installatie kan platleggen.
• Door chemische onverenigbaarheden in additieven is het mengen van koelvloeistoffen van verschillende leveranciers gevaarlijk, omdat dit kan leiden tot neerslag en verstopping.
• Gedistribueerde CDU's op rij- en rackniveau isoleren mechanische storingsgebieden, verminderen de benodigde vloeistofdoorvoer via leidingen en verkorten de installatietijd.

[37:00] In-rack CDU's versus gecentraliseerde lussen en de haalbaarheid van luchtgekoelde inferentie

In dit onderdeel worden de prestatieprofielen van krachtige in-rack CDU's geëvalueerd en wordt uitgelegd waarom luchtkoeling dominant blijft in gedistribueerde inferentieclusters voor bedrijven.

• Speciaal ontworpen in-rack CDU's kunnen thermische belastingen tot 220 kW aan met een aanlooptemperatuur van 4 °C, waarbij 41 °C leidingwater wordt omgezet in 45 °C koelvloeistof voor Vera Rubin-racks met een verbruik van 1.5 liter per kilowatt.
• Dankzij de redundantie van twee pompen in de in-rack CDU's blijft de koeling ononderbroken werken, zelfs tijdens onderhoud aan één pomp.
• Luchtkoeling is goed voor ongeveer 90 procent van alle wereldwijde serverleveringen en ondersteunt een aanzienlijk deel van de inferentie-implementaties binnen bedrijven.
• Inferentiehardware voor edge- en bedrijfsomgevingen moet direct worden ingezet in verouderde, 10 tot 15 jaar oude, luchtgekoelde datahallen waar de data wordt gegenereerd.
• Door oudere faciliteiten te moderniseren met warmtewisselaars aan de achterzijde en verdampingskoeltorens wordt het energieverlies door parasitaire koeling omgezet in bruikbare rekenkracht (kilowatt) voor lokale AI-inferentiesystemen.

[45:20] Interne aerodynamica van het chassis en de grenzen van ventilatorrendement

Het laatste onderdeel behandelt de mechanische compromissen van gesloten alles-in-één koelsystemen en onderzoekt hoe aerodynamische optimalisatie van de behuizing de luchtkoelingscapaciteit tot zijn fysieke limiet drijft.

• Interne, alles-in-één vloeistofkoelingssystemen op serverniveau introduceren potentiële mechanische storingen en complexere behuizingen, terwijl ze slechts marginale voordelen bieden ten opzichte van geoptimaliseerde dampkamerkoelingssystemen.
• Zijdelings gemonteerde vloeistof-lucht warmtewisselaars bieden een schonere en onderhoudsvriendelijkere oplossing voor lokaal vloeistofgekoelde racks in faciliteiten zonder watervoorziening.
• De efficiëntie van ventilatoren in bedrijfsservers is gestegen van 15 tot 20 procent tien jaar geleden naar moderne elektrische-naar-mechanische conversiepercentages van 50 tot 60 procent.
• Door de aerodynamica van het chassis te optimaliseren rond een ontwerppunt van 100 CFM per kilowatt, waarbij elke druppel inlaatlucht een uniforme temperatuur van 18 °C bereikt, wordt de warmteafvoer per kilowatt gemaximaliseerd.
• Lucht heeft gunstige eigenschappen op het gebied van warmteverspreiding die, in combinatie met nauwkeurige luchtkanalen en geavanceerde koelplaten, een solide basis vormen voor de volgende generatie hardware voor bedrijven.

Om op de hoogte te blijven van alles rondom vloeistofkoeling en efficiënt datacenterontwerp, volg Tim Shedd op LinkedIn.