ASHRAE TC 9.9, het technische comité dat verantwoordelijk is voor het grootste deel van de thermische richtlijnen voor de datacenterindustrie, heeft een gratis te downloaden technisch bulletin gepubliceerd met de titel "TCS Coolant Integrity and System Readiness Best Practices". Dit bulletin begint met een waarschuwing die meer indringend is dan gebruikelijk in documenten van standaardisatie-instanties: "Het is te gemakkelijk om de operationele en garantie-eisen van direct-to-chip koelsystemen te schenden."
Het bulletin, dat in mei is uitgegeven en nu te vinden is op de pagina met openbare documenten van de commissie, beschrijft vier gebieden waarop een technologiekoelsysteem (TCS) kan afwijken van het ontwerp, op manieren die tijdens de ingebruikname onzichtbaar blijven en zich pas maanden later als schade openbaren. De timing sluit aan bij de golf van directe vloeistofkoeling op chips die wordt aangewakkerd door de toenemende dichtheid van AI-processoren in reguliere datacenters.
Hardware voor koelvloeistofdistributie, zoals de PowerCool CDU van Dell, is volledig afhankelijk van de vloeistofdisciplines die in het nieuwe bulletin zijn vastgelegd.
Als de inhoud u bekend voorkomt, is dat niet verwonderlijk. Tim Shedd van Dell behandelde vorige week in podcast #152 precies dit onderwerp , van koelvloeistofchemie en filtratie tot de reden waarom het nemen van shortcuts tijdens de inbedrijfstelling pas lang na het vertrek van het installatieteam tot problemen leidt. Hij gaf toen al aan dat dit bulletin eraan zat te komen. Hij wordt genoemd als een van de auteurs, samen met Meraj Mohebi van Dell, Dustin Demetriou van IBM, Ashwin Siddarth van AMD, Chris Campbell van Vertiv, Vali Sorell van Oracle en engineers van Fluid2Chip en DLB Associates. Deze lijst met medewerkers van verschillende leveranciers laat zien hoe wijdverbreid dit probleem inmiddels is.
Tim Shedd gaf in podcast #152 alvast een vooruitblik op de thema's van het bulletin.
De vier faalpaden
De samenstelling van de koelvloeistof is van het grootste belang, omdat alle componenten die daarop volgen, daarop zijn afgestemd. De meeste eenfasige systemen zijn ontworpen met een nominaal mengsel van 25% propyleenglycol (PG25). Het bulletin beschrijft hoe afwijkingen van deze ontwerpformulering de viscositeit, dichtheid, soortelijke warmte en thermische geleidbaarheid beïnvloeden. Dit heeft vervolgens gevolgen voor de drukval, het verschuiven van het werkingspunt van de pomp, de verminderde effectiviteit van de warmtewisselaar en zelfs de stabiliteit van de CDU-regeling. De glycol moet voldoen aan de minimale kwaliteitsrichtlijnen van TC 9.9 of de specificaties van de IT-apparatuurfabrikant. Het mengen van koelvloeistoffen zonder de gevolgen te controleren, is een van de expliciete redenen voor wat het bulletin een gestructureerde technische beoordeling noemt.
Luchtbeheer is een onderschat probleem. Ingesloten lucht vermindert de warmteoverdracht, veroorzaakt cavitatie in pompen, versnelt corrosie en verlengt de inbedrijfstellingstermijnen. Het bulletin is specifiek over het mechanisme dat teams vaak verrast: ontgassing is het meest effectief bij hoge temperaturen die een circuit mogelijk alleen onder zware belasting bereikt. Luchtproblemen kunnen dus weken na de opstart optreden, wanneer het systeem zich op een stabiele temperatuur heeft gestabiliseerd. De richtlijnen behandelen de plaatsing van de separator op de warme retourleiding met lage druk nabij de CDU-inlaat, ontluchting op elk hoog punt en het vermijden van sifonconstructies, verticale dode hoeken, omgekeerde U-bochten en niet-geventileerde flexibele slangen die lucht oneindig lang kunnen vasthouden.
Het meest stellige advies in het bulletin gaat over passivering van roestvrij staal . Lassen, slijpen en fabricage in het veld beschadigen de chroomoxidefilm die roestvrij staal corrosiebestendig maakt. Zonder de juiste reiniging en herpassivering volgens de ASTM A380/A967-procedure komt vrij ijzer in de koelvloeistof terecht en vervuilt het de microkanaaloppervlakken waarop koelplaten afhankelijk zijn. Deze turbulatorstructuren hebben we van dichtbij bekeken in onze diepgaande analyse van Chilldyne-koelplaten , waar de vloeistofkwaliteit bepaalt of deze fijne structuren warmte blijven afvoeren of verstopt raken. De regel die in het bulletin wordt gehanteerd is absoluut: "Een individueel geïnstalleerd onderdeel dat NIET is gepassiveerd, kan de werking van het systeem in gevaar brengen."
De systeemdrukwaarden maken de lijst met vier punten compleet. De commissie beveelt een volledig hydraulisch model van de drukcascade aan, dat niet alleen de stationaire werking omvat, maar ook de spoel- en vuldrukken, de statische hoogte, de instellingen van de overdrukventielen, de voordruk van het expansievat en de transiënten die optreden bij het aansluiten en loskoppelen van apparatuur. Ook wordt gewezen op de eis van IEC 62368-1 voor een hydrostatische veiligheidstest bij 1.5 keer de nominale maximale werkdruk, met overdrukventielen ingesteld onder de nominale maximale druk die de fabrikant van de IT-apparatuur in zijn thermische sjabloon publiceert. De beoogde faalmodus is de kostbare: overdruk in de IT-apparatuur zelf.
Van handleiding naar checklist voor gebruik in het veld
Het tweede deel van het bulletin wordt operationeel en het is duidelijk geschreven door mensen die zelf ervaring hebben met dit soort situaties. De concentratie en kwaliteit van de koelvloeistof moeten in het laboratorium worden gecontroleerd bij de eerste vulling, na elke significante toevoeging van suppletievloeistof en periodiek. De ontwerpspecificaties voor de koelvloeistof moeten worden vastgelegd in de opleveringsdocumenten. Vacuümvulling, een steeds populairdere techniek voor het verwijderen van ingesloten lucht, kent een kanttekening die we elders niet zijn tegengekomen: glycolmengsels kunnen gedeeltelijk scheiden onder vacuüm. Daarom adviseert de commissie om na een vacuümvulling monsters te nemen en in het laboratorium te testen om te bevestigen dat het mengsel uniform blijft. Er wordt een praktische afweging gemaakt in het debat over automatische versus handmatige ontluchting (sluit de automatische ontluchters af of isoleer ze met een klep zodra is bevestigd dat het circuit luchtvrij is, in plaats van hardware te vervangen). Het hele document sluit af met een checklist voor veldverificatie die elk risicogebied koppelt aan wat er gecontroleerd moet worden, het acceptabele bewijsmateriaal en waarom het belangrijk is. Deze pagina kan direct worden opgenomen in de kwaliteitsborgingsplannen van de inbedrijfstellingsagenten.
Het bulletin is een aanvulling op TC 9.9's 2024 Liquid Cooling: Resiliency Guidance for Cold Plate Deployments en bevat de gebruikelijke disclaimer: het betreft informatieve richtlijnen en vervangt niet de eisen van IT-apparatuurfabrikanten of lokale regelgeving. Voor een toegankelijke uitleg over waarom deze technische discipline belangrijk is, is de podcastaflevering van Shedd van een uur een goede aanvulling.
Amazon