ASHRAE TC 9.9, den tekniska kommittén som äger merparten av datacenterbranschens termiska riktlinjer, har publicerat en fritt nedladdningsbar teknisk bulletin med titeln TCS Coolant Integrity and System Readiness Best Practices, och den inleds mer med en varning än vad standardiseringsorganens dokument vanligtvis gör: "Det är för lätt att bryta mot drifts- och garantikrav för direkt-till-chip-kylsystem."
Bulletinen, som publicerades i maj och nu finns uppe på kommitténs sida med offentliga dokument, katalogiserar fyra områden där ett teknologiskt kylsystem (TCS) kan avvika från sin designbas på sätt som förblir osynligt vid driftsättning och dyker upp som skador månader senare. Tidpunkten följer vågen av direkt-till-chip-vätskekylningsinstallationer som processordensiteter av AI-klass driver in i vanliga datacenter.
Hårdvara för kylvätskedistribution som Dells PowerCool CDU lever eller dör beroende på de vätskediscipliner som kodifierats i den nya bulletinen.
Om materialet låter bekant, så borde det göra det. Dells Tim Shedd gick igenom just detta område förra veckan i podcast #152 , från kylvätskekemi och filtrering till varför genvägar vid driftsättning dyker upp som fel långt efter att installationsteamet har lämnat, och nämnde att den här bulletinen var på väg. Han är en av dess bidragsgivare, tillsammans med Dells Meraj Mohebi, IBMs Dustin Demetriou, AMDs Ashwin Siddarth, Vertivs Chris Campbell, Oracles Vali Sorell och ingenjörer från Fluid2Chip och DLB Associates, en lista över leverantörer som återspeglar hur delad denna problemuppsättning har blivit.
Tim Shedd förhandsgranskade bulletinens teman i podcast #152.
De fyra misslyckandevägarna
Kylvätskesammansättningen kommer först eftersom allt nedströms är dimensionerat efter den. De flesta enfasinstallationer är utformade kring en nominell 25 % propylenglykolblandning (PG25), och bulletinen beskriver hur avvikelser från den konstruktionsmässiga formuleringen förändrar viskositet, densitet, specifik värme och värmeledningsförmåga, vilket leder till förändrat tryckfall, en förskjuten pumpdriftspunkt, försämrad värmeväxlareffektivitet och till och med CDU-styrstabilitet. Glykol bör uppfylla TC 9.9:s lägsta kvalitetsriktlinjer eller IT-utrustningstillverkarens specifikationer, och att blanda kylvätskor utan att bekräfta effekterna är en av de uttryckliga utlösarna för vad bulletinen kallar en strukturerad teknisk granskning.
Lufthantering är den som sover. Medföljande luft minskar värmeöverföringens effektivitet, orsakar kavitation i pumpar, accelererar korrosion och förlänger driftsättningsscheman, och bulletinen är specifik om den mekanism som överraskar teamen: avgasning är mest effektiv vid förhöjda temperaturer som en slinga bara kan nå under tung belastning, så luftproblem kan uppstå veckor efter uppstart när systemet väl har stabiliserat sig vid stationära temperaturer. Vägledningen omfattar placering av separatorer på den varma, lågtrycksretur nära CDU-inloppet, ventilation vid varje hög punkt och undvikande av kondensationsgeometrier, vertikala döda ben, inverterade U-böjar och oventilerade flexibla slangar som kan hålla luft på obestämd tid.
Passivering av rostfritt stål får bulletinens bestämdaste formulering. Svetsning, slipning och fältbearbetning skadar kromoxidfilmen som gör rostfritt stål korrosionsbeständigt, och utan ordentlig rengöring och ompassivering enligt ASTM A380/A967-praxis hamnar fritt järn i kylvätskan och smutsar ner mikrokanalytor som kalla plattor är beroende av, samma turbulatorstrukturer som vi undersökte på nära håll i vår djupdykning av Chilldyne-kallplattor , där vätskekvaliteten avgör om dessa fina egenskaper fortsätter att röra sig genom värme eller täpps till. Regeln som bulletinen bygger på är absolut: "En enskild installerad komponent som INTE är passiverad kan äventyra systemets drift."
Systemtryckklassificeringar kompletterar de fyra. Kommittén rekommenderar en fullständig hydraulisk modell av tryckkaskaden, som inte bara täcker stationär drift utan även spol- och fyllningstryck, statisk höjd, inställningar för säkerhetsventiler, förfyllning av expansionskärl och de transienter som är förknippade med anslutning och frånkoppling av utrustning. Den pekar också på IEC 62368-1:s krav på ett hydrostatiskt säkerhetstest vid 1.5 gånger det nominella maximala arbetstrycket, med säkerhetsventiler inställda under det nominella maxtrycket som IT-utrustningstillverkaren publicerar i sin termiska mall. Det felläge som man konstruerar mot är det dyra: övertryck i själva IT-utrustningen.
Från vägledning till fältchecklista
Den bakre halvan av bulletinen tas i bruk, och den har uppenbarligen skrivits av personer som har bränts. Kylvätskekoncentration och kvalitet bör laboratorieverifieras vid den första påfyllningen, efter varje betydande tillsats av vätska, och regelbundet, med den designbaserade vätskespecifikationen dokumenterad i leveranserna. Vakuumfyllning, en alltmer populär teknik för att avlägsna instängd luft, har en förbehåll som vi inte har sett någon annanstans: glykolblandningar kan delvis separera under vakuum, så kommittén rekommenderar provtagning och laboratorietester efter en vakuumfyllning för att bekräfta att blandningen förblir enhetlig. Det finns en praktisk bedömning av debatten om automatisk kontra manuell luftventilation (täck över de automatiska ventilerna eller isolera dem med en ventil när slingan har bekräftats vara luftfri, snarare än att byta hårdvara), och hela dokumentet avslutas med en checklista för fältverifiering som kartlägger varje riskområde för vad som ska verifieras, de acceptabla bevisen och varför det är viktigt, en sida som driftsättningsagenter kan lyfta direkt in i sina kvalitetssäkringsplaner.
Bulletinen är ett komplement till TC 9.9:s 2024 Liquid Cooling: Resiliency Guidance for Cold Plate Deployments och har standardförbehållet: det är informativ vägledning och ersätter inte IT-utrustningstillverkares krav eller lokala föreskrifter. För en samtalsämne om varför denna VVS-disciplin är viktig är Shedds timslånga podcastavsnitt en bra kombination.
Amazon