ASHRAE TC 9.9, das technische Komitee, das den Großteil der thermischen Richtlinien für die Rechenzentrumsbranche verantwortet, hat ein frei herunterladbares technisches Bulletin mit dem Titel „TCS Coolant Integrity and System Readiness Best Practices“ veröffentlicht, das – anders als üblich bei Dokumenten von Normungsorganisationen – mit einer Warnung beginnt: „Es ist zu einfach, die Betriebs- und Garantieanforderungen von Direkt-Chip-Kühlsystemen zu verletzen.“
Das im Mai veröffentlichte und nun auf der Webseite des Ausschusses zugängliche Bulletin beschreibt vier Bereiche, in denen ein Technologie-Kühlsystem (TCS) von seinen Auslegungswerten abweichen kann. Diese Abweichungen bleiben bei der Inbetriebnahme unbemerkt und zeigen sich erst Monate später als Schäden. Der Zeitpunkt dieser Abweichungen deckt sich mit dem Trend zum Einsatz von Flüssigkeitskühlungen direkt auf dem Chip, der durch die hohe Prozessordichte der KI-Klasse in Rechenzentren vorangetrieben wird.
Die Funktionsfähigkeit von Kühlmittelverteilungshardware wie der PowerCool CDU von Dell hängt maßgeblich von den in dem neuen Bulletin festgelegten Fluidregeln ab.
Wenn Ihnen das Thema bekannt vorkommt, ist das kein Zufall. Tim Shedd von Dell sprach letzte Woche in Podcast #152 genau darüber – von Kühlmittelchemie und -filtration bis hin zu den Gründen, warum Fehler bei der Inbetriebnahme oft erst lange nach dem Abzug des Installationsteams auftreten. Er erwähnte auch, dass dieses Bulletin in Vorbereitung sei. Neben ihm werden Meraj Mohebi (Dell), Dustin Demetriou (IBM), Ashwin Siddarth (AMD), Chris Campbell (Vertiv), Vali Sorell (Oracle) sowie Ingenieure von Fluid2Chip und DLB Associates als Mitwirkende genannt. Diese herstellerübergreifende Gruppe verdeutlicht, wie weit verbreitet dieses Problem ist.
Tim Shedd gab in Podcast #152 einen Ausblick auf die Themen des Bulletins.
Die vier Fehlerpfade
Die Kühlmittelzusammensetzung ist von zentraler Bedeutung, da alle nachfolgenden Komponenten darauf ausgelegt sind. Die meisten einphasigen Systeme basieren auf einer nominalen 25%igen Propylenglykol-Mischung (PG25). Das Bulletin beschreibt detailliert, wie Abweichungen von der Auslegungsgrundlage Viskosität, Dichte, spezifische Wärmekapazität und Wärmeleitfähigkeit verändern. Dies führt zu verändertem Druckverlust, einem verschobenen Pumpenbetriebspunkt, einer verminderten Wärmetauscherleistung und sogar zu einer beeinträchtigten Stabilität der CDU-Steuerung. Glykol muss den Mindestqualitätsvorgaben des TC 9.9 oder den Spezifikationen des IT-Geräteherstellers entsprechen. Das Mischen von Kühlmitteln ohne vorherige Prüfung der Auswirkungen ist einer der expliziten Gründe für eine strukturierte technische Überprüfung, wie im Bulletin beschrieben.
Das Luftmanagement ist ein unterschätztes Problem. Eingeschlossene Luft verringert die Wärmeübertragungseffizienz, verursacht Kavitation in Pumpen, beschleunigt Korrosion und verlängert die Inbetriebnahme. Das Merkblatt beschreibt insbesondere den Mechanismus, der Teams oft überrascht: Die Entgasung ist am effektivsten bei erhöhten Temperaturen, die ein Kreislauf möglicherweise nur unter Volllast erreicht. Daher können Luftprobleme erst Wochen nach der Inbetriebnahme auftreten, wenn sich das System auf die Betriebstemperatur eingependelt hat. Die Richtlinien umfassen die Platzierung des Abscheiders im warmen Niederdruckrücklauf nahe dem CDU-Einlass, die Entlüftung an jedem Hochpunkt und die Vermeidung von Luftfallen, vertikalen Toträumen, umgekehrten U-Bögen und nicht entlüfteten flexiblen Schlauchleitungen, in denen sich Luft dauerhaft ansammeln kann.
Die Passivierung von Edelstahl wird im Bulletin besonders deutlich hervorgehoben. Schweißen, Schleifen und die Montage vor Ort beschädigen die Chromoxidschicht, die Edelstahl korrosionsbeständig macht. Ohne ordnungsgemäße Reinigung und Repassivierung gemäß ASTM A380/A967 gelangt freies Eisen in das Kühlmittel und verschmutzt die Mikrokanaloberflächen, auf denen die Kühlplatten basieren. Diese Turbulatorstrukturen haben wir in unserer detaillierten Analyse der Chilldyne-Kühlplatten eingehend untersucht . Die Qualität des Kühlmittels entscheidet darüber, ob diese feinen Strukturen die Wärme weiterhin abführen oder verstopfen. Die im Bulletin festgelegte Regel ist unumstößlich: „Ein einzelnes installiertes Bauteil, das nicht passiviert ist, kann den Betrieb des Systems gefährden.“
Die Systemdruckwerte vervollständigen die vier. Das Komitee empfiehlt ein vollständiges hydraulisches Modell der Druckkaskade, das neben dem stationären Betrieb auch Spül- und Fülldrücke, statische Höhe, Einstellungen der Sicherheitsventile, Vordruck im Ausdehnungsgefäß sowie die beim Anschließen und Trennen von Geräten auftretenden Druckstöße berücksichtigt. Es verweist außerdem auf die Anforderung der IEC 62368-1 für eine hydrostatische Sicherheitsprüfung mit dem 1.5-fachen des maximalen Betriebsdrucks, wobei die Sicherheitsventile unterhalb des vom IT-Gerätehersteller in seiner thermischen Spezifikation angegebenen maximalen Betriebsdrucks eingestellt sein müssen. Der zu vermeidende Ausfallmodus ist der kostspielige: die Überdruckung des IT-Geräts selbst.
Von der Anleitung zur Checkliste für die Praxis
Der zweite Teil des Bulletins befasst sich mit praktischen Aspekten und wurde eindeutig von Experten verfasst, die bereits negative Erfahrungen gemacht haben. Kühlmittelkonzentration und -qualität sollten bei der Erstbefüllung, nach jeder größeren Nachfüllung und in regelmäßigen Abständen im Labor überprüft werden. Die für die Auslegung vorgesehene Kühlmittelspezifikation ist in den Übergabedokumenten festzuhalten. Die Vakuumbefüllung, ein zunehmend beliebtes Verfahren zur Entfernung eingeschlossener Luft, birgt eine Besonderheit, die wir bisher noch nicht gesehen haben: Glykolgemische können sich unter Vakuum teilweise entmischen. Daher empfiehlt das Komitee, nach einer Vakuumbefüllung Proben zu entnehmen und im Labor zu testen, um die Homogenität des Gemisches zu bestätigen. Es gibt praktische Hinweise zur Frage, ob automatische oder manuelle Entlüftungsventile verwendet werden sollten (automatische Entlüftungsventile sollten verschlossen oder mit einem Ventil isoliert werden, sobald der Kreislauf als luftfrei bestätigt ist, anstatt die Hardware auszutauschen). Das Dokument schließt mit einer Checkliste für die Feldprüfung. Diese ordnet jedem Risikobereich die zu überprüfenden Punkte, die akzeptablen Nachweise und die Bedeutung der einzelnen Punkte zu – eine Seite, die Inbetriebnahmetechniker direkt in ihre Qualitätssicherungspläne übernehmen können.
Das Bulletin ergänzt die TC 9.9-Richtlinien „Flüssigkeitskühlung: Resilienzleitfaden für Kühlplatten-Einsätze 2024“ und enthält den üblichen Hinweis: Es handelt sich um eine Informationsbroschüre, die weder die Anforderungen der IT-Gerätehersteller noch lokale Vorschriften ersetzt. Für eine anschauliche Erläuterung der Bedeutung dieser Technik empfiehlt sich die einstündige Podcast-Folge von Shedd.
Amazon