Podcast #152: Thermische Dynamik und Kühlarchitekturen in Rechenzentren mit Tim Shedd

Brian unterhielt sich kürzlich mit Tim Shedd, einem Experten für Wärmemanagement und Pionier der Flüssigkeitskühlung. Der Podcast beleuchtet einige historische Aspekte der Flüssigkeitskühlung in Rechenzentren, von Tims Zeit bei Cray, wo er Flüssigkeit durch Rohre sprühte, bis hin zu seinem jüngsten Engagement beim Dell PowerEdge XE9680.

Tim Shedd ist ein Branchenexperte und Maschinenbauingenieur mit Spezialisierung auf Wärmemanagement, Flüssigkeitskühlung und Rechenzentrumsinfrastruktur. Seine Karriere umfasst akademische Forschung als Professor an der University of Wisconsin-Madison, grundlegende Ingenieursfunktionen bei Motivair und leitende technische Positionen im CTO-Bereich von Dell Technologies. Er zählt zu den Pionieren der Hochleistungskühlungsarchitektur. Sein Fokus liegt auf der Verbindung von fortschrittlicher Thermophysik und der Fertigung im Hyperscale-Bereich, der Etablierung von Standards für Kühlverteilungseinheiten und der Optimierung der Energieeffizienz von Rechenzentren mit luft- und flüssigkeitsgekühlten Hardware-Topologien.

Dieser Podcast bietet hervorragende Einblicke in die Entwicklung der Wärmeableitung von Mainframes über HPC-Plattformen bis hin zu aktueller Servertechnologie. In weniger als einer Stunde erhalten Sie ein besseres Verständnis dafür, wie sich dies auf viele Aspekte des effizienten Betriebs unserer Technologien auswirkt.

Falls Sie keine Zeit haben, sich das Video komplett anzusehen, haben wir es in fünfminütige Abschnitte unterteilt, damit Sie auswählen können, was Ihnen am wichtigsten ist.

[00:00] Die Entwicklung der Flüssigkeitskühlung von HPC bis hin zu KI in Unternehmen

Der erste Abschnitt schildert die historische Entwicklung der Flüssigkeitskühlung von spezialisierten Supercomputer-Anlagen bis hin zu kommerziellen Unternehmensanwendungen mit hoher Leistungsdichte und hebt dabei frühe thermische Designentscheidungen hervor.

• Frühe Rechenumgebungen nutzten Verdunstungskühlung und einfache erzwungene Luftkonvektion, bevor sie an die Grenzen stießen, die durch HPC mit hoher Dichte und beschleunigte Rechenlasten bedingt waren.
• Erste akademische Experimente mit Cray-Architekturen beinhalteten das direkte Besprühen von Röhren mit Flüssigkeit, was sich als technisch machbar, aber wirtschaftlich zu kostspielig erwies.
• Der nach 2015 erfolgte Wendepunkt bei der Leistungsdichte von Racks veranlasste die OEMs, standardisierte Flüssigkristall-Lösungen für Unternehmen zu entwickeln, was bis 2019 in der Produktion von Rack-Modellen mit hoher Leistungsdichte gipfelte.
• Die Lieferketten der OEMs verlagerten ihren Schwerpunkt von der Produktion einiger tausend flüssigkeitsgekühlter Knoten pro Jahr hin zur Skalierung der Lieferung auf Tausende von Produktionssystemen pro Woche.
• Leistungsstarke Enterprise-Plattformen wie der PowerEdge XE9680, der am schnellsten wachsende Server in der Geschichte von Dell, glichen die frühen thermischen Belastungen der KI mithilfe von dichten Luftkühlkörpern in Kombination mit rückseitigen Wärmetauschern aus, bevor die vollständige Direktkühlung auf dem Chip obligatorisch wurde.

[05:00] Prüfung von thermischen Durchbruchstellen und Fluidphysik im Maßstab

In diesem Abschnitt wird die labortechnische Evaluierung konkurrierender Wärmetechnologien untersucht und detailliert erläutert, warum sich einphasige Direkt-zu-Chip-Schleifen gegenüber Immersion-Systemen als dominierende Architektur durchgesetzt haben.

• Die Validierungslabore der Originalhersteller führten umfangreiche Tests an Kühlplattenkreisläufen, Unterdrucknetzen, Tauchkonfigurationen und Zweiphasensystemen durch, um Einsatzgrundlagen zu schaffen.
• Historisch gesehen stiegen die thermischen Belastungen von Siliziumchips mit jeder Generation schrittweise an, sodass Standard-Luftkühlung und einfache Flüssigkeitskühlung ausreichten, bis die TDP den Bereich von 500 W bis 1000 W überschritt.
• Die Immersionskühlung bietet operative Vorteile bei weit verteilten thermischen Profilen, wie sie beispielsweise in Krypto-Farmen auftreten, hat aber Schwierigkeiten mit den lokalisierten, hochkonzentrierten Wärmeströmen, die in modernen Beschleunigern vorkommen.
• Wasser, vermischt mit 25 % Propylenglykol (PG25), geliefert durch Mikrokanal-KühlplattenAufgrund seiner vorhersehbaren Skalierung, der Verfügbarkeit in der Produktion und seiner etablierten Wärmeübertragungseigenschaften wurde es zum primären Standard.
• Offene Ökosystemstandards bleiben entscheidend für die Beschaffung von Kühlplatten, Verteilern und Schnellkupplungen verschiedener Hersteller ohne Leistungseinbußen.

[10:00] Standardisierung, Interoperabilität verschiedener Hersteller und mechanische Zuverlässigkeit

Die Diskussion geht nun auf die operativen Realitäten des Einsatzes von Flüssighardware über, wobei der Schwerpunkt auf der Integration von Komponenten verschiedener Hersteller, der Haftungsabgrenzung und der Materialintegrität liegt.

• Die Kombination von Kühlkomponenten verschiedener Hersteller birgt erhebliche Risiken hinsichtlich der mechanischen Kompatibilität und führt im Falle eines Flüssigkeitslecks zu strengen Garantiebeschränkungen.
• Rechtliche Haftung und Service-Level-Agreements stellen nach wie vor die größten branchenweiten Hindernisse dar, die den Einsatz gemischter Installationsarchitekturen verschiedener Hersteller auf Produktionsserverebenen verhindern.
• Herkömmliche Leckageortungssysteme mit Seilzug werden zunehmend durch integrierte Sensortopologien mit automatischer Pumpenabschaltung und Ventilabsperrung ersetzt.
• Fortschritte bei der Herstellung von peroxidgehärteten EPDM-Schläuchen haben die Ausfallraten auf Komponentenebene bei Direkt-zu-Chip-Verrohrungen deutlich reduziert.
• Die Unzuverlässigkeit des Systems im Feld ist überwiegend auf Produktionsrückstände und unzureichende anfängliche Spülung der Leitungen zurückzuführen und weniger auf Materialermüdung der Bauteile.

[15:00] Trümmerbeseitigung, Wärmestromgrenzen und die Physik des Unterdrucks

Dieser Zeitraum untersucht die Fluiddynamik präziser Kühlplatten, die katastrophalen Auswirkungen mikroskopischer Partikelverunreinigungen und die atmosphärischen physikalischen Gegebenheiten, die Unterdruckkühlkreisläufe begrenzen.

• Partikel mit einer Größe von 100 bis 200 Mikrometern, selbst eine einzelne Drahtbürstenfaser, die sich in einer Schnellkupplung verfangen hat, können die Kühlrippen von Mikrokanälen verstopfen und durch thermische Drosselung zum Ausfall eines Gestells führen.
• Fortschrittliche CFD-Modellierung (Computational Fluid Dynamics) ermöglicht es modernen Kühlplatten, Lasten von 1500 W abzuführen und dabei eine geringe Temperaturdifferenz von 30 °C aufrechtzuerhalten.
• Unterdruckkühlsysteme sind naturgemäß durch den atmosphärischen Druck begrenzt, sodass nur noch 7 bis 9 PSI nutzbarer Differenzdruck zur Verfügung stehen, bevor die Flüssigkeit bei Raumtemperatur ihren Siedepunkt erreicht.
• Aufgrund begrenzter Druckbudgets ist es schwierig, Unterdruckkreisläufe durch lange Anlagenverteiler, CDUs und hochohmige Mikrokanal-Kühlplatten zu führen.
• Eine gezielte Wasserchemieanalyse und eine kontinuierliche chemische Überwachung sind unerlässlich, um Korrosion, biologisches Wachstum und Materialzerstörung zu verhindern.

[20:00] Umweltvariablen, Fluidchemie und fortschrittliche Leckageerkennung

In diesem Gespräch geht es um die Auswirkungen des regionalen Klimas auf den Betrieb von Rechenzentren, Kondensationsrisiken und die technologische Entwicklung von Schnellreaktions-Leckageerkennungssensoren.

• Die regionale Luftfeuchtigkeit, die Höhenlage und die Umgebungsbedingungen bestimmen die Wassertemperaturen im Sekundärkreislauf und die Kühlleistung der Anlage.
• Bei zu niedrigen Umgebungstemperaturen im Kühlkreislauf besteht in Klimazonen mit hoher Luftfeuchtigkeit die Gefahr der Kondenswasserbildung an den Komponenten des Servergehäuses, weshalb spezielle Taupunktregler erforderlich sind.
• Herkömmliche Leckageortungsseile leiden unter Engpässen in der Lieferkette und hohen Auslöseschwellen, da ein erhebliches Flüssigkeitsvolumen erforderlich ist, bevor ein Alarm ausgelöst wird.
• Die Leckageortung der nächsten Generation nutzt flexible, polymergedruckte Sensorbahnen, optische Farbstoffdetektion und Dampfschnüffler, um Mikrolecks zu erkennen, bevor es zu einem katastrophalen Ausfall kommt.
• Intelligente Rack-Controller modulieren aktiv den CDU-Kreislaufdruck bei frühzeitigem Flüssigkeitsverlust, um das Leckvolumen zu minimieren und gleichzeitig die Betriebszeit zu erhalten.

[25:00] Bewertung des Potenzials der Zweiphasen-Direkt-auf-Chip-Technologie und der Kältemittelchemie

In diesem Abschnitt werden die thermodynamischen Vorteile der Verdampfung latenter Wärme bei der Zweiphasenkühlung sowie die Lieferketten- und chemischen Aspekte im Zusammenhang mit Kältemitteln mit niedrigem GWP untersucht.

• Die zweiphasige Direktkühlung des Chips eliminiert die bei einphasigen Kreisläufen auftretende Erwärmung von typischerweise mindestens 5 °C und gewährleistet eine konstante Siedetemperatur, unabhängig davon, ob ein Chip 10 W oder 1,000 W abführt.
• Die Zweiphasenkühlung minimiert wasserbedingte Korrosion und das Risiko elektrischer Kurzschlüsse im Rack und stellt somit ein überzeugendes Einsatzmodell für Rechenzentren in Unternehmen dar.
• Die Skalierung von Zweiphasenkreisläufen erfordert die Lösung der Interoperabilitätsprobleme verschiedener Hersteller für Phasenwechselverteiler, CDUs und komplexe Dampfkondensatoren.
• Neuartige dielektrische Flüssigkeiten mit niedrigem GWP und ohne Entflammbarkeit (wie R-515B und R-1233zd) überwinden regulatorische Beschränkungen, die mit älteren PFAS-Verbindungen verbunden sind.
• Moderne Rechenzentrumsinfrastrukturanbieter übernehmen spezialisierte Kühlanbieter, um einheitliche, schlüsselfertige Portfolios an Flüssigkeitskühlsystemen zusammenzustellen.

[31:33] CDU-Architekturen, dynamische Durchflusssteuerung und Reduzierung des Explosionsradius

Dieser Abschnitt konzentriert sich auf die zentrale Pumpeninfrastruktur und analysiert standardisierte Testmethoden, das transiente thermische Verhalten sowie die technischen Kompromisse zwischen zentralisierten und dezentralen CDUs.

• Mit dem ASHRAE-Standard 127 wurden standardisierte Testmethoden festgelegt, um genaue, vergleichbare Ergebnisse hinsichtlich der thermischen Effizienz und der Pumpenleistung von CDUs zu ermöglichen.
• Geringfügige Abweichungen im Kühlmittelstrom führen unmittelbar zu Temperaturschwankungen an der Kühlplatte; eine Durchflussänderung von 10 Prozent kann Drosselvorgänge auslösen, was ultrareaktive Steuerungsalgorithmen erfordert.
• Zentrale Multi-Megawatt-CDUs (California Distribution Units) arbeiten mit enormen Flüssigkeitsmengen und haben große Betriebsradien, sodass ein einzelnes Kontaminations- oder Leckageereignis eine ganze Halle lahmlegen kann.
• Chemische Unverträglichkeiten bei Additiven machen das Mischen von herstellereigenen Kühlmitteln gefährlich, da es zu Ausfällungen und Verstopfungen kommen kann.
• Dezentrale Reihen- und Rack-CDUs isolieren Bereiche mit mechanischem Ausfall, reduzieren die Anzahl der Flüssigkeitstransportleitungen und beschleunigen die Installationszeiten.

[37:00] In-Rack-CDUs versus zentrale Schleifen und die Machbarkeit luftgekühlter Inferenz

Dieser Abschnitt bewertet die Leistungsprofile von Hochleistungs-CDUs im Rack und erläutert, warum die Luftkühlung in verteilten Enterprise-Inferenzclustern weiterhin dominant ist.

• Speziell entwickelte In-Rack-CDUs können thermische Lasten von 220 kW mit einer Annäherungstemperatur von 4 °C unterstützen und wandeln 41 °C warmes Leitungswasser in 45 °C warmes Kühlmittel für Vera Rubin Racks mit einem Verbrauch von 1.5 Litern pro Kilowatt um.
• Die redundante Doppelpumpenkonstruktion in den Rack-CDUs gewährleistet einen kontinuierlichen Kühlbetrieb auch bei Wartungsarbeiten an nur einer Pumpe.
• Die Luftkühlung macht etwa 90 Prozent aller weltweiten Serverlieferungen aus und unterstützt einen wesentlichen Teil der Inferenzsysteme in Unternehmen.
• Edge- und Enterprise-Inferenzhardware muss direkt in den veralteten, 10 bis 15 Jahre alten, luftgekühlten Rechenzentren eingesetzt werden, in denen die Daten erzeugt werden.
• Durch die Nachrüstung älterer Anlagen mit rückseitigen Wärmetauschern und Verdunstungskühltürmen wird die parasitäre Kühlleistung in nutzbare Rechenleistung in Kilowatt für lokale KI-Inferenzsysteme umgewandelt.

[45:20] Grenzen der internen Chassis-Aerodynamik und Lüftereffizienz

Im letzten Abschnitt werden die mechanischen Kompromisse von geschlossenen All-in-One-Kühlsystemen aufgeschlüsselt und untersucht, wie die aerodynamische Optimierung des Chassis die Luftkühlleistung an ihre physikalische Grenze bringt.

• Interne All-in-One-Flüssigkeitskühlkreisläufe auf Serverebene führen zu mechanischen Ausfallpunkten und einer komplexeren Gehäusekonstruktion, bieten aber nur geringfügige Vorteile gegenüber optimierten Dampfkammer-Kühlkörpern.
• Sidecar-Flüssigkeits-Luft-Wärmetauscher bieten eine sauberere und wartungsfreundlichere Lösung für lokal flüssigkeitsgekühlte Racks in Anlagen ohne Wasseranschluss.
• Die Effizienz der Lüfter von Unternehmensservern hat sich von 15 bis 20 Prozent vor einem Jahrzehnt auf moderne elektrisch-mechanische Umwandlungsraten von 50 bis 60 Prozent erhöht.
• Durch die Optimierung der Chassis-Aerodynamik auf einen Auslegungspunkt von 100 CFM pro Kilowatt, wobei jedes bisschen Ansaugluft gleichmäßig um 18°C ​​erwärmt wird, wird die Wärmeabfuhr pro Kilowatt maximiert.
• Luft besitzt günstige Wärmeleitfähigkeitseigenschaften, die in Kombination mit präzisen Luftkanälen und fortschrittlichen Kühlkörpern eine solide Grundlage für Enterprise-Hardware der nächsten Generation bilden.

Um in Sachen Flüssigkeitskühlung und effizientem Rechenzentrumsdesign auf dem Laufenden zu bleiben, folgen Sie Tim Shedd auf LinkedIn.