Podcast n° 152 : Dynamique thermique et architectures de refroidissement des centres de données avec Tim Shedd

Brian s'est récemment entretenu avec Tim Shedd, expert en gestion thermique et pionnier des technologies de refroidissement liquide. Le podcast aborde l'histoire du refroidissement liquide dans les centres de données, depuis ses débuts chez Cray où il pulvérisait du liquide sur des tubes jusqu'à sa collaboration plus récente avec Dell sur le PowerEdge XE9680.

Tim Shedd est un expert du secteur et ingénieur en mécanique spécialisé dans la gestion thermique, le refroidissement liquide et l'infrastructure des centres de données. Fort d'une carrière qui l'a mené de la recherche universitaire en tant que professeur à l'Université du Wisconsin-Madison à des postes d'ingénieur chez Motivair, en passant par une direction technique au sein de l'organisation CTO de Dell Technologies, il a été un pionnier dans le domaine des architectures de refroidissement haute densité. Ses travaux portent sur l'articulation entre la physique thermique avancée et la fabricabilité à très grande échelle, l'établissement de normes pour les unités de distribution de refroidissement et l'optimisation de l'efficacité énergétique des centres de données, qu'ils utilisent des systèmes de refroidissement par air ou par liquide.

Ce podcast offre un éclairage précieux sur l'évolution de la gestion thermique des mainframes, des plateformes HPC et des serveurs actuels. En moins d'une heure, vous comprendrez mieux son impact sur le bon fonctionnement de nos technologies.

Si vous n'avez pas le temps de regarder cette vidéo en entier, nous l'avons divisée en segments de cinq minutes afin que vous puissiez choisir ce qui est le plus important pour vous.

[00:00] L'évolution du refroidissement liquide : du calcul haute performance à l'IA d'entreprise

La première partie retrace l'évolution historique du refroidissement liquide, des installations de supercalcul spécialisées aux applications commerciales haute densité, en soulignant les premiers choix de conception thermique.

• Les premiers environnements informatiques s'appuyaient sur le refroidissement par évaporation et la convection forcée de base avant d'atteindre les limites imposées par le HPC haute densité et les charges de travail de calcul accélérées.
• Les premières expérimentations académiques avec les architectures Cray impliquaient la pulvérisation directe de liquide sur des tubes, ce qui s'est avéré techniquement viable mais commercialement prohibitif.
• L'inflexion observée après 2015 en matière de densité de puissance des racks a poussé les OEM à concevoir des déploiements liquides d'entreprise standardisés, aboutissant à des modèles de production de racks haute densité en 2019.
• Les chaînes d'approvisionnement des équipementiers sont passées de la production de quelques milliers de nœuds refroidis par liquide par an à une augmentation des livraisons à des milliers de systèmes de production par semaine.
• Les plateformes d'entreprise robustes comme le PowerEdge XE9680, le serveur à la croissance la plus rapide de l'histoire de Dell, équilibraient les premières charges thermiques de l'IA à l'aide de dissipateurs thermiques à air dense associés à des échangeurs de chaleur à porte arrière avant que l'adoption complète du refroidissement direct sur la puce ne devienne obligatoire.

[05:00] Tests des points de rupture thermique et de la physique des fluides à l'échelle

Cette section explore l'évaluation en laboratoire des technologies thermiques concurrentes, en détaillant pourquoi les boucles monophasées directes sur puce sont apparues comme l'architecture dominante par rapport aux systèmes à immersion.

• Les laboratoires de validation des équipementiers ont effectué des tests approfondis sur des boucles à plaque froide, des réseaux à pression négative, des configurations d'immersion et des systèmes biphasiques afin d'établir des bases de référence pour le déploiement.
• Historiquement, les charges thermiques du silicium ont augmenté progressivement à chaque génération, permettant aux approches standard de refroidissement par air et de refroidissement liquide de base de suffire jusqu'à ce que les TDP dépassent la plage de 500 W à 1000 W.
• Le refroidissement par immersion offre des avantages opérationnels pour les profils thermiques largement distribués, tels que les fermes de cryptomonnaies, mais peine à gérer les flux de chaleur localisés et hautement concentrés que l'on trouve sur les accélérateurs modernes.
• Eau mélangée à 25 % de propylène glycol (PG25), distribuée par plaques froides à microcanaux, est devenue la norme principale en raison de sa mise à l'échelle prévisible, de la disponibilité des approvisionnements et de ses propriétés de transfert thermique établies.
• Les normes d'écosystème ouvert restent essentielles pour l'approvisionnement en plaques froides, collecteurs et raccords rapides auprès de plusieurs fournisseurs sans régression des performances.

[10:00] Normalisation, interopérabilité multi-fournisseurs et fiabilité mécanique

La discussion aborde ensuite les réalités opérationnelles du déploiement de matériel liquide, en se concentrant sur l'intégration de composants provenant de différents fournisseurs, la délimitation des responsabilités et l'intégrité des matériaux.

• L'utilisation de composants de refroidissement provenant de différents fournisseurs engendre d'importants problèmes de compatibilité mécanique et des limitations de garantie strictes en cas de fuite de liquide.
• La responsabilité juridique et les accords de niveau de service restent les principaux obstacles du secteur empêchant les architectures d'infrastructure multi-fournisseurs dans les salles de serveurs de production.
• Les systèmes traditionnels de détection de fuites à cordes cèdent la place à des topologies de capteurs intégrées avec déclenchements automatiques des pompes et fermetures de vannes.
• Les progrès réalisés dans la fabrication des tuyaux EPDM vulcanisés au peroxyde ont considérablement réduit les taux de défaillance des composants dans la tuyauterie directe sur puce.
• Le manque de fiabilité du système sur le terrain provient principalement des débris de fabrication et d'un rinçage initial insuffisant des conduites plutôt que de la fatigue des composants bruts.

[15:00] Gestion des débris, limites du flux thermique et physique de la pression négative

Cette période d'étude examine la dynamique des fluides de précision des plaques froides, les effets catastrophiques de la contamination particulaire microscopique et la physique atmosphérique qui limite les boucles de refroidissement à pression négative.

• Des particules de 100 à 200 microns, voire une simple fibre de brosse métallique coincée dans un raccord rapide, peuvent obstruer les ailettes des microcanaux et provoquer la panne d'un rack par limitation thermique.
• La modélisation avancée de la dynamique des fluides numérique (CFD) permet aux plaques froides modernes de dissiper des charges de 1500 W tout en maintenant une pénalité delta T étroite de 30 °C.
• Systèmes de refroidissement à pression négative sont intrinsèquement limitées par la pression atmosphérique, ne laissant que 7 à 9 PSI de pression différentielle utilisable avant que le fluide n'atteigne son point d'ébullition à température ambiante.
• Les contraintes de pression limitées rendent difficile l'acheminement des boucles à pression négative à travers les longs collecteurs d'installations, les CDU et les plaques froides à microcanaux à haute résistance.
• Une analyse chimique de l'eau spécifique et une surveillance chimique continue sont essentielles pour prévenir la corrosion, la prolifération biologique et la dégradation des matériaux.

[20:00] Variables environnementales, chimie des fluides et détection avancée des fuites

Ici, la conversation aborde les impacts du climat régional sur les opérations des centres de données, les risques de condensation et l'évolution technologique des capteurs de détection de fuites à réponse rapide.

• L'humidité régionale, l'altitude et les conditions ambiantes déterminent la température de l'eau du circuit secondaire et l'efficacité du refroidissement de l'installation.
• Dans les climats à forte humidité, des températures de boucle inférieures à la température ambiante risquent de provoquer la formation de condensation sur les composants du châssis du serveur et nécessitent des contrôles de point de rosée dédiés.
• Les cordes de détection de fuites traditionnelles souffrent de problèmes d'approvisionnement et de seuils de déclenchement élevés, nécessitant un volume important de fluide avant de déclencher une alerte.
• La détection des fuites de nouvelle génération exploite des pistes de capteurs imprimées en polymère flexible, la détection de colorants optiques et des détecteurs de vapeurs pour identifier les microfuites avant qu'une défaillance catastrophique ne survienne.
• Les contrôleurs de rack intelligents modulent activement la pression de la boucle CDU dès la détection d'une perte de fluide précoce afin de minimiser le volume de fuite tout en préservant le temps de fonctionnement.

[25:00] Évaluation du potentiel de la technologie biphasique d'impression directe sur puce et de la chimie des fluides frigorigènes

Ce segment explore les avantages thermodynamiques de la vaporisation de la chaleur latente dans le refroidissement diphasique, ainsi que les considérations relatives à la chaîne d'approvisionnement et aux produits chimiques entourant les fluides frigorigènes à faible PRG.

• Le refroidissement direct sur puce en deux phases élimine la pénalité de chauffage sensible des boucles monophasées, généralement d'au moins 5 °C, maintenant une température d'ébullition constante, qu'une puce dissipe 10 W ou 1 000 W.
• Le refroidissement diphasique minimise la corrosion liée à l'eau et le risque de court-circuit électrique dans la baie, ce qui constitue un modèle de déploiement convaincant pour les salles de données d'entreprise.
• La mise à l'échelle des boucles biphasiques nécessite de résoudre les problèmes d'interopérabilité entre plusieurs fournisseurs pour les collecteurs à changement de phase, les unités de distillation atmosphérique et les condenseurs de vapeur complexes.
• Les nouveaux fluides diélectriques non inflammables à faible PRG (tels que le R-515B et le R-1233zd) permettent de surmonter les contraintes réglementaires associées aux composés PFAS traditionnels.
• Les fournisseurs d'infrastructures de centres de données modernes acquièrent des fournisseurs spécialisés dans le refroidissement afin de constituer des portefeuilles de solutions thermiques liquides unifiés et clés en main.

[31:33] Architectures CDU, contrôle dynamique des flux et atténuation du rayon d'explosion

En se concentrant sur l'infrastructure de pompage principale, cette section analyse les méthodes de test normalisées, la réponse thermique transitoire et les compromis techniques entre les CDU centralisées et distribuées.

• La norme ASHRAE 127 a établi des méthodes d'essai normalisées pour fournir des comparaisons précises et équitables de l'efficacité thermique et des performances de pompage des unités de traitement des eaux.
• De légères variations du débit du liquide de refroidissement se traduisent immédiatement par des fluctuations de température au niveau de la plaque froide ; une variation de débit de 10 % peut déclencher des phénomènes de limitation de débit, exigeant des algorithmes de contrôle ultra-réactifs.
• Les unités de confinement centralisées de plusieurs mégawatts impliquent des volumes de fluides massifs et de grands rayons d'explosion opérationnels, de sorte qu'un seul incident de contamination ou de fuite peut mettre hors service un hall entier d'installation.
• Les incompatibilités chimiques des additifs rendent dangereux le mélange de liquides de refroidissement de marques différentes, pouvant entraîner des précipitations et des obstructions.
• Les CDU distribuées au niveau des rangées et dans les racks isolent les zones de défaillance mécanique, réduisent la tuyauterie de transit des fluides et accélèrent les délais d'installation.

[37:00] Unités de distribution d'air intégrées (CDU) en rack versus boucles centralisées et viabilité de l'inférence refroidie par air

Cette section évalue les profils de performance des CDU en rack hautes performances et explique pourquoi le refroidissement par air reste dominant dans les clusters d'inférence d'entreprise distribués.

• Les CDU spécialement conçues pour les racks peuvent supporter des charges thermiques de 220 kW avec une température d'approche de 4 °C, transformant l'eau de l'installation à 41 °C en un liquide de refroidissement à 45 °C pour les racks Vera Rubin à raison de 1.5 litre par kilowatt.
• La redondance à double pompe à l'intérieur des CDU en rack assure un fonctionnement continu du refroidissement même lors des opérations de maintenance d'une seule pompe.
• Le refroidissement par air représente environ 90 % de toutes les livraisons mondiales de serveurs et prend en charge une part importante des déploiements d'inférence en entreprise.
• Le matériel d'inférence Edge et d'entreprise doit être déployé directement dans les salles de données traditionnelles refroidies par air, vieilles de 10 à 15 ans, où les données sont générées.
• La modernisation des installations plus anciennes avec des échangeurs de chaleur à porte arrière et des tours de refroidissement par évaporation transforme la puissance de refroidissement parasite en kilowatts de calcul utilisables pour les unités d'inférence d'IA locales.

[45:20] Frontières de l'aérodynamique interne du châssis et de l'efficacité du ventilateur

Le dernier segment détaille les compromis mécaniques des refroidisseurs tout-en-un à circuit fermé et examine comment l'optimisation aérodynamique du châssis pousse la capacité de refroidissement par air à sa limite physique.

• Les circuits de refroidissement liquide internes tout-en-un au niveau du serveur introduisent des points de défaillance mécanique et une complexité d'intégration du châssis, tout en n'offrant que des gains marginaux par rapport aux dissipateurs thermiques à chambre à vapeur optimisés.
• Les échangeurs de chaleur liquide-air latéraux offrent une solution plus propre et plus facile à entretenir pour les racks refroidis par liquide localisés dans les installations dépourvues d'eau courante.
• L'efficacité des ventilateurs des serveurs d'entreprise est passée de 15 à 20 % il y a dix ans à des taux de conversion électromécaniques modernes de 50 à 60 %.
• L'optimisation de l'aérodynamisme du châssis autour d'un point de conception de 100 CFM par kilowatt, avec chaque volume d'air d'admission se réchauffant uniformément de 18 °C, maximise la dissipation thermique par kilowatt.
• L'air possède des propriétés de diffusivité thermique favorables qui, associées à des conduits de précision et à des dissipateurs thermiques avancés, constituent une base solide pour le matériel d'entreprise de nouvelle génération.

Pour rester au courant de tout ce qui concerne le refroidissement liquide et la conception efficace des centres de données, suivez Tim Shedd sur LinkedIn.