CoolIT Direct Liquid Cooling – Efficacité transparente pour les serveurs refroidis par liquide

Nous nous sommes associés à CoolIT Systems pour introduire le refroidissement liquide dans notre laboratoire. Dans le cadre de cet effort, nous avons mis au point une mini plate-forme de refroidissement liquide et modernisé un Dell PowerEdge R760, le convertissant d'un refroidissement par air à un refroidissement par liquide. Nous commençons tout juste notre aventure dans le refroidissement liquide, mais nous avons déjà fait d'importantes découvertes sur les avantages qu'offre le refroidissement liquide direct (DLC).

Le refroidissement liquide, sous une forme ou une autre, sera nécessaire pour prendre en charge les charges de travail modernes. Le calcul ne fonctionne plus pour les serveurs à refroidissement par air dotés d'une puissance de conception thermique (TDP) CPU et GPU massive. Le DLC livré via des plaques froides est la solution la plus courante, chaque fournisseur de serveur propose au moins une option. En ce qui concerne Dell, ils se sont associés à CoolIT Systems pour fournir un refroidissement liquide à l'ensemble de la gamme PowerEdge.

Notre laboratoire, comme la plupart des centres de données, n'a pas été conçu au départ pour tirer parti du refroidissement liquide. Mais, comme de nombreux centres de données, nous constatons que les serveurs les plus puissants nécessitent un refroidissement liquide sous une forme ou une autre, et si nous voulons tirer parti de ces systèmes, nous devons nous adapter. C'est une histoire que nous entendons beaucoup dans les entreprises ces jours-ci, alors que les centres de données investissent dans l'IA, et que la plupart de ces systèmes nécessiteront bientôt une sorte de boucle liquide pour fonctionner.

Dans notre cas, nous avons décidé de commencer par moderniser l'un des serveurs Dell PowerEdge R760 en laboratoire. Pour être clair, lorsque les clients souhaitent des serveurs refroidis par liquide, ils les commandent ainsi auprès de Dell. Dell gère l'intégration avec CoolIT et les clients reçoivent un serveur avec des plaques froides installées et des tuyaux raccordés pour le refroidissement liquide. Les systèmes DLC PowerEdge présentent quelques nuances qui les différencient des serveurs refroidis par air. Nous avons dérivé vers un territoire relativement inexploré avec ce travail. La carte iDRAC est différente par exemple, la version DLC dispose d'un câble pour la détection des fuites. Nous avons réussi le processus de conversion, mais l'installation de vos propres plaques froides n'est pas une activité prise en charge.

Kit DLC CoolIT

CoolIT nous a équipé d'un mini système qui est généralement utilisé pour une petite preuve de concept pendant que ses clients travaillent sur le processus d'ajout d'un refroidissement liquide à leurs centres de données. Cela dit, ce système peut évoluer jusqu'à 10 kW, c'est donc un excellent moyen pour ceux qui débutent dans le refroidissement liquide d'acquérir une certaine expérience avec environ un demi-rack. Il y a trois composants clés dans cette configuration : les plaques froides, le collecteur de rack et l'unité de distribution de liquide de refroidissement (CDU).

Les plaques froides sont conçues pour des cas d'utilisation spécifiques en termes de TDP et s'adaptent parfaitement au processeur ou à la carte graphique à refroidir. Leur apparence est trompeusement simple, et bien qu'elles ne comportent ni pompes ni pièces mobiles, leur ingénierie est complexe en raison de l'augmentation constante des TDP. À titre de comparaison, CoolIT a récemment lancé une nouvelle gamme de plaques froides capables de supporter jusqu'à 1 500 W. Les processeurs de notre R760 sont relativement modestes : les processeurs Intel Xeon 8580 affichent un TDP de « seulement » 350 W chacun.

L'installation des plaques froides est très simple, les blocs ont même de la pâte thermique pré-appliquée, c'est un kit à installer très simple. Comme indiqué précédemment, il existe une carte iDRAC différente pour les systèmes DLC qui possède le point de connexion pour le câble de détection de fuite partant des plaques froides. Les tuyaux sont acheminés vers l'arrière du R760, via un support différent fourni avec le kit DLC iDRAC.

Les plaques froides sont connectées au collecteur via des connexions chaud/froid étiquetées. Le collecteur lui-même est en acier inoxydable et les raccords sont des déconnexions rapides sans gouttes. Il faut quelques secondes pour connecter le serveur au collecteur, qui est pré-rempli. Par ailleurs, notre collecteur est placé à l'arrière du rack, mais il peut être configuré à l'avant si nécessaire. Nous avons un mini collecteur pour ce cas d'utilisation, un rack DLC plus traditionnel aurait un collecteur couvrant tout le rack. Le collecteur se connecte directement au CDU.

Dans ce circuit, l'unité de refroidissement (CDU) assure la majeure partie du traitement thermique ; nous utilisons ici la CoolIT AHx10 . Il s'agit d'une CDU liquide-air 5U capable de gérer une charge de 7 kW à une température ambiante de 25 °C. CoolIT propose un kit d'extension permettant d'augmenter sa puissance à 10 kW. Le châssis intègre un échangeur de chaleur liquide-air et des pompes redondantes. La CDU, tout comme le collecteur, est livrée pré-remplie. Nous l'avons placée relativement bas dans le rack, mais son emplacement est flexible et dépend de la configuration de ce dernier.

L'AHx10 a une consommation électrique maximale de 750 W, ce qui contribue à la conversation économique globale autour des économies d'énergie. Le système dispose d'un écran tactile intuitif qui offre une prise en charge de l'accès à distance. A part régler initialement la pression de la pompe, il n'y a vraiment pas grand chose à faire avec le CDU, il s'agit à peu près de le régler et de l'oublier, le nôtre fonctionne depuis quelques semaines sans intervention supplémentaire.

Il est important de noter qu'avec ce système CoolIT, nous ne résolvons pas le problème de la chaleur elle-même. Nous la transférons en réalité des processeurs du R760 vers l'échangeur de chaleur situé à l'intérieur de l'unité de distribution d'air (CDU). Le refroidissement du laboratoire reste inchangé, car nous ne disposons pas d'un système d'eau chaude sanitaire pour évacuer la chaleur hors du laboratoire. Cela dit, un petit système comme celui-ci est parfaitement adapté à quelques serveurs à refroidissement liquide et pourrait être idéal pour une entreprise disposant d'un petit déploiement d'IA ; un serveur comme le Dell PowerEdge XE9640 serait parfaitement approprié.

Même si nous devons encore faire face à la chaleur du DLC R760 dans notre laboratoire, le passage au refroidissement liquide présente plusieurs avantages.

Avantages du DLC

Lorsque l’on passe du refroidissement par air au refroidissement liquide, l’avantage le plus important et le plus évident est la réduction de l’utilisation des ventilateurs. Le R760 a toujours besoin d'un flux d'air pour les composants du système tels que la DRAM et le stockage, mais ils n'ont pas besoin de tourner aussi vite. Bien que cela rende le serveur plus silencieux, le meilleur aspect de la boucle DLC est la réduction de la consommation électrique. L'autre chose que nous avons trouvée était un peu surprenante : le DLC R760 fonctionnait un peu mieux que lorsqu'il était refroidi par air.

Pour analyser plus précisément la consommation électrique du R760, nous avons configuré notre module d'analyse de consommation électrique Quarch QTL2843 . Nous avons testé le serveur avec ses dissipateurs thermiques à air d'origine, puis avec les plaques froides CoolIT. Afin de solliciter fortement les processeurs, nous avons effectué un calcul de Pi jusqu'à 50 milliards de décimales, ce qui impose une charge très importante au processeur et à la mémoire DRAM. Notre objectif était de pousser les processeurs au maximum afin de forcer le fonctionnement des ventilateurs à leur vitesse maximale.

L’impact de la mise en œuvre du DLC était immédiatement évident. Lors de l'exécution du R760 dans la configuration refroidie par air, les ventilateurs tournent à 100 % pendant la charge de travail, comme prévu. Avec la configuration DLC, le R760 a choisi de faire tourner les ventilateurs à 32%, une baisse spectaculaire. Cela équivaut à une économie de 200 watts sur un seul serveur. Ce n'est pas seulement la vitesse du ventilateur qui ressort, les processeurs eux-mêmes ont rapporté environ la moitié de la température avec le DLC, 41/42°C contre 88/89°C lorsqu'ils sont refroidis par air.

Mais ce ne sont pas seulement les économies d’énergie qui ressortent du refroidissement liquide. Nous avons constaté une petite amélioration des performances, à laquelle nous ne nous attendions pas. Grâce aux plaques froides offrant un meilleur refroidissement, le processeur peut fonctionner au maximum. Dans la configuration refroidie par air, le R760 a effectué le calcul de 50 milliards de Pi en 369 secondes. Dans la configuration DLC, le R760 est allé un peu plus vite, livrant le calcul en 347 secondes. Cela représente un gain de performances d'environ 6%, ce qui nous permet de tirer un peu plus parti des processeurs Intel.

Réflexions finales

Nous commençons tout juste le refroidissement liquide en laboratoire et sommes ravis d'avoir travaillé avec CoolIT sur ce premier effort. Les plaques froides fonctionnent parfaitement sur le PowerEdge R760 et le collecteur et le CDU s'assemblent et « fonctionnent » sans aucun souci ni bricolage continu. Pour ceux qui craignent d’introduire du liquide dans le centre de données, une simplicité continue est essentielle. Nous n'avons également eu aucune fuite ni autre événement plus catastrophique, ce qui était attendu : il s'agit d'un équipement d'entreprise avec un taux de défaillance extrêmement faible.

Pour les entreprises qui cherchent à intégrer des systèmes d’IA haute puissance dans leur centre de données, le refroidissement liquide est une évidence. Les serveurs GPU à 8 voies vont abandonner le refroidissement par air, optant pour des boucles DLC comme celle-ci ou au minimum, une boucle fermée et un radiateur. Quoi qu’il en soit, une certaine quantité de liquide s’infiltrera dans le centre de données. Avec les économies d'électricité substantielles et l'amélioration modeste des performances, il existe de nombreuses raisons pour lesquelles les entreprises devraient adopter des serveurs DLC.

CoolIT est un leader incontesté dans ce domaine et sa relation avec Dell met sur le marché une grande variété de solutions de refroidissement liquide d'une manière facilement consommable, avec très peu de soucis. Nous sommes impatients d'explorer davantage notre petite boucle et avons hâte de voir davantage de serveurs refroidis par liquide dans le laboratoire.

Systèmes CoolIT