Dans le cadre de notre évaluation continue des technologies de refroidissement avancées pour les serveurs hautes performances, nous avons testé la solution de refroidissement direct sur puce (DTC) à deux phases ZutaCore® sur un serveur Supermicro équipé de deux processeurs AMD EPYC Bergamo. Ces tests ont été réalisés au centre de données Centersquare à Reading, dans le Berkshire, au Royaume-Uni, en collaboration avec l'intégrateur Boston Limited.
Le besoin de solutions de refroidissement efficaces
Alors que le nombre de cœurs et la consommation d'énergie des processeurs continuent de croître, les solutions de refroidissement par air traditionnelles ont du mal à répondre aux exigences thermiques des processeurs de pointe. Cela est particulièrement évident dans les nœuds de calcul à haute densité, où les méthodes de refroidissement par air ne parviennent pas à gérer efficacement la chaleur importante produite par les processeurs multicœurs hautes performances, tels que l'EPYC Bergamo à 128 cœurs d'AMD.
Ces processeurs puissants génèrent une puissance thermique importante, ce qui accroît les limites du refroidissement par air. Même les dissipateurs thermiques les plus avancés ont du mal à maintenir des performances thermiques optimales sans augmenter le bruit ni consommer trop d'énergie.
Ce projet consiste à mettre à niveau un châssis Supermicro à double socket du refroidissement par air traditionnel vers la solution DTC à deux phases de ZutaCore. Nous avons testé le système avant la conversion, observé des limitations importantes en termes d'efficacité de refroidissement et évalué le serveur après l'installation du DTC.
La configuration matérielle
Le système de test était équipé d'un châssis Supermicro 1U avec deux processeurs AMD EPYC Bergamo, chacun doté de 128 cœurs. Avec 256 cœurs sous le capot et 768 Go de RAM, ce serveur est conçu pour gérer des charges de travail denses, en particulier dans les environnements d'IA et de données intensives. Cependant, même avec de grands dissipateurs thermiques traditionnels à refroidissement par air, le système a eu du mal à maintenir les températures sous contrôle pendant les tests de stress, ce qui a entraîné une limitation thermique.
Nous avons opté pour le système de refroidissement liquide biphasé de ZutaCore pour améliorer le refroidissement et les performances. Ce système innovant utilise un fluide caloporteur qui passe du liquide à la vapeur dans les plaques froides directement fixées aux processeurs. Ce changement de phase permet une efficacité thermique bien supérieure à celle des refroidisseurs à liquide ou à air traditionnels, car la chaleur latente issue de la vaporisation du fluide permet d'évacuer plus efficacement la chaleur des cœurs du processeur.
Le processus de conversion
Préparation du serveur
Le processus de conversion a commencé par le démontage des composants de refroidissement par air d'origine. Le retrait des dissipateurs thermiques traditionnels a révélé les petits dissipateurs thermiques denses des processeurs Bergamo, clairement sous-dimensionnés pour gérer la charge thermique de ces puces gourmandes en énergie. Au cours des premiers tests, nous avons remarqué que les processeurs atteignaient des températures élevées et peinaient à maintenir des performances soutenues sous contrainte.
Installation des plaques froides ZutaCore
L'étape suivante a consisté à introduire le cœur du système de refroidissement à deux phases : les plaques froides conçues sur mesure par ZutaCore. Ces plaques froides sont équipées d'évaporateurs internes qui permettent au fluide caloporteur d'absorber la chaleur et de s'évaporer lors de son passage dans le système. Le fluide vaporisé est ensuite renvoyé au condenseur, refroidi et réintroduit dans le système pour poursuivre le cycle.
L'une des caractéristiques les plus fascinantes de ce système est son autorégulation mécanique. Le mécanisme à flotteur de chaque évaporateur ajuste le débit du fluide caloporteur en fonction de la charge thermique du processeur. Un système en boucle fermée comme celui-ci garantit que chaque processeur reçoit la quantité de fluide nécessaire sans intervention manuelle.
Les plaques froides ont été soigneusement placées sur les processeurs, garantissant une pression constante et un contact thermique optimal. Le tube qui transporte le fluide caloporteur a été connecté aux plaques froides et nous avons effectué une série de tests de pression pour nous assurer qu'il n'y avait aucune fuite avant de procéder à l'installation complète.
Intégration avec les systèmes de gestion de l'alimentation et de la température du serveur
Le défi suivant consistait à intégrer le système de refroidissement dans l'infrastructure plus vaste du centre de données. Le système DTC de ZutaCore s'intègre aux systèmes de gestion thermique existants du serveur et offre un contrôle amélioré grâce au logiciel de gestion du refroidissement de ZutaCore. Ce logiciel permet de surveiller en temps réel des paramètres clés, tels que la pression du réfrigérant, la température à différents points du système et les températures de jonction du processeur.
Le logiciel se connecte à l'IPMI (Intelligent Platform Management Interface) du serveur, ce qui permet une surveillance et un contrôle transparents des paramètres de refroidissement. Nous avons été particulièrement impressionnés par les détails fournis, notamment les vitesses des ventilateurs, les températures de vapeur et les cycles de fonctionnement des pompes. Cette visibilité granulaire du processus de refroidissement permet d'ajuster avec précision les performances du système en fonction de la charge de travail.
Après avoir raccordé le système à l'unité de rejet de chaleur avec les raccords à déconnexion rapide et avoir rapidement purgé les gaz atmosphériques de la boucle à l'aide du kit de service inclus, le système était prêt à être mis sous tension.
Points saillants du rendement
Résultats avant conversion
Comme indiqué ci-dessus, avant de passer au système à deux phases de ZutaCore, nous avons effectué une série de tests avec un refroidissement par air standard. En utilisant des charges de travail conçues pour solliciter les 256 cœurs, le système a rapidement atteint ses limites thermiques, obligeant les processeurs à limiter leurs performances pour rester dans des températures de fonctionnement sûres. Des charges lourdes et soutenues ont entraîné des températures de processeur proches de 85 °C, avec des baisses notables des vitesses d'horloge.
Résultats post-conversion
Après avoir installé la solution DTC, nous avons relancé ces tests et les résultats ont été spectaculaires. Les températures du processeur, à pleine charge, ont chuté de manière significative, avec des températures maximales restant inférieures à 65 °C. Plus important encore, la limitation thermique a été éliminée. Le système à deux phases a permis aux processeurs Bergamo de fonctionner à des vitesses d'horloge soutenues plus élevées tout au long du test.
Sans surprise, la consommation d'énergie du système a diminué, car les ventilateurs n'avaient plus besoin de tourner à plein régime pour compenser les températures élevées. Le fonctionnement plus silencieux a été immédiatement perceptible, même dans un environnement de centre de données bruyant.
Étant donné que cet exercice était destiné à une expérience pratique avec la solution ZutaCore, toutes les mesures étaient qualitatives. Il convient de noter qu'au moment du tournage et de la rédaction, le système Bergamo refroidi par ZutaCore avait atteint quelques records du monde dans les catégories BBP y-cruncher et vérifiés sur HWBot.org.
Efficacité énergétique et de refroidissement
L'un des principaux avantages du système ZutaCore est le potentiel d'économies d'énergie. La dépendance réduite au refroidissement par air réduit le besoin de ventilateurs à haut régime et de climatisation, ce qui se traduit par des économies d'énergie concrètes. De plus, le système permet au serveur de fonctionner à des températures ambiantes plus élevées sans risque de surchauffe. Cette fonctionnalité est inestimable pour les centres de données qui cherchent à optimiser leur PUE (Power Usage Effectiveness) en augmentant la température de leurs installations.
Conséquences à long terme pour les centres de données
La solution de refroidissement biphasé de ZutaCore gère efficacement les charges thermiques élevées et offre des avantages à long terme pour les centres de données. Son efficacité énergétique améliorée et ses coûts de refroidissement réduits pourraient en faire un élément crucial pour les environnements informatiques à haute densité.
Pour les centres de données adoptant des processeurs et des GPU de nouvelle génération, tels que l'EPYC d'AMD et le H100 de NVIDIA, la solution de refroidissement ZutaCore présente une option évolutive pour gérer la production de chaleur croissante sans nécessiter de modifications substantielles de l'infrastructure existante.
De plus, la méthode de refroidissement à deux phases est relativement respectueuse de l'environnement. Les fluides caloporteurs de ZutaCore sont non toxiques et à faible potentiel de réchauffement global (GWP). L'utilisation de fluides diélectriques garantit que, même en cas de fuite, il n'y a aucun risque de court-circuit électrique ou de dommages matériels.
Conclusion
La conversion du serveur double AMD EPYC Bergamo de Supermicro à la solution de refroidissement direct sur puce à deux phases de ZutaCore a démontré une nette amélioration des performances thermiques, de la réduction du bruit et de l'efficacité énergétique. Alors que les centres de données continuent de s'étendre et de repousser les limites des performances des serveurs, les technologies de refroidissement avancées comme ZutaCore offrent une voie prometteuse pour gérer les exigences thermiques croissantes des environnements informatiques modernes.
Si vous exploitez des charges de travail à haute densité et poussez votre matériel à ses limites, investir dans des solutions de refroidissement avancées comme celles de ZutaCore pourrait améliorer les performances et économiser sur les coûts d'exploitation à long terme.
Un grand merci à Boston Limited pour la fourniture du matériel et à Centersquare pour la mise à disposition du centre de données !
Amazon