Avec l'essor continu des charges de travail en IA et en HPC, leurs besoins en énergie et en refroidissement augmentent également. Les GPU modernes, comme la NVIDIA RTX PRO 6000 Blackwell Server Edition, peuvent consommer jusqu'à 600 W, imposant une contrainte thermique considérable aux infrastructures de centres de données traditionnels. Si les serveurs refroidis par air peuvent gérer ces GPU, maintenir des performances stables à un tel niveau de densité représente un défi de taille. Le coût de la ventilation des racks remplis de GPU à forte consommation augmente fortement, notamment dans les régions où les tarifs d'électricité sont élevés, comme l'Europe du Nord, le Nord-Est des États-Unis et certaines parties de l'Asie-Pacifique. Sur ces marchés, le refroidissement par immersion offre un avantage opérationnel et économique significatif.
Le serveur Trident iGW610R-G6 d'Hypertec a été conçu en tenant compte de cette réalité. Contrairement aux serveurs modernisés qui adaptent des conceptions à refroidissement par air aux environnements fluides, la famille de serveurs Trident est conçue dès le départ pour fonctionner en immersion, notamment grâce à l'intégration de fluides diélectriques. Cette nouvelle plateforme 1U d'Hypertec prend en charge jusqu'à quatre GPU pleine hauteur et pleine longueur au format OCP 21 pouces, offrant un équilibre optimal entre densité de calcul et stabilité thermique.
Nous avons évalué le Trident iGW610R-G6 dans le laboratoire d'Hypertec à Montréal, en effectuant d'abord des tests à distance avant de nous rendre sur place pour enregistrer et observer le système en fonctionnement. La configuration testée comprenait un GPU NVIDIA H100 et des SSD Solidigm, immergés dans un bain Submer rempli de fluide diélectrique Castrol. Sous des charges de travail soutenues, le Trident a maintenu un profil de température remarquablement stable, les variations de température des composants restant dans une plage étroite. Cette constance réduit considérablement les cycles thermiques, principale cause de nombreux problèmes de fiabilité à long terme dans les systèmes hautes performances.
Les avantages de l'immersion thermique vont bien au-delà du simple contrôle de la température. Grâce à des conditions thermiques stables, les GPU peuvent maintenir leurs fréquences d'horloge maximales sans bridage, les CPU fonctionnent avec une variabilité réduite et les périphériques de stockage offrent un débit d'E/S constant. Cette uniformité se traduit par une fiabilité accrue, des performances prévisibles et une consommation d'énergie plus efficace par unité de rack — des atouts essentiels pour les organisations qui déploient des environnements d'IA et de calcul haute performance à grande échelle.
Cette évaluation s'appuie sur notre collaboration précédente avec Hypertec, détaillée dans l' article « L'IA à l'état de projet partout : ce centre de données mobile refroidi par immersion rend cela possible ». Ce projet avait démontré le potentiel des infrastructures d'IA mobile en périphérie grâce à l'immersion. Ici, l'accent est mis sur le déploiement en centre de données fixe, démontrant comment le Trident iGW610R-G6 et son écosystème associé de Submer et Castrol offrent une efficacité pratique à l'échelle du rack pour le calcul haute densité sur GPU.
Conception et fabrication du TRIDENT iGW610R-G6
Le TRIDENT iGW610R-G6 adopte une approche radicalement différente des serveurs rack classiques refroidis par air. Au premier coup d'œil, on remarque l'absence de capot supérieur traditionnel, laissant les principaux composants entièrement exposés au fluide caloporteur. Cette conception à châssis ouvert maximise la surface de contact pour un transfert thermique efficace au sein du fluide diélectrique, éliminant ainsi le besoin de ventilateurs internes ou de conduits d'air. Chaque aspect du système est conçu pour un refroidissement par immersion monophasique, où l'énergie thermique est absorbée et évacuée uniformément par le fluide environnant plutôt que par un flux d'air. Il en résulte une plateforme silencieuse et sans vibrations, optimisée pour les environnements de calcul haute performance à forte densité.
Physiquement, le châssis conserve un format 1U, mesurant 85 × 53,5 × 4,4 cm et pesant environ 32.6 kg une fois entièrement équipé. Malgré sa faible hauteur, son agencement est remarquablement pratique, avec quatre baies NVMe E1.S accessibles en façade et des emplacements PCIe facilement accessibles, positionnés de manière à faciliter le remplacement rapide des composants à l'intérieur de l'aquarium. Sa conception permet une intégration directe avec les principaux systèmes d'aquariums à immersion, offrant une compatibilité plug-and-play sans boîtiers ni systèmes de contrôle du flux d'air spécifiques.
Notre unité de test était équipée de deux processeurs Intel Xeon 6530, chacun doté de 32 cœurs et de 160 Mo de cache, avec un TDP maximal de 350 watts par socket. Le refroidissement est assuré par des dissipateurs thermiques en cuivre massif optimisés pour l'immersion, avec un matériau d'interface thermique en feuille d'indium, garantissant un transfert thermique efficace vers le fluide. Le système de refroidissement est associé à 32 modules DDR5 RDIMM (d'une capacité de 32 Go chacun) fonctionnant à 4 800 MT/s, offrant une bande passante suffisante pour les charges de travail d'IA, de calcul haute performance et d'analyse de données.
La configuration du stockage est un atout majeur de cette machine. Outre deux SSD M.2 NVMe de 1 To pour le système d'exploitation, elle intègre quatre disques Solidigm D5-P5430 E1.S de 7.68 To comme couche de données principale. Ces disques EDSFF offrent à la fois une haute densité et une efficacité remarquable, tirant pleinement parti des performances PCIe 4.0 dans un format compact. Le format E1.S est idéal pour les environnements immergés, où les plateaux de disques accessibles en façade permettent des remplacements sans outil, sans vidange ni levage du châssis. Les disques Solidigm contribuent également à l'équilibre global du serveur entre vitesse, endurance et efficacité thermique, ce qui les rend parfaitement adaptés au stockage de modèles d'IA, à la préparation des données et aux pipelines d'inférence à haut débit.
Le système prend en charge jusqu'à quatre accélérateurs double largeur, permettant aux utilisateurs d'adapter la densité de calcul à leurs besoins. La connectivité réseau est assurée par un module OCP 3.0 10GBase-T à deux ports compatible 1 GbE, garantissant une large compatibilité avec les infrastructures de centres de données existantes.
L'alimentation est assurée par deux blocs d'alimentation redondants 1+1 de 3 000 W certifiés 80 PLUS Titanium CRPS, garantissant des performances constantes même sous forte charge, tout en préservant une efficacité énergétique élevée. Le serveur étant entièrement immergé, aucun système de ventilation n'est nécessaire, ce qui élimine tout bruit de ventilateur et toute accumulation de poussière. Cette conception simplifie la maintenance, prolonge la durée de vie des composants et améliore la fiabilité globale.
Hypertec estime que les déploiements par immersion de l'iGW610R-G6 peuvent permettre une réduction de 95 % des coûts d'exploitation du refroidissement et une augmentation jusqu'à 60 % de la durée de vie du matériel, avec un PUE certifié indépendamment de 1.03. Combiné au potentiel de réutilisation de l'énergie grâce à la capture de jusqu'à 99 % de la chaleur résiduelle, le système démontre comment la densité de performance et la durabilité peuvent coexister efficacement.
Présentation du système de gestion TRIDENT iGW610R-G6
La carte TRIDENT iGW610R-G6 est équipée d'un contrôleur de gestion ASPEED AST2600 (BMC), offrant une compatibilité IPMI 2.0 complète avec iKVM et la prise en charge des supports virtuels. Cette plateforme de gestion hors bande permet aux administrateurs de surveiller, configurer et gérer le système à distance, quel que soit l'état de son système d'exploitation. Ces fonctionnalités sont essentielles pour les déploiements haute densité et les environnements refroidis par immersion.
L'interface web est claire et intuitive. Le panneau de gauche permet d'accéder rapidement aux sections Tableau de bord, Informations système, Capteurs, Journaux et rapports, et Gestion de l'alimentation. Chaque section offre une visibilité détaillée sur l'état du système, les données des capteurs, les versions du firmware et les états d'alimentation. Le tableau de bord affiche en un coup d'œil la durée de fonctionnement, les journaux d'accès et les informations sur les composants, offrant ainsi une vue d'ensemble claire de l'état du système sans nécessiter de logiciel supplémentaire.
En environnement immergé, ces fonctionnalités de contrôle à distance sont particulièrement précieuses. Au lieu d'insérer physiquement des supports ou des périphériques dans la cuve à mazout, les administrateurs peuvent déployer des systèmes d'exploitation, monter des images et effectuer des mises à jour via des supports virtuels. Cela réduit le temps de maintenance et garantit un fonctionnement propre, efficace et sûr du matériel immergé.
Présentation du système de tableau de bord
Le tableau de bord principal affiche la durée de fonctionnement, les versions du firmware, les informations réseau et l'état du GPU. Il centralise la gestion de l'état de la plateforme TRIDENT, le BMC fournissant les données de température, de tension et de télémétrie des capteurs, accessibles via les commandes IPMI ou les outils de surveillance SNMP.
Inventaire du processeur
La page du processeur répertorie chaque socket, y compris son modèle, le nombre de cœurs et son état. Cette unité est équipée de deux processeurs Intel Xeon Gold 6530. Chaque processeur possède 32 cœurs, utilise l'architecture x86, est installé dans les sockets CPU1 et CPU2 et est activé. La page indique une fréquence maximale de 4 000 MHz et confirme l'architecture et la famille, ce qui permet de vérifier facilement que les deux processeurs sont présents, fonctionnels et exécutent le microcode attendu.
Inventaire des contrôleurs de mémoire
La page du contrôleur de mémoire affiche toutes les barrettes DIMM, y compris leurs capacités, leurs fournisseurs, leurs numéros de série, leurs références, leurs états et leurs fréquences de fonctionnement. Dans notre configuration, chaque emplacement est occupé par des barrettes Micron DDR5 RDIMM de 32 768 Mio (référence MTC20F1045S1RC48BA22), activées et fonctionnant à 4 400 MHz, avec une fréquence maximale autorisée de 4 800 MHz. L’affichage sous forme de tableau simplifie la vérification de l’occupation des canaux et permet de confirmer l’homogénéité des timings sur tous les bancs.
Inventaire de stockage
L'onglet Stockage affiche les disques et contrôleurs connectés. Dans notre système, nous constatons que nos SSD NVMe Solidigm D5-P5430 E1.S sont utilisés pour le stockage principal, tandis que les disques M.2 Samsung 990 Pro de 1 To gèrent le système d'exploitation. La version du firmware, la vitesse d'interface et l'état de chiffrement de chaque disque sont affichés, ce qui simplifie la vérification du sous-système de stockage sans ouvrir le boîtier.
Performances thermiques du TRIDENT iGW610R-G6
Le comportement thermique joue un rôle crucial dans la fiabilité à long terme d'un système, et le contrôleur de température Hypertec Trident iGW610R-G6 a été conçu pour un fonctionnement en immersion. Au lieu de s'appuyer sur la circulation d'air autour des dissipateurs thermiques pour évacuer la chaleur des composants haute densité, le Trident fonctionne entièrement immergé dans un liquide diélectrique qui conduit la chaleur directement du matériel vers un circuit de refroidissement dédié. Cette conception élimine les risques mécaniques généralement associés aux systèmes refroidis par air, tels que les pannes de ventilateur, la contamination par la poussière et l'exposition à l'humidité. En isolant l'électronique de l'air et en créant un circuit de refroidissement liquide continu, le système maintient un environnement thermique parfaitement contrôlé et stable.
Lors des tests, le Trident iGW610R-G6 a fonctionné dans un réservoir Submer SmartPod Exo configuré pour un refroidissement par immersion monophasique. Dans cette configuration, le fluide diélectrique circule en continu dans le châssis, absorbant la chaleur du processeur, du processeur graphique et des disques NVMe avant de traverser des échangeurs de chaleur intégrés. La chaleur captée est ensuite transférée dans le circuit d'eau glacée du bâtiment, qui l'évacue vers l'infrastructure de dissipation thermique. Cette conception en circuit fermé maintient des températures stables dans le rack, assurant un flux de liquide de refroidissement uniforme et évitant les points chauds souvent rencontrés dans les configurations de calcul à haute densité.
Le fluide en circulation agit comme un réservoir thermique à haute capacité thermique massique. Lorsque les charges thermiques varient, le liquide absorbe et redistribue l'énergie uniformément dans le réservoir. Ceci minimise les gradients de température et prévient les fluctuations au niveau des composants, fréquentes dans les centres de données refroidis par air. Dans les environnements traditionnels, les variations de température ambiante ou de vitesse de ventilation peuvent entraîner des variations de plusieurs degrés sur les composants sensibles. À terme, ces cycles créent des contraintes physiques au niveau des joints de soudure et des substrats. En immersion, cet effet est quasiment éliminé, réduisant ainsi la fatigue mécanique et prolongeant la durée de vie du matériel.
Pour mesurer le comportement thermique sous forte charge, le Trident iGW610R-G6 a été soumis à des tests de contrainte sur l'ensemble de ses principaux sous-systèmes. La technologie FIO a été utilisée pour appliquer une charge d'E/S continue à chaque SSD, tandis que des tests de contrainte ont été appliqués au GPU et au CPU afin de les amener progressivement à 100 % de leur capacité. Tout au long du test, les températures des composants ont été enregistrées pendant plusieurs heures afin d'évaluer les caractéristiques d'équilibre et de fluctuation.
Les résultats étaient très cohérents. Le processeur s'est stabilisé à environ 52 °C, soit environ 13.7 °C au-dessus de sa température de repos. Le GPU a atteint un pic d'environ 58 °C, soit une augmentation de 21.1 °C. Chacun des quatre SSD NVMe Solidigm a suivi une tendance similaire, maintenant une température comprise entre 29 °C et 30 °C en charge, avec des variations de 8.8 °C à 9.2 °C. Une fois l'équilibre atteint, les températures sont restées stables pendant toute la durée du test, avec des variations minimales, ce qui indique une distribution homogène du fluide et une dissipation thermique efficace grâce au circuit de refroidissement.
Les données temporelles confirment ces performances. Après une phase de préchauffage initiale, tous les capteurs affichent des courbes de température stables et quasi horizontales. L'absence d'oscillations importantes et de dérive thermique indique que le refroidissement par immersion maintient une température constante et que le circuit d'eau glacée dissipe efficacement la chaleur du réservoir. Le profil thermique du Trident est resté remarquablement prévisible, même en fonctionnement continu à pleine charge.
Du point de vue de la fiabilité, cette stabilité présente des avantages considérables. L'absence de ventilateurs réduit la maintenance des pièces mobiles, tandis que l'environnement étanche empêche la pénétration de poussière et l'oxydation des connecteurs. À terme, ces caractéristiques se traduisent par des taux de panne plus faibles et un intervalle moyen entre les interventions de maintenance amélioré. L'association de la plateforme Trident iGW610R-G6 et de l'environnement monophasé SmartPod Exo de Submer offre une solution de refroidissement fiable et robuste, parfaitement adaptée aux déploiements à haute densité.
Globalement, les données thermiques recueillies sur le Trident iGW610R-G6 démontrent que le refroidissement par immersion avec circulation active de liquide offre non seulement une gestion thermique supérieure, mais aussi un gain de fiabilité significatif. En maintenant des températures de composants constantes et en s'affranchissant des variations de température ambiante, le système fonctionne de manière optimale quelles que soient la charge de travail et la durée d'utilisation, ce qui le rend parfaitement adapté aux applications de calcul et de stockage à haute disponibilité.
Pourquoi les organisations choisissent l'immersion
Le refroidissement par immersion n'est plus expérimental. Les entreprises qui déploient des environnements d'IA et de calcul haute performance à grande échelle l'utilisent aujourd'hui pour optimiser la stabilité thermique, la densité des racks et l'utilisation de l'énergie et des ressources matérielles. Les exemples suivants illustrent l'adoption à grande échelle des plateformes conçues pour le refroidissement par immersion dans les environnements de production.
ADACEN
ADACEN a choisi une infrastructure conçue pour l'immersion afin de soutenir l'expansion de sa plateforme d'IA et de HPC en tant que service, permettant à l'organisation d'exécuter des configurations GPU denses tout en simplifiant les exigences de refroidissement des installations et en améliorant l'efficacité opérationnelle à long terme.
« Nous avons choisi Hypertec comme partenaire car sa technologie d'immersion nous offre un avantage opérationnel et environnemental que le refroidissement par air ou par liquide direct sur puce ne peut tout simplement pas fournir. Leurs plateformes d'immersion entièrement conçues nous permettent de déployer des ressources CPU et GPU à plus haute densité, de réduire la consommation d'énergie liée au refroidissement de plus de 90 % et d'éliminer les risques de défaillance mécanique. Les systèmes Hypertec nous permettent de faire évoluer efficacement nos charges de travail IA/HPC en tant que service tout en atteignant nos objectifs de performance et ESG ; c'est pourquoi ils constituent un élément central de notre stratégie IA. » – Bernard Westwood, Directeur des opérations de revenus, ADACEN.
ADACEN représente un modèle de déploiement haute densité dans une infrastructure hébergée. Les environnements de calcul scientifique présentent des facteurs et des résultats similaires.
Université de Waterloo
L’Université de Waterloo déploie 700 nœuds répartis dans neuf cuves d’immersion pour soutenir le calcul scientifique de nouvelle génération. Ce passage à l’immersion permet de créer des clusters de GPU haute densité avec un comportement thermique homogène et une complexité d’installation réduite.
« Avec Nibi, nous avons opté pour le refroidissement par immersion car il offre une efficacité et une fiabilité exceptionnelles tout en simplifiant la conception de notre centre de données. Les serveurs Hypertec conçus pour le refroidissement par immersion ont facilité le déploiement de calculs haute densité sans la complexité des systèmes de refroidissement traditionnels à air ou à liquide. Cette approche améliore les performances et la stabilité et soutient notre objectif de créer un environnement HPC très durable et écoénergétique. » – John Morton, directeur de la technologie chez SHARCNET, Université de Waterloo.
Ces déploiements démontrent que l'immersion est déjà utilisée pour fournir des performances prévisibles à grande échelle, et ils ne représentent que deux des nombreuses organisations qui adoptent cette approche.
Conclusion
Notre évaluation du Hypertec Trident iGW610R-G6 a révélé que le refroidissement par immersion offre des gains de performances constants pour les configurations denses de GPU et de stockage. Sous des charges de travail soutenues, le système a maintenu des écarts de température faibles et stables, sans dérive ni oscillation thermique. Les CPU et GPU ont conservé des points de fonctionnement constants en charge, et les disques Solidigm E1.S ont fourni un débit d'E/S stable avec seulement de légères variations de température. Ce niveau de stabilité thermique réduit directement les contraintes sur les composants et minimise les conditions qui entraînent généralement une usure prématurée.
Ces résultats concordent avec les observations des grands opérateurs en environnement de production. ADACEN fait état d'une réduction mesurable du taux de défaillance annuel (TDA) des systèmes d'immersion, grâce à la diminution des cycles thermiques et à l'élimination des vibrations des ventilateurs et de l'exposition aux particules. Il en résulte une fiabilité accrue dans le temps, une fréquence de maintenance réduite et une meilleure continuité de service à grande échelle.
Le déploiement par l'Université de Waterloo de 700 nœuds répartis dans neuf cuves d'immersion confirme que le refroidissement par immersion s'impose comme une stratégie efficace pour la conception et l'extension de clusters de calcul haute densité. L'efficacité opérationnelle, la stabilité des performances et la simplicité des installations requises en font une solution idéale pour les organisations qui prévoient d'exécuter des charges de travail d'IA et de calcul haute performance à grande échelle.
Le refroidissement par immersion garantit déjà des performances stables et une efficacité opérationnelle optimale en production. Face à l'augmentation constante de la densité de calcul et de la consommation énergétique, les plateformes conçues pour l'immersion, telles que la Trident iGW610R-G6, offrent une solution pratique et durable pour les déploiements d'IA et de HPC à grande échelle.
Ce rapport est sponsorisé par Solidigm. Tous les points de vue et opinions exprimés dans ce rapport sont basés sur notre vision impartiale du ou des produits à l'étude.
Amazon