A medida que las cargas de trabajo de IA y HPC siguen aumentando, también lo hacen sus necesidades de energía y refrigeración. Las GPU modernas, como la NVIDIA RTX PRO 6000 Blackwell Server Edition, pueden consumir hasta 600 W, lo que supone una enorme carga térmica para la infraestructura tradicional de los centros de datos. Si bien los servidores refrigerados por aire pueden soportar estas GPU, mantener un rendimiento estable con esta densidad es un asunto completamente distinto. El coste de la refrigeración por aire en racks repletos de GPU de alto consumo aumenta considerablemente, sobre todo en regiones con tarifas eléctricas elevadas, como el norte de Europa, el noreste de Estados Unidos y algunas zonas de Asia-Pacífico. En estos mercados, la refrigeración por inmersión ofrece una ventaja operativa y económica significativa.
El servidor Trident iGW610R-G6 de Hypertec se diseñó teniendo en cuenta esta realidad. A diferencia de los servidores reacondicionados que adaptan diseños de refrigeración por aire a entornos de fluidos, la familia de servidores Trident nació para la inmersión, diseñada desde su primer diseño de PCB para operar en fluido dieléctrico. Esta nueva plataforma Hypertec 1U admite hasta cuatro GPU de altura y longitud completas en una configuración OCP de 21 pulgadas, logrando un equilibrio entre densidad de cómputo y estabilidad térmica.
Evaluamos el Trident iGW610R-G6 en el laboratorio de Hypertec en Montreal. Inicialmente, realizamos pruebas remotas antes de trasladarnos a las instalaciones para grabar y observar el sistema en funcionamiento. La configuración probada constaba de una única GPU NVIDIA H100 y unidades SSD Solidigm, operando dentro de un tanque de inmersión Submer lleno de fluido dieléctrico Castrol. Bajo cargas de trabajo sostenidas, el Trident mantuvo un perfil de temperatura notablemente estable, con variaciones de temperatura entre los componentes dentro de un rango estrecho. Esta consistencia reduce significativamente los ciclos térmicos, la causa principal de muchos problemas de fiabilidad a largo plazo en sistemas de alto rendimiento.
Las ventajas de la inmersión van más allá del control de la temperatura. Con condiciones térmicas estables, las GPU pueden mantener frecuencias de reloj máximas sin limitación, las CPU funcionan con menor variabilidad y los dispositivos de almacenamiento ofrecen un rendimiento de E/S constante. Esta uniformidad se traduce en mayor fiabilidad, rendimiento predecible y un consumo energético más eficiente por unidad de rack: resultados clave para las organizaciones que crean entornos de IA y HPC a gran escala.
Esta evaluación se basa en nuestra colaboración previa con Hypertec, detallada en Edge AI Anywhere: This Immersion-Cooled Mobile Data Center Makes It Possible . Ese proyecto demostró el potencial de la infraestructura de IA móvil en el borde mediante la inmersión. En este caso, nos centramos en la implementación en centros de datos fijos, demostrando cómo el Trident iGW610R-G6 y su ecosistema de Submer y Castrol ofrecen una eficiencia práctica a escala de rack para la computación densa con GPU.
Diseño y construcción del TRIDENT iGW610R-G6
El TRIDENT iGW610R-G6 adopta un enfoque radicalmente distinto al de los servidores rack convencionales refrigerados por aire. A primera vista, se aprecia la ausencia de una cubierta superior tradicional, dejando los componentes principales totalmente expuestos al fluido de inmersión. Este diseño de chasis abierto maximiza la superficie de contacto para una eficiente transferencia de calor dentro del fluido dieléctrico, eliminando la necesidad de ventiladores internos o conductos de aire. Cada aspecto del sistema está diseñado para la refrigeración por inmersión monofásica, en la que la energía térmica es absorbida y disipada uniformemente por el fluido circundante, en lugar de por el flujo de aire. El resultado es una plataforma silenciosa y libre de vibraciones, optimizada para entornos informáticos de alta densidad y rendimiento.
Físicamente, el chasis mantiene un formato 1U, con unas dimensiones de 85 x 53,5 x 4,4 cm y un peso aproximado de 32.6 kg a plena carga. A pesar de su perfil bajo, la distribución es extraordinariamente práctica, con cuatro bahías NVMe E1.S de acceso frontal y ranuras PCIe fácilmente accesibles, ubicadas estratégicamente para facilitar el intercambio rápido de componentes dentro del tanque. El diseño se integra directamente con los principales sistemas de tanques de inmersión, ofreciendo compatibilidad plug-and-play sin necesidad de carcasas de hardware especializadas ni controles de flujo de aire.
Nuestra unidad de prueba se configuró con dos procesadores Intel Xeon 6530, cada uno con 32 núcleos y 160 MB de caché, con un TDP de hasta 350 vatios por zócalo. La refrigeración se realiza mediante disipadores de calor de cobre sólido optimizados para inmersión, con material de interfaz térmica de lámina de indio, lo que garantiza una transferencia térmica eficiente al fluido. El conjunto de CPU se complementa con 32 módulos DDR5 RDIMM (cada uno con una capacidad de 32 GB) que funcionan a 4800 MT/s, proporcionando un ancho de banda suficiente para cargas de trabajo de IA, HPC y análisis de datos.
La configuración de almacenamiento es uno de los puntos fuertes de este equipo. Además de dos SSD M.2 NVMe de 1 TB para el sistema operativo, el sistema alberga cuatro unidades Solidigm D5-P5430 E1.S de 7.68 TB como capa de datos principal. Estas unidades EDSFF ofrecen alta densidad y una eficiencia impresionante, aprovechando el rendimiento de PCIe 4.0 en un formato compacto. El formato E1.S es ideal para entornos de inmersión, donde las bandejas de unidades de fácil acceso frontal permiten el reemplazo sin herramientas, sin necesidad de vaciar el sistema ni levantar el chasis. Las unidades Solidigm también contribuyen al equilibrio general del servidor entre velocidad, resistencia y eficiencia térmica, lo que las hace idóneas para el almacenamiento de modelos de IA, la preparación de datos y los flujos de inferencia de alto rendimiento.
El sistema admite hasta cuatro aceleradores de doble ancho, lo que permite a los usuarios escalar la densidad de computación según sus necesidades. La conectividad de red se habilita mediante un módulo OCP 3.0 10GBase-T de doble puerto que admite 1GbE, lo que garantiza una amplia compatibilidad con las infraestructuras de centros de datos existentes.
La alimentación eléctrica se proporciona mediante fuentes de alimentación CRPS redundantes 1+1 de 3000 W con certificación 80 PLUS Titanium, que ofrecen un rendimiento constante incluso con cargas elevadas y una alta eficiencia energética. Gracias a la inmersión total del servidor, no se requiere ventilación activa, lo que elimina el ruido del ventilador y la acumulación de polvo. Este diseño no solo simplifica el mantenimiento, sino que también prolonga la vida útil de los componentes y mejora la fiabilidad general.
Hypertec estima que las implementaciones de inmersión del iGW610R-G6 pueden lograr una reducción del 95 % en los costos operativos de refrigeración y un aumento de hasta el 60 % en la vida útil del hardware, con un PUE certificado de forma independiente de 1.03. Combinado con el potencial de reutilización de energía de capturar hasta el 99 % del calor residual, el sistema demuestra cómo la densidad de rendimiento y la sostenibilidad pueden coexistir de manera efectiva.
Descripción general de la gestión del TRIDENT iGW610R-G6
El TRIDENT iGW610R-G6 se basa en una placa con controlador de gestión de placa base (BMC) ASPEED AST2600, que ofrece compatibilidad total con IPMI 2.0, iKVM y soporte para medios virtuales. Esta plataforma de gestión fuera de banda permite a los administradores supervisar, configurar y gestionar el sistema de forma remota, independientemente del estado de su sistema operativo. Estas funciones son esenciales para implementaciones de alta densidad y refrigeración por inmersión.
La interfaz web es clara y fácil de usar. El panel izquierdo ofrece acceso rápido a las secciones de Panel de control, Información del sistema, Sensores, Registros e informes y Control de energía. Cada área proporciona información detallada sobre el estado del sistema, los datos de los sensores, las versiones de firmware y los estados de energía. El panel de control muestra el tiempo de actividad, los registros de acceso y la información de los componentes de un vistazo, ofreciendo una visión general clara del estado del sistema sin necesidad de software adicional.
En entornos sumergidos, estas capacidades remotas resultan especialmente valiosas. En lugar de insertar físicamente medios o periféricos en el tanque de aceite, los administradores pueden implementar sistemas operativos, montar imágenes y realizar actualizaciones mediante medios virtuales. Esto reduce el tiempo de mantenimiento y garantiza un funcionamiento limpio, eficiente y seguro del hardware sumergido.
Descripción general del sistema del panel de control
El panel principal muestra las horas de encendido, las versiones de firmware, los detalles de la red y el estado de la GPU. Sirve como panel de estado central para la plataforma TRIDENT, y el BMC proporciona telemetría de temperatura, voltaje y sensores accesible mediante comandos IPMI o herramientas de monitorización SNMP.
Inventario del procesador
La página del procesador muestra cada zócalo, incluyendo su modelo, número de núcleos y estado. Esta unidad está equipada con dos procesadores Intel Xeon Gold 6530. Cada procesador cuenta con 32 núcleos, utiliza la arquitectura x86, está instalado en los zócalos CPU1 y CPU2, y está habilitado. La página indica una velocidad máxima de 4,000 MHz y confirma la arquitectura y la familia, lo que facilita la verificación de que ambas CPU están presentes, en buen estado y ejecutando el microcódigo esperado.
Inventario de controladores de memoria
La página del controlador de memoria muestra todos los módulos DIMM, incluyendo su capacidad, fabricante, número de serie, número de pieza, estado y velocidad de funcionamiento. En nuestra configuración, cada ranura está ocupada por módulos RDIMM DDR5 Micron de 32,768 MiB (número de pieza MTC20F1045S1RC48BA22), habilitados y funcionando a 4400 MHz, con una frecuencia máxima permitida de 4800 MHz. La vista de tabla facilita la comprobación de la ocupación de los canales y ayuda a confirmar la uniformidad de las latencias en todos los bancos.
Inventario de almacenamiento
La pestaña Almacenamiento muestra las unidades y controladores conectados. En nuestro sistema, podemos ver que nuestras unidades SSD NVMe Solidigm D5-P5430 E1.S se utilizan para el almacenamiento principal, mientras que las unidades Samsung 990 Pro M.2 de 1 TB gestionan el sistema operativo. Se muestra la versión del firmware, la velocidad de la interfaz y el estado de cifrado de cada unidad, lo que simplifica la verificación del subsistema de almacenamiento sin necesidad de abrir la carcasa.
Rendimiento térmico del TRIDENT iGW610R-G6
El comportamiento térmico es crucial para la fiabilidad a largo plazo del sistema, y el Hypertec Trident iGW610R-G6 se diseñó para funcionar sumergido. En lugar de depender del flujo de aire sobre disipadores para eliminar la energía de los componentes de alta densidad, el Trident opera completamente sumergido en un líquido dieléctrico que conduce el calor directamente desde el hardware a un circuito de refrigeración controlado. Este diseño elimina los riesgos mecánicos comunes en los sistemas refrigerados por aire, como fallos del ventilador, acumulación de polvo y exposición a la humedad. Al aislar los componentes electrónicos del aire e introducir una vía térmica líquida continua, el sistema mantiene un entorno térmico altamente controlado y constante.
Durante las pruebas, el Trident iGW610R-G6 funcionó dentro de un tanque Submer SmartPod Exo configurado para refrigeración por inmersión monofásica. En esta configuración, el fluido dieléctrico circula continuamente por el chasis, absorbiendo el calor de la CPU, la GPU y las unidades NVMe antes de pasar por intercambiadores de calor integrados. El calor capturado se transfiere al circuito de agua refrigerada del edificio, que lo transporta a la infraestructura de disipación de calor. Este diseño de circuito cerrado mantiene temperaturas estables en todo el rack, garantizando un flujo uniforme de refrigerante y evitando los puntos calientes que suelen producirse en configuraciones de computación densas.
El fluido circulante actúa como un depósito térmico con una alta capacidad calorífica específica. A medida que varían las cargas térmicas, el líquido absorbe y redistribuye la energía de manera uniforme por todo el tanque. Esto minimiza los gradientes de temperatura y evita las fluctuaciones a nivel de componentes, comunes en los centros de datos refrigerados por aire. En entornos tradicionales, los cambios en la temperatura ambiente o la velocidad del ventilador pueden provocar variaciones de varios grados en los componentes sensibles. Con el tiempo, estos ciclos generan tensiones físicas en las soldaduras y los sustratos. En inmersión, este efecto se elimina casi por completo, lo que reduce la fatiga mecánica y prolonga la vida útil del hardware.
Para medir el comportamiento térmico bajo cargas de trabajo elevadas, se sometió al Trident iGW610R-G6 a pruebas de estrés en todos sus subsistemas principales. Se utilizó FIO para aplicar presión de E/S continua a cada SSD, mientras que se aplicaron pruebas de estrés a la GPU y la CPU para llevar dichos componentes al 100%. Durante la prueba, se registraron las temperaturas de los componentes durante varias horas para evaluar las características de equilibrio y fluctuación.
Los resultados fueron muy consistentes. La CPU se estabilizó en aproximadamente 52 °C, unos 13.7 °C por encima de la temperatura de reposo. La GPU alcanzó un máximo de alrededor de 58 °C, con un aumento de 21.1 °C. Cada una de las cuatro unidades SSD NVMe de Solidigm siguió tendencias similares, manteniendo una temperatura entre 29 °C y 30 °C bajo carga, con variaciones de entre 8.8 °C y 9.2 °C. Una vez alcanzado el equilibrio, las temperaturas se mantuvieron estables durante toda la prueba con una variación mínima, lo que indica una distribución uniforme del fluido y una extracción de calor eficaz a través del circuito de refrigeración.
Los datos de la serie temporal confirman este rendimiento. Tras una fase inicial de calentamiento, todos los sensores muestran líneas de temperatura estables y prácticamente horizontales. No se observan grandes oscilaciones ni deriva térmica, lo que indica que la refrigeración por inmersión mantiene una temperatura constante y que el circuito de agua fría disipa eficazmente el calor del tanque. El perfil térmico del Trident se mantuvo notablemente predecible incluso durante un funcionamiento prolongado a plena carga.
Desde el punto de vista de la fiabilidad, esta estabilidad ofrece importantes ventajas. La ausencia de ventiladores reduce el mantenimiento de las piezas móviles, mientras que el entorno sellado evita la entrada de polvo y la oxidación de los conectores. Con el tiempo, estas características se traducen en menores tasas de fallos y un mayor tiempo medio entre revisiones. La combinación de la plataforma Trident iGW610R-G6 y el entorno SmartPod Exo monofásico de Submer proporciona una solución de refrigeración fiable y robusta, con una excelente escalabilidad para despliegues de alta densidad.
En general, los datos térmicos recopilados del Trident iGW610R-G6 demuestran cómo la refrigeración por inmersión con circulación activa de líquido no solo ofrece una gestión térmica superior, sino también una ventaja de fiabilidad cuantificable. Al mantener temperaturas constantes en los componentes y eliminar la dependencia de las condiciones ambientales, el sistema opera dentro de límites óptimos independientemente de la carga de trabajo o la duración, lo que lo hace idóneo para cargas de trabajo de computación y almacenamiento de alta disponibilidad.
¿Por qué las organizaciones están optando por la inmersión?
La refrigeración por inmersión ya no es experimental. Las organizaciones que crean entornos de IA y HPC a gran escala la están implementando actualmente para lograr un rendimiento térmico estable, una mayor densidad de racks y un uso más eficiente de la energía y los recursos de las instalaciones. Los siguientes ejemplos ilustran cómo las plataformas basadas en la refrigeración por inmersión se están adoptando en entornos de producción a una escala significativa.
ADACEN
ADACEN seleccionó una infraestructura basada en la inmersión para respaldar la expansión de su plataforma de IA y HPC como servicio, lo que permite a la organización ejecutar configuraciones de GPU densas al tiempo que simplifica los requisitos de refrigeración de las instalaciones y mejora la eficiencia operativa a largo plazo.
“Nos asociamos con Hypertec porque su tecnología de inmersión nos brinda una ventaja operativa y de sostenibilidad que la refrigeración por aire o la refrigeración líquida directa al chip simplemente no pueden ofrecer. Sus plataformas de inmersión, diseñadas a medida, nos permiten implementar recursos de CPU y GPU de mayor densidad, reducir el consumo de energía para refrigeración en más del 90 % y eliminar los puntos de fallo mecánicos. Los sistemas de Hypertec nos permiten escalar nuestras cargas de trabajo de IA/HPC como servicio de forma eficiente, a la vez que cumplimos con nuestros objetivos de rendimiento y ESG; por eso son una parte fundamental de nuestra estrategia de IA”, afirma Bernard Westwood, director de Operaciones de Ingresos de ADACEN.
ADACENT representa un modelo de despliegue de alta densidad en infraestructura alojada. Los entornos de computación para investigación muestran factores impulsores y resultados similares.
Universidad de Waterloo
La Universidad de Waterloo está implementando 700 nodos en nueve tanques de inmersión para dar soporte a la computación de investigación de última generación. El uso de la inmersión permite crear clústeres de GPU de alta densidad con un comportamiento térmico uniforme y una menor complejidad de las instalaciones.
«Con Nibi, elegimos la refrigeración por inmersión porque ofrece una eficiencia y fiabilidad excepcionales, a la vez que simplifica el diseño de nuestro centro de datos. Los servidores de Hypertec, diseñados con refrigeración por inmersión, han facilitado la implementación de computación de alta densidad sin la complejidad de los sistemas tradicionales de refrigeración por aire o líquida. Este enfoque mejora el rendimiento y la estabilidad, y respalda nuestro objetivo de crear un entorno HPC altamente sostenible y energéticamente eficiente». – John Morton, Director de Tecnología de SHARCNET, Universidad de Waterloo.
Estos despliegues demuestran que la inmersión ya se está utilizando para ofrecer un rendimiento predecible a gran escala, y representan solo dos de las muchas organizaciones que adoptan este enfoque.
Conclusión
Nuestra evaluación del Hypertec Trident iGW610R-G6 reveló que la refrigeración por inmersión proporciona mejoras de rendimiento constantes para configuraciones densas de GPU y almacenamiento. Bajo cargas de trabajo sostenidas, el sistema mantuvo variaciones de temperatura mínimas y estables, sin deriva ni oscilación térmica. Las CPU y las GPU mantuvieron puntos de funcionamiento constantes bajo carga, y las unidades Solidigm E1.S ofrecieron un rendimiento de E/S constante con una variación de temperatura mínima. Este nivel de consistencia térmica reduce directamente la tensión en los componentes y minimiza las condiciones que suelen provocar un desgaste prematuro.
Estos hallazgos coinciden con lo que informan los grandes operadores en entornos de producción. ADACEN reporta una reducción significativa en la tasa anualizada de fallos (TAF) en implementaciones de inmersión, gracias a la disminución de los ciclos térmicos y la eliminación de la vibración del ventilador y la exposición a partículas. El resultado es una mayor fiabilidad a lo largo del tiempo, una menor frecuencia de mantenimiento y una mayor continuidad del servicio a gran escala.
La implementación por parte de la Universidad de Waterloo de 700 nodos distribuidos en nueve tanques de inmersión refuerza aún más la adopción de la refrigeración por inmersión como estrategia práctica para la creación y expansión de clústeres de computación de alta densidad. Su eficiencia operativa, la estabilidad de su rendimiento y la simplificación de sus requisitos de infraestructura la convierten en una solución idónea para organizaciones que planean ejecutar cargas de trabajo de IA y HPC a gran escala.
La refrigeración por inmersión ya ofrece un rendimiento estable y una alta eficiencia operativa en entornos de producción. A medida que la densidad de computación y el consumo energético siguen aumentando, las plataformas basadas en la refrigeración por inmersión, como la Trident iGW610R-G6, ofrecen una solución práctica y sostenible para las implementaciones a gran escala de IA y HPC.
Este informe está patrocinado por Solidigm. Todos los puntos de vista y opiniones expresados en este informe se basan en nuestra visión imparcial de los productos bajo consideración.
Amazon