Refrigeración líquida directa CoolIT: eficiencia perfecta para servidores refrigerados por líquido

Nos hemos asociado con CoolIT Systems para incorporar refrigeración líquida a nuestro laboratorio. Como parte de ese esfuerzo, armamos una mini plataforma de refrigeración líquida y modernizamos un Dell PowerEdge R760, convirtiéndolo de refrigeración por aire a refrigeración líquida. Recién estamos comenzando nuestro viaje hacia la refrigeración líquida, pero ya hemos hecho importantes descubrimientos sobre los beneficios que ofrece la refrigeración líquida directa (DLC).

Se necesitará refrigeración líquida de una forma u otra para soportar las cargas de trabajo modernas. Las matemáticas ya no funcionan para servidores refrigerados por aire con una enorme potencia de diseño térmico (TDP) de CPU y GPU. El DLC entregado a través de placas frías es la solución más común; cada proveedor de servidores tiene al menos una opción. En lo que respecta a Dell, se han asociado con CoolIT Systems para ofrecer refrigeración líquida en toda la cartera de PowerEdge.

Nuestro laboratorio, como la mayoría de los centros de datos, no fue diseñado desde el principio para aprovechar la refrigeración líquida. Pero, como muchos centros de datos, estamos viendo que los servidores de mayor potencia requieren algún tipo de refrigeración líquida, y si queremos aprovechar estos sistemas, debemos adaptarnos. Es una historia que escuchamos mucho en las empresas estos días, ya que los centros de datos están invirtiendo en IA, y encontrar la mayoría de estos sistemas pronto requerirá algún tipo de circuito líquido para su funcionamiento.

En nuestro caso, decidimos comenzar modernizando uno de los servidores Dell PowerEdge R760 en el laboratorio. Para ser claros, cuando los clientes quieren servidores refrigerados por líquido, los solicitan a Dell de esa manera. Dell maneja la integración con CoolIT y los clientes reciben un servidor con placas frías instaladas y mangueras conectadas para refrigeración líquida. Los sistemas DLC PowerEdge tienen algunos matices que los diferencian de los servidores refrigerados por aire; con este trabajo nos adentramos en un territorio relativamente inexplorado. La tarjeta iDRAC es diferente, por ejemplo, la versión DLC tiene un cable para detección de fugas. Tuvimos éxito en el proceso de conversión, pero instalar sus propias placas frías no es una actividad admitida.

Kit de contenido descargable CoolIT

CoolIT nos equipó con un mini sistema que normalmente se utiliza para una pequeña prueba de concepto mientras sus clientes trabajan en el proceso de agregar refrigeración líquida a sus centros de datos. Dicho esto, este sistema puede escalar a 10kW, por lo que es una excelente manera para que aquellos nuevos en la refrigeración líquida ganen algo de experiencia con medio rack aproximadamente. Hay tres componentes clave de esta configuración: las placas frías, el colector de rack y la unidad de distribución de refrigerante (CDU).

Las placas de refrigeración están diseñadas para casos de uso específicos de TDP y se adaptan perfectamente a la CPU o GPU que se está refrigerando. Su apariencia es engañosamente simple, y aunque no tienen bombas ni piezas móviles, su ingeniería no es trivial debido al aumento de los TDP. Para ponerlo en perspectiva, CoolIT lanzó recientemente una nueva línea de placas de refrigeración que soportan hasta 1500 W. Las CPU de nuestro R760 son bastante modestas en comparación; las CPU Intel Xeon 8580 tienen un TDP de "solo" 350 W cada una.

La instalación de las placas frías es muy sencilla, los bloques incluso tienen pasta térmica preaplicada, es un kit muy sencillo. Como se señaló anteriormente, existe una tarjeta iDRAC diferente para sistemas DLC que tiene el punto de conexión para el cable de detección de fugas que va desde las placas frías. Las mangueras salen por la parte posterior del R760, a través de un soporte diferente que viene con el kit DLC iDRAC.

Las placas frías están conectadas al colector a través de conexiones frías/calientes etiquetadas. El colector en sí está hecho de acero inoxidable y los accesorios son de desconexión rápida sin goteo. Se necesitan unos segundos para conectar el servidor al colector, que viene precargado. Por cierto, nuestro colector se colocó en la parte posterior del bastidor, pero se puede configurar en la parte delantera si es necesario. Tenemos un mini colector para este caso de uso; un bastidor DLC más tradicional tendría un colector que cubre todo el bastidor. El colector se conecta directamente a la CDU.

La unidad de control de refrigeración (CDU) es la que realiza el trabajo pesado en este circuito; estamos usando la CoolIT AHx10 . Se trata de una CDU de líquido a aire de 5U que puede manejar una carga de 7 kW a una temperatura ambiente de 25 °C. CoolIT ofrece un kit de expansión que permite ampliar esta unidad a 10 kW. Dentro del chasis se encuentra un intercambiador de calor líquido a aire y bombas redundantes. La CDU, al igual que el colector, viene precargada. La hemos colocado en una posición relativamente baja en el rack, pero la CDU puede ubicarse en cualquier lugar, dependiendo de la configuración del rack.

El AHx10 tiene un consumo de energía máximo de 750 W, lo que ayuda en la conversación económica general en torno al ahorro de energía. El sistema tiene una pantalla táctil intuitiva que ofrece soporte de acceso remoto. Aparte de configurar la presión de la bomba inicialmente, realmente hay muy poco que hacer con la CDU, es más o menos configurarla y olvidarse, la nuestra ha estado funcionando durante algunas semanas sin intervención adicional.

Cabe destacar que con este equipo CoolIT, no solucionamos el problema del calor en sí. En realidad, lo que hacemos es transferir el calor de las CPU del R760 al intercambiador de calor dentro de la CDU. Seguimos necesitando refrigerar el laboratorio como antes, ya que no disponemos de agua corriente para disipar el calor fuera del laboratorio. Dicho esto, un sistema pequeño como este es perfecto para unos pocos servidores con refrigeración líquida y podría ser ideal para una empresa con una implementación de IA a pequeña escala; un sistema como el Dell PowerEdge XE9640 sería una buena opción.

Aunque todavía tenemos que lidiar con el calor del DLC R760 en nuestro laboratorio, pasar a la refrigeración líquida tiene varios beneficios.

Beneficios del contenido descargable

Al pasar de la refrigeración por aire a la refrigeración líquida, el beneficio más grande y obvio es la reducción en el uso del ventilador. El R760 todavía necesita flujo de aire para los componentes del sistema como DRAM y almacenamiento, pero no necesitan girar tan rápido. Si bien esto hace que el servidor sea más silencioso, la mejor parte del bucle DLC es la reducción del consumo de electricidad. La otra cosa que encontramos fue un poco sorprendente: el DLC R760 funcionó un poco mejor que cuando estaba refrigerado por aire.

Para analizar con mayor detalle el consumo eléctrico del R760, configuramos nuestro módulo de análisis de potencia Quarch QTL2843 . Sometimos el servidor a pruebas tanto con sus disipadores de calor refrigerados por aire de fábrica como con las placas de refrigeración CoolIT. Para poner a prueba las CPU, realizamos un cálculo de Pi con 50 mil millones de dígitos, lo que supone una carga muy elevada para la CPU y la DRAM. Nuestro objetivo era exigir al máximo las CPU para garantizar que los ventiladores funcionaran a su máxima capacidad.

El impacto de la implementación del DLC fue inmediatamente obvio. Cuando se ejecuta el R760 en la configuración enfriada por aire, los ventiladores giran al 100% durante la carga de trabajo, como se esperaba. Con la configuración DLC, el R760 optó por hacer girar los ventiladores al 32%, una caída dramática. Esto equivale a un ahorro de 200 vatios en un solo servidor. No es sólo la velocidad del ventilador lo que destaca, las propias CPU informaron aproximadamente la mitad de la temperatura con DLC, 41/42C en comparación con 88/89C cuando estaban enfriadas por aire.

Pero no son sólo los ahorros de energía los que se ven por el otro lado cuando se pasa a la refrigeración líquida. Vimos un pequeño aumento en el rendimiento, que no esperábamos. Gracias a las placas frías que ofrecen una mejor refrigeración, la CPU puede funcionar al máximo. En la configuración refrigerada por aire, el R760 completó el cálculo de 50 mil millones de Pi en 369 segundos. En la configuración DLC, el R760 fue un poco más rápido y realizó el cálculo en 347 segundos. Eso es una ganancia en el rendimiento de alrededor del 6%, lo que nos permite aprovechar un poco más las CPU Intel.

Conclusión

Recién estamos comenzando con la refrigeración líquida en el laboratorio y estamos encantados de haber trabajado con CoolIT en este esfuerzo inicial. Las placas frías funcionan perfectamente en el PowerEdge R760 y el colector y la CDU se unen y “simplemente funcionan” sin preocupaciones ni retoques continuos. Para aquellos que tienen miedo de llevar líquido al centro de datos, la simplicidad constante es fundamental. Tampoco hemos tenido fugas u otros eventos más catastróficos, lo cual es de esperarse, este es un equipo empresarial con una tasa de fallas extremadamente baja.

Para las empresas que buscan llevar sistemas de inteligencia artificial de alta potencia al centro de datos, la refrigeración líquida es una conclusión inevitable. Los servidores GPU de 8 vías abandonarán la refrigeración por aire y optarán por bucles DLC como este o, como mínimo, un circuito cerrado y un radiador. De cualquier manera, una cierta cantidad de líquido llegará al centro de datos. Con el sustancial ahorro de electricidad y el modesto aumento del rendimiento, hay muchas razones por las que las empresas deberían adoptar servidores DLC.

CoolIT es un claro líder en este espacio y su relación con Dell trae al mercado una amplia variedad de soluciones de refrigeración líquida de una manera fácilmente consumible, con muy poco de qué preocuparse. Esperamos seguir explorando nuestro pequeño circuito y estamos ansiosos por ver más servidores refrigerados por líquido en el laboratorio.

Sistemas CoolIT