Podcast n.° 152: Dinámica térmica y arquitecturas de refrigeración de centros de datos con Tim Shedd

Brian entrevistó recientemente a Tim Shedd, experto en gestión térmica y pionero en tecnologías de refrigeración líquida. El podcast aborda algunos aspectos históricos de la refrigeración líquida en centros de datos, desde la época en que Tim trabajaba con Cray y rociaba líquido sobre los tubos hasta su participación más reciente con el PowerEdge XE9680 de Dell.

Tim Shedd es un experto del sector e ingeniero mecánico especializado en gestión térmica, refrigeración líquida e infraestructura de centros de datos. Con una trayectoria profesional que abarca la investigación académica como profesor en la Universidad de Wisconsin-Madison, puestos de ingeniería fundamentales en Motivair y liderazgo técnico sénior en la organización del CTO de Dell Technologies, ha estado a la vanguardia de la arquitectura de refrigeración de alta densidad. Su trabajo se centra en conectar la física térmica avanzada con la capacidad de fabricación a hiperescala, establecer estándares para las unidades de distribución de refrigeración y optimizar la eficiencia energética de los centros de datos en topologías de hardware con refrigeración por aire y líquida.

Este podcast ofrece una visión profunda de la evolución de la gestión térmica en mainframes, plataformas HPC y la tecnología de servidores actual. En menos de una hora, comprenderás mejor cómo esto afecta a muchos aspectos del funcionamiento eficiente de nuestras tecnologías.

Si no tienes tiempo para verlo de principio a fin, lo hemos dividido en segmentos de cinco minutos para que puedas elegir lo que te resulte más importante.

[00:00] La evolución de la refrigeración líquida desde la computación de alto rendimiento hasta la IA empresarial

El segmento inicial describe la evolución histórica de la refrigeración líquida, desde las instalaciones especializadas de supercomputación hasta las aplicaciones comerciales de alta densidad para empresas, destacando las primeras decisiones de diseño térmico.

• Los primeros entornos informáticos se basaban en la refrigeración por evaporación y la convección forzada básica antes de alcanzar los límites impuestos por la computación de alto rendimiento (HPC) de alta densidad y las cargas de trabajo de computación acelerada.
• Los primeros experimentos académicos con arquitecturas Cray consistieron en la pulverización directa de líquido sobre tubos, lo que demostró ser técnicamente viable pero comercialmente prohibitivo en cuanto a costes.
• El punto de inflexión posterior a 2015 en la densidad de potencia de los racks impulsó a los fabricantes de equipos originales a diseñar implementaciones estandarizadas de refrigeración líquida para empresas, lo que culminó en modelos de producción de racks de alta densidad para 2019.
• Las cadenas de suministro de los fabricantes de equipos originales (OEM) pasaron de producir unos pocos miles de nodos refrigerados por líquido al año a aumentar la entrega a miles de sistemas de producción semanales.
• Las plataformas empresariales de alto rendimiento, como el PowerEdge XE9680, el servidor de mayor crecimiento en la historia de Dell, equilibraron las primeras cargas térmicas de IA mediante disipadores de calor de aire de alta densidad combinados con intercambiadores de calor en la puerta trasera, antes de que la adopción total de la tecnología de conexión directa al chip se volviera obligatoria.

[05:00] Pruebas de puntos de ruptura térmica y física de fluidos a escala

Esta sección explora la evaluación en laboratorio de tecnologías térmicas competidoras, detallando por qué los circuitos monofásicos de conexión directa al chip surgieron como la arquitectura dominante sobre los sistemas de inmersión.

• Los laboratorios de validación de los fabricantes de equipos originales (OEM) realizaron pruebas exhaustivas en circuitos de placas frías, redes de presión negativa, configuraciones de inmersión y sistemas de dos fases para establecer parámetros de referencia para su implementación.
• Históricamente, las cargas térmicas del silicio aumentaron gradualmente con cada generación, lo que permitió que los métodos estándar de refrigeración por aire y refrigeración líquida básica fueran suficientes hasta que los TDP superaron el rango de 500 W a 1000 W.
• La refrigeración por inmersión ofrece ventajas operativas para perfiles térmicos ampliamente distribuidos, como los de las granjas de criptomonedas, pero presenta dificultades con los flujos de calor localizados y altamente concentrados que se encuentran en los aceleradores modernos.
• Agua mezclada con 25% de propilenglicol (PG25), suministrada a través de placas frías de microcanalesSe convirtió en el estándar principal debido a su escalabilidad predecible, disponibilidad de suministro y propiedades de transferencia térmica establecidas.
• Los estándares de ecosistema abierto siguen siendo fundamentales para obtener placas de refrigeración, colectores y conectores rápidos de múltiples proveedores sin que se produzcan regresiones en el rendimiento.

[10:00] Estandarización, interoperabilidad entre múltiples proveedores y fiabilidad mecánica

La conversación pasa a abordar las realidades operativas del despliegue de hardware para líquidos, centrándose en la integración de componentes de múltiples proveedores, la delimitación de responsabilidades y la integridad de los materiales.

• La combinación de componentes de refrigeración de diferentes proveedores introduce importantes problemas de compatibilidad mecánica y estrictas limitaciones de garantía en caso de fuga de fluido.
• La responsabilidad legal y los acuerdos de nivel de servicio siguen siendo los principales obstáculos del sector que impiden la implementación de arquitecturas de infraestructura de proveedores mixtos en los entornos de servidores de producción.
• Los sistemas tradicionales de detección de fugas basados ​​en cables están dando paso a topologías de sensores integrados con paradas automáticas de bombas y cierres de válvulas.
• Los avances en la fabricación de mangueras de EPDM curadas con peróxido han reducido significativamente las tasas de fallos a nivel de componentes en las tuberías de conexión directa al chip.
• La falta de fiabilidad del sistema en funcionamiento se debe principalmente a los residuos de fabricación y a una limpieza inicial inadecuada de la línea de producción, más que a la fatiga de los componentes en sí.

[15:00] Gestión de escombros, límites del flujo de calor y la física de la presión negativa

Este período de tiempo examina la dinámica de fluidos de placas frías de precisión, los efectos catastróficos de la contaminación por partículas microscópicas y la física atmosférica que limita los circuitos de refrigeración por presión negativa.

• Las partículas de entre 100 y 200 micras, incluso una sola fibra de cepillo de alambre atrapada en un conector rápido, pueden obstruir las aletas de los microcanales y provocar la caída de un bastidor debido a la limitación térmica.
• La modelización avanzada mediante dinámica de fluidos computacional (CFD) permite que las placas de refrigeración modernas disipen cargas de 1500 W manteniendo una estrecha penalización de 30 °C en la diferencia de temperatura (delta T).
• Sistemas de refrigeración por presión negativa Están intrínsecamente limitados por la presión atmosférica, lo que deja solo entre 7 y 9 PSI de presión diferencial utilizable antes de que el fluido alcance su punto de ebullición a temperatura ambiente.
• Las limitaciones de presión dificultan el enrutamiento de circuitos de presión negativa a través de colectores largos de las instalaciones, unidades de distribución de refrigerante y placas frías de microcanales de alta resistencia.
• El análisis químico específico del agua y la monitorización química continua son esenciales para prevenir la corrosión, el crecimiento biológico y la degradación de los materiales.

[20:00] Variables ambientales, química de fluidos y detección avanzada de fugas

En este contexto, la conversación aborda el impacto del clima regional en las operaciones de los centros de datos, los riesgos de condensación y la evolución tecnológica de los sensores de detección de fugas de respuesta rápida.

• La humedad regional, la altitud y las condiciones ambientales determinan las temperaturas del agua en el circuito secundario y la eficiencia de la refrigeración de las instalaciones.
• En climas de alta humedad, las temperaturas del circuito por debajo de la temperatura ambiente conllevan el riesgo de formación de condensación en los componentes del chasis del servidor y requieren controles específicos del punto de rocío.
• Las cuerdas tradicionales para la detección de fugas sufren de cuellos de botella en la cadena de suministro y umbrales de activación elevados, lo que requiere un volumen significativo de fluido antes de que se active una alerta.
• La detección de fugas de última generación aprovecha los sensores impresos en polímeros flexibles, la detección óptica de tintes y los detectores de vapor para identificar microfugas antes de que se produzca una falla catastrófica.
• Los controladores de rack inteligentes modulan activamente la presión del circuito de la CDU al detectar una pérdida temprana de fluido para minimizar el volumen de fugas y, al mismo tiempo, preservar el tiempo de actividad.

[25:00] Evaluación del potencial de la tecnología bifásica de impresión directa sobre chip y la química de los refrigerantes

Este segmento explora los beneficios termodinámicos de la vaporización del calor latente en la refrigeración bifásica, junto con las consideraciones químicas y de la cadena de suministro relacionadas con los refrigerantes de bajo potencial de calentamiento global (PCG).

• La refrigeración directa al chip en dos fases elimina la penalización por calentamiento sensible de los circuitos monofásicos, que suele ser de al menos 5 °C, manteniendo una temperatura de ebullición constante tanto si un chip disipa 10 W como 1,000 W.
• La refrigeración bifásica minimiza la corrosión relacionada con el agua y el riesgo de cortocircuitos eléctricos en el rack, lo que presenta un modelo de implementación muy atractivo para las salas de datos empresariales.
• La ampliación de los circuitos bifásicos requiere resolver la interoperabilidad entre múltiples proveedores para los colectores de cambio de fase, las unidades de distribución de refrigerante y los condensadores de vapor complejos.
• Los fluidos dieléctricos emergentes, no inflamables y con bajo potencial de calentamiento global (como el R-515B y el R-1233zd), están superando las limitaciones regulatorias asociadas con los compuestos PFAS tradicionales.
• Los proveedores de infraestructura para centros de datos modernos están adquiriendo proveedores especializados en refrigeración para crear carteras unificadas y llave en mano de soluciones térmicas líquidas.

[31:33] Arquitecturas de unidades de decantación de carbón, control dinámico del flujo y mitigación del radio de explosión

Esta sección se centra en la infraestructura de bombeo principal y analiza los métodos de prueba estandarizados, la respuesta térmica transitoria y las ventajas e inconvenientes de ingeniería entre las unidades de decantación centralizadas y distribuidas.

• La norma ASHRAE 127 estableció métodos de prueba estandarizados para proporcionar comparaciones precisas y equitativas de la eficiencia térmica y el rendimiento de bombeo de las unidades de tratamiento de aguas residuales (CDU).
• Las pequeñas variaciones en el flujo del refrigerante se traducen inmediatamente en fluctuaciones de temperatura en la placa fría; un cambio del 10 por ciento en el flujo puede desencadenar eventos de estrangulamiento, lo que exige algoritmos de control de respuesta ultrarrápida.
• Las unidades de descontaminación centralizadas de varios megavatios implican enormes volúmenes de fluidos y grandes radios de explosión operativa, de modo que un solo incidente de contaminación o fuga puede paralizar toda una nave de la instalación.
• Las incompatibilidades químicas de los aditivos hacen que mezclar refrigerantes patentados de diferentes proveedores sea peligroso, ya que puede provocar precipitación y obstrucción.
• Las unidades de control de refrigeración (CDU) distribuidas a nivel de fila y dentro del rack aíslan las zonas de fallo mecánico, reducen las tuberías de tránsito de fluidos y aceleran los plazos de instalación.

[37:00] Unidades de distribución de corriente (CDU) en rack frente a bucles centralizados y la viabilidad de la inferencia refrigerada por aire

Esta sección evalúa los perfiles de rendimiento de las unidades de distribución de corriente (CDU) integradas en rack de alto rendimiento y explica por qué la refrigeración por aire sigue siendo la predominante en los clústeres de inferencia empresariales distribuidos.

• Las unidades de distribución de refrigerante (CDU) integradas en los racks, diseñadas específicamente para este fin, pueden soportar cargas térmicas de 220 kW con una temperatura de aproximación de 4 °C, transformando el agua de la instalación a 41 °C en refrigerante a 45 °C para los racks Vera Rubin a razón de 1.5 litros por kilovatio.
• La redundancia de doble bomba dentro de las unidades de refrigeración en rack mantiene un funcionamiento continuo de la refrigeración incluso durante los eventos de mantenimiento de una sola bomba.
• La refrigeración por aire representa aproximadamente el 90 por ciento de todos los envíos mundiales de servidores y es compatible con una parte sustancial de las implementaciones de inferencia empresariales.
• El hardware de inferencia para entornos empresariales y de borde debe implementarse directamente dentro de las salas de datos heredadas, con una antigüedad de entre 10 y 15 años y refrigeradas por aire, donde se generan los datos.
• La modernización de las instalaciones más antiguas con intercambiadores de calor en la puerta trasera y torres de refrigeración evaporativa transforma la energía de refrigeración parásita en kilovatios de cómputo utilizables para los sistemas locales de inferencia de IA.

[45:20] Aerodinámica interna del chasis y límites de la eficiencia del ventilador

El segmento final desglosa las ventajas y desventajas mecánicas de los sistemas de refrigeración todo en uno de circuito cerrado y examina cómo la optimización aerodinámica del chasis lleva la capacidad de refrigeración por aire hasta su límite físico.

• Los sistemas de refrigeración líquida internos todo en uno a nivel de servidor introducen puntos de fallo mecánicos y complejidad en el empaquetado del chasis, al tiempo que ofrecen solo mejoras marginales con respecto a los disipadores de calor de cámara de vapor optimizados.
• Los intercambiadores de calor líquido-aire tipo sidecar proporcionan una vía más limpia y de más fácil mantenimiento para los bastidores refrigerados por líquido localizados en instalaciones que carecen de agua potable.
• La eficiencia de los ventiladores de los servidores empresariales ha aumentado del 15 al 20 por ciento hace una década a las tasas de conversión eléctrico-mecánica modernas del 50 al 60 por ciento.
• La optimización de la aerodinámica del chasis en torno a un punto de diseño de 100 CFM por kilovatio, con cada porción de aire de admisión calentándose uniformemente a 18 °C, maximiza la disipación térmica por kilovatio.
• El aire posee propiedades de difusividad térmica favorables que, combinadas con conductos de precisión y disipadores de calor avanzados, proporcionan una base sólida para el hardware empresarial de próxima generación.

Para estar al día de todo lo relacionado con la refrigeración líquida y el diseño eficiente de centros de datos, sigue a Tim Shedd en LinkedIn.