Podcast #152: Dinâmica Térmica de Data Centers e Arquiteturas de Resfriamento com Tim Shedd

Brian conversou recentemente com Tim Shedd, especialista em gerenciamento térmico e pioneiro em tecnologias de resfriamento líquido. O podcast aborda alguns aspectos históricos do resfriamento líquido em data centers, desde a época em que Tim trabalhava com a Cray e aplicava o líquido em tubos até seu envolvimento mais recente com o PowerEdge XE9680 da Dell.

Tim Shedd é um especialista do setor e engenheiro mecânico especializado em gerenciamento térmico, refrigeração líquida e infraestrutura de data centers. Com uma carreira que abrange pesquisa acadêmica como professor na Universidade de Wisconsin-Madison, funções de engenharia fundamentais na Motivair e liderança técnica sênior na organização de CTO da Dell Technologies, ele está na vanguarda da arquitetura de refrigeração de alta densidade. Seu trabalho se concentra em conectar a física térmica avançada com a fabricação em hiperescala, estabelecendo padrões para unidades de distribuição de refrigeração e otimizando a eficiência energética de data centers em topologias de hardware refrigeradas a ar e a líquido.

Este podcast oferece uma visão aprofundada da evolução dos sistemas térmicos, desde mainframes e plataformas HPC até a tecnologia de servidores atual. Em menos de uma hora, você terá uma compreensão melhor de como isso afeta diversos aspectos da operação eficiente de nossas tecnologias.

Se você não tiver tempo para assistir ao vídeo completo, dividimos em segmentos de cinco minutos para que você possa escolher o que é mais importante para você.

[00:00] A Evolução do Resfriamento Líquido: da Computação de Alto Desempenho à IA Empresarial

O segmento inicial descreve a evolução histórica do resfriamento líquido, desde instalações especializadas em supercomputação até aplicações comerciais de alta densidade em empresas, destacando as primeiras escolhas de projeto térmico.

• Os primeiros ambientes de computação dependiam do resfriamento evaporativo e da convecção forçada de ar básica, antes de atingirem os limites impostos pela computação de alto desempenho (HPC) de alta densidade e pelas cargas de trabalho de computação acelerada.
• Os experimentos acadêmicos iniciais com arquiteturas Cray envolviam a pulverização direta de líquido sobre os tubos, o que se mostrou tecnicamente viável, mas comercialmente inviável devido aos custos.
• A inflexão na densidade de potência dos racks após 2015 levou os fabricantes de equipamentos originais (OEMs) a projetar implantações padronizadas de sistemas de armazenamento de energia para empresas, culminando em modelos de produção de racks de alta densidade em 2019.
• As cadeias de suprimentos de fabricantes de equipamentos originais (OEMs) passaram de produzir alguns milhares de nós refrigerados a líquido anualmente para escalar a entrega para milhares de sistemas de produção semanalmente.
• Plataformas empresariais robustas como o PowerEdge XE9680, o servidor de crescimento mais rápido na história da Dell, equilibravam as cargas térmicas iniciais de IA usando dissipadores de calor de ar densos combinados com trocadores de calor na parte traseira, antes que a adoção completa da tecnologia "direto no chip" se tornasse obrigatória.

[05:00] Testando pontos de ruptura térmica e física de fluidos em escala

Esta seção explora a avaliação laboratorial de tecnologias térmicas concorrentes, detalhando por que os circuitos monofásicos de contato direto com o chip emergiram como a arquitetura dominante em relação aos sistemas de imersão.

• Os laboratórios de validação do fabricante original realizaram testes extensivos em circuitos de placas frias, redes de pressão negativa, configurações de imersão e sistemas bifásicos para estabelecer parâmetros de implantação.
• Historicamente, as cargas térmicas do silício aumentaram gradualmente a cada geração, permitindo que o resfriamento a ar padrão e as abordagens básicas de resfriamento líquido fossem suficientes até que os TDPs (distribuições de potencial de energia) ultrapassassem a faixa de 500W a 1000W.
• O resfriamento por imersão oferece vantagens operacionais para perfis térmicos amplamente distribuídos, como fazendas de criptomoedas, mas apresenta dificuldades com os fluxos de calor localizados e altamente concentrados encontrados em aceleradores modernos.
• Água misturada com 25% de propilenoglicol (PG25), fornecida através de placas frias de microcanais, tornou-se o padrão principal devido à sua escalabilidade previsível, disponibilidade de fornecimento e propriedades de transferência térmica comprovadas.
• Padrões de ecossistema aberto continuam sendo essenciais para o fornecimento de placas frias, manifolds e conectores rápidos de diversos fornecedores, sem regressão de desempenho.

[10:00] Padronização, interoperabilidade entre múltiplos fornecedores e confiabilidade mecânica

A discussão então aborda as realidades operacionais da implantação de hardware líquido, com foco na integração de componentes de múltiplos fornecedores, na delimitação de responsabilidades e na integridade dos materiais.

• A mistura de componentes de refrigeração de diferentes fornecedores introduz obstáculos significativos de compatibilidade mecânica e limitações rigorosas de garantia em caso de vazamento de fluido.
• A responsabilidade legal e os acordos de nível de serviço continuam sendo os principais obstáculos do setor que impedem a implementação de arquiteturas de infraestrutura de servidores de produção com múltiplos fornecedores.
• Os sistemas tradicionais de detecção de vazamentos com cabos estão sendo substituídos por topologias de sensores integrados com desligamentos automáticos de bombas e cortes de válvulas.
• Os avanços na fabricação de mangueiras de EPDM curadas com peróxido reduziram significativamente as taxas de falha em nível de componentes em sistemas de tubulação com montagem direta em chip.
• A falta de confiabilidade do sistema em campo decorre predominantemente de resíduos de fabricação e lavagem inicial inadequada da linha, e não da fadiga dos componentes em si.

[15:00] Gestão de detritos, limites de fluxo de calor e a física da pressão negativa

Este período de tempo examina a dinâmica de fluidos em placas frias de precisão, os efeitos catastróficos da contaminação por partículas microscópicas e a física atmosférica que limita os circuitos de resfriamento por pressão negativa.

• Partículas de 100 a 200 mícrons, até mesmo uma única fibra de escova de arame presa em uma conexão rápida, podem obstruir as aletas do microcanal e danificar um rack por meio de estrangulamento térmico.
• A modelagem avançada de dinâmica de fluidos computacional (CFD) permite que as placas frias modernas dissipem cargas de 1500 W, mantendo uma pequena diferença de temperatura (delta T) de 30 °C.
• Sistemas de refrigeração por pressão negativa são inerentemente limitadas pela pressão atmosférica, restando apenas 7 a 9 PSI de pressão diferencial utilizável antes que o fluido atinja seu ponto de ebulição à temperatura ambiente.
• A limitação da pressão dificulta a instalação de circuitos de pressão negativa em longos coletores, unidades de descontaminação fria (CDUs) e placas frias de microcanais de alta resistência.
• Análises químicas da água especializadas e monitoramento químico contínuo são essenciais para prevenir corrosão, crescimento biológico e degradação de materiais.

[20:00] Variáveis ​​Ambientais, Química de Fluidos e Detecção Avançada de Vazamentos

Nesta conversa, abordamos os impactos climáticos regionais nas operações de data centers, os riscos de condensação e a evolução tecnológica de sensores de detecção de vazamentos com resposta rápida.

• A umidade regional, a altitude e as condições ambientais determinam as temperaturas da água no circuito secundário e a eficiência do resfriamento das instalações.
• Temperaturas abaixo da temperatura ambiente em climas de alta umidade aumentam o risco de formação de condensação nos componentes do chassi do servidor e exigem controles de ponto de orvalho específicos.
• As cordas tradicionais de detecção de vazamentos sofrem com gargalos na cadeia de suprimentos e altos limites de detecção, exigindo um volume significativo de fluido antes de disparar um alerta.
• A detecção de vazamentos de última geração utiliza sensores flexíveis impressos em polímero, detecção óptica por corante e detectores de vapor para identificar microvazamentos antes que ocorra uma falha catastrófica.
• Controladores de rack inteligentes modulam ativamente a pressão do circuito da CDU ao detectarem perdas iniciais de fluido, minimizando o volume de vazamento e preservando o tempo de atividade.

[25:00] Avaliando o potencial de duas fases de contato direto com o chip e a química do refrigerante

Este segmento explora os benefícios termodinâmicos da vaporização por calor latente no resfriamento bifásico, juntamente com as considerações sobre a cadeia de suprimentos e os aspectos químicos relacionados aos refrigerantes de baixo GWP (Potencial de Aquecimento Global).

• O resfriamento direto em dois estágios para o chip elimina a penalidade de aquecimento sensível dos circuitos monofásicos, tipicamente de pelo menos 5°C, mantendo uma temperatura de ebulição constante, independentemente de o chip dissipar 10W ou 1,000W.
• O resfriamento bifásico minimiza a corrosão relacionada à água e o risco de curto-circuito no rack, apresentando um modelo de implantação atraente para data centers corporativos.
• A ampliação de circuitos bifásicos exige a resolução da interoperabilidade entre múltiplos fornecedores de manifolds de mudança de fase, unidades de destilação condensada (CDUs) e condensadores de vapor complexos.
• Fluidos dielétricos emergentes com baixo GWP e não inflamáveis ​​(como o R-515B e o R-1233zd) estão superando as restrições regulatórias associadas aos compostos PFAS tradicionais.
• Os provedores de infraestrutura de data centers modernos estão adquirindo fornecedores especializados em refrigeração para montar portfólios unificados e prontos para uso de sistemas térmicos líquidos.

[31:33] Arquiteturas CDU, Controle Dinâmico de Fluxo e Mitigação do Raio de Explosão

Com foco na infraestrutura principal de bombeamento, esta seção analisa métodos de teste padronizados, resposta térmica transitória e as vantagens e desvantagens de engenharia entre unidades de destilação de água doce (CDUs) centralizadas e distribuídas.

• A norma ASHRAE 127 estabeleceu métodos de teste padronizados para fornecer comparações precisas e diretas da eficiência térmica e do desempenho de bombeamento das unidades de destilação de carvão.
• Pequenas variações no fluxo do líquido refrigerante se traduzem imediatamente em flutuações de temperatura na placa fria; uma mudança de 10% no fluxo pode desencadear eventos de estrangulamento, exigindo algoritmos de controle ultrarresponsivos.
• Unidades de Distribuição de Combustíveis (CDUs) centralizadas de vários megawatts envolvem volumes massivos de fluidos e grandes raios de explosão operacionais, de modo que um único evento de contaminação ou vazamento pode comprometer todo um setor da instalação.
• A incompatibilidade entre os aditivos químicos torna a mistura de fluidos de arrefecimento de diferentes fornecedores perigosa, podendo causar precipitação e entupimento.
• As CDUs distribuídas em nível de fileira e dentro do rack isolam os domínios de falha mecânica, reduzem a tubulação de trânsito de fluidos e aceleram os cronogramas de instalação.

[37:00] Unidades de Distribuição de Conteúdo (CDUs) em rack versus loops centralizados e a viabilidade da inferência refrigerada a ar

Esta seção avalia os perfis de desempenho de CDUs (Unidades de Distribuição de Conteúdo) de alto desempenho em racks e descreve por que o resfriamento a ar continua sendo dominante em clusters de inferência corporativos distribuídos.

• As unidades de refrigeração (CDUs) embutidas nos racks, projetadas especificamente para essa finalidade, podem suportar cargas térmicas de 220 kW com uma temperatura de aproximação de 4 °C, transformando a água da instalação a 41 °C em fluido refrigerante a 45 °C para os racks Vera Rubin, a uma taxa de 1.5 litros por quilowatt.
• A redundância de bomba dupla dentro das CDUs (Unidades de Distribuição de Ar Condicionado) em racks mantém a operação de resfriamento contínua mesmo durante manutenções de uma única bomba.
• O resfriamento a ar representa aproximadamente 90% de todas as remessas globais de servidores e suporta uma parcela substancial das implantações de inferência corporativa.
• O hardware de inferência de borda e empresarial deve ser implantado diretamente em salas de dados legadas, com 10 a 15 anos de idade e refrigeradas a ar, onde os dados são gerados.
• A modernização de instalações antigas com trocadores de calor na porta traseira e torres de resfriamento evaporativo transforma a energia de resfriamento parasita em quilowatts de computação utilizáveis ​​para servidores locais de inferência de IA.

[45:20] Aerodinâmica interna do chassi e fronteiras de eficiência do ventilador

O segmento final detalha as vantagens e desvantagens mecânicas dos sistemas de refrigeração líquida tudo-em-um de circuito fechado e examina como a otimização aerodinâmica do chassi leva a capacidade de refrigeração a ar ao seu limite físico.

• Os sistemas de refrigeração líquida internos "tudo-em-um" para servidores introduzem pontos de falha mecânica e complexidade na embalagem do chassi, oferecendo apenas ganhos marginais em relação aos dissipadores de calor otimizados com câmara de vapor.
• Os trocadores de calor líquido-ar laterais oferecem um caminho mais limpo e de mais fácil manutenção para racks resfriados a líquido em instalações que não dispõem de água encanada.
• A eficiência dos ventiladores em servidores corporativos aumentou de 15 a 20% há uma década para as taxas de conversão elétrica-mecânica modernas de 50 a 60%.
• A otimização da aerodinâmica do chassi em torno de um ponto de projeto de 100 CFM por quilowatt, com cada partícula de ar admitido aquecendo uniformemente 18°C, maximiza a dissipação térmica por quilowatt.
• O ar possui propriedades de difusividade térmica favoráveis ​​que, quando combinadas com dutos de precisão e dissipadores de calor avançados, fornecem uma base sólida para hardware empresarial de última geração.

Para ficar por dentro de tudo sobre refrigeração líquida e design eficiente de data centers, siga Tim Shedd no LinkedIn.