O resfriamento bifásico da ZutaCore em um servidor Supermicro com AMD EPYC proporciona melhor resfriamento, eficiência e desempenho recorde.
Como parte de nossa avaliação contínua de tecnologias avançadas de resfriamento para servidores de alto desempenho, testamos a solução de resfriamento ZutaCore® two-phase direct-to-chip (DTC) em um servidor Supermicro com CPUs AMD EPYC Bergamo duplas. Este teste ocorreu no data center Centersquare em Reading, Berkshire, Reino Unido, em colaboração com a integradora Boston Limited.
A necessidade de soluções de resfriamento eficientes
À medida que as CPUs continuam a crescer em contagem de núcleos e consumo de energia, as soluções tradicionais de resfriamento a ar lutam para acompanhar as demandas térmicas dos processadores de ponta. Isso é particularmente evidente em nós de computação de alta densidade, onde os métodos de resfriamento a ar falham em gerenciar efetivamente o calor significativo produzido por CPUs multi-core de alto desempenho, como o EPYC Bergamo de 128 núcleos da AMD.
À medida que esses processadores poderosos geram saída térmica substancial, as limitações do resfriamento a ar se tornam mais pronunciadas. Até mesmo os dissipadores de calor mais avançados enfrentam desafios para manter o desempenho térmico ideal sem adicionar ruído ou consumir energia em excesso.
Este projeto se concentra na atualização de um chassi Supermicro de soquete duplo de resfriamento a ar tradicional para a solução DTC de duas fases da ZutaCore. Testamos o sistema antes da conversão, observamos limitações significativas de eficiência de resfriamento e comparamos o servidor após a instalação do DTC.
A configuração do hardware
O sistema de teste apresentou um chassi Supermicro 1U com CPUs AMD EPYC Bergamo duplas, cada uma ostentando 128 núcleos. Com 256 núcleos sob o capô e 768 GB de RAM, este servidor foi projetado para lidar com cargas de trabalho densas, especialmente em ambientes de IA e uso intensivo de dados. No entanto, mesmo com grandes dissipadores de calor tradicionais de resfriamento a ar, o sistema teve dificuldade para manter as temperaturas sob controle durante os testes de estresse, resultando em limitação térmica.
Optamos pelo sistema de resfriamento líquido bifásico da ZutaCore para melhorar o resfriamento e aumentar o desempenho. Este sistema inovador utiliza um fluido de transferência de calor que faz a transição de líquido para vapor dentro das placas frias diretamente conectadas às CPUs. Esta mudança de fase permite uma eficiência térmica muito maior do que os resfriadores de líquido ou ar tradicionais, pois o calor latente da vaporização do fluido ajuda a afastar o calor dos núcleos da CPU de forma mais eficaz.
O processo de conversão
Preparando o Servidor
O processo de conversão começou desmontando os componentes de resfriamento a ar de estoque. A remoção dos dissipadores de calor tradicionais revelou os pequenos e densos dissipadores de calor nas CPUs Bergamo, claramente subdimensionados para gerenciar a carga térmica desses chips famintos por energia. Durante os testes iniciais, notamos que as CPUs atingiam altas temperaturas e lutavam com desempenho sustentado sob estresse.
Instalando as placas frias ZutaCore
O próximo passo foi introduzir o coração do sistema de resfriamento de duas fases: as placas frias personalizadas da ZutaCore. Essas placas frias são equipadas com evaporadores internos que permitem que o fluido de transferência de calor absorva calor e evapore ao passar pelo sistema. O fluido vaporizado é então retornado ao condensador, resfriado e reintroduzido no sistema para continuar o ciclo.
Uma das características mais fascinantes deste sistema é sua autorregulação mecânica. O mecanismo de flutuação de cada evaporador ajusta o fluxo de fluido de transferência de calor com base na carga térmica da CPU. Um sistema de circuito fechado como este garante que cada CPU receba a quantidade necessária de fluido sem intervenção manual.
As placas frias foram cuidadosamente colocadas nas CPUs, garantindo pressão consistente e contato térmico ideal. A tubulação que transporta o fluido de transferência de calor foi conectada às placas frias, e fizemos uma série de testes de pressão para garantir que não houvesse vazamentos antes de prosseguir com a instalação completa.
Integração com os sistemas de gerenciamento térmico e de energia do servidor
O próximo desafio foi integrar o sistema de resfriamento à infraestrutura mais ampla do data center. O sistema DTC da ZutaCore integra-se aos sistemas de gerenciamento térmico existentes do servidor e oferece controle aprimorado por meio do software de gerenciamento de resfriamento da ZutaCore. Este software permite o monitoramento em tempo real de métricas-chave, como pressão do refrigerante, temperatura em vários pontos do sistema e temperaturas de junção da CPU.
O software se conecta ao IPMI (Intelligent Platform Management Interface) do servidor, permitindo monitoramento e controle contínuos dos parâmetros de resfriamento. Ficamos particularmente impressionados com os detalhes fornecidos, incluindo velocidades do ventilador, temperaturas do vapor e ciclos de trabalho da bomba. Essa visibilidade granular do processo de resfriamento permite o ajuste fino do desempenho do sistema para corresponder à carga de trabalho.
Após conectar o sistema à unidade de rejeição de calor com os conectores de desconexão rápida e purgar rapidamente os gases atmosféricos do circuito usando o kit de serviço incluído, o sistema estava pronto para ser ligado.
Destaques de Desempenho
Resultados de pré-conversão
Conforme observado acima, antes de mudar para o sistema de duas fases da ZutaCore, executamos uma série de benchmarks com resfriamento a ar de estoque. Usando cargas de trabalho projetadas para estressar todos os 256 núcleos, o sistema rapidamente atingiu os limites térmicos, fazendo com que as CPUs reduzissem o desempenho para permanecer dentro das temperaturas operacionais seguras. Cargas pesadas sustentadas resultaram em temperaturas da CPU pairando perto de 85 °C, com quedas perceptíveis nas velocidades do clock.
Resultados pós-conversão
Após instalar a solução DTC, nós reexecutamos esses benchmarks, e os resultados foram drásticos. As temperaturas da CPU, sob carga total, caíram significativamente, com temperaturas de pico permanecendo abaixo de 65°C. Mais importante, o estrangulamento térmico foi eliminado. O sistema de duas fases manteve as CPUs Bergamo funcionando em velocidades de clock sustentadas mais altas durante todo o teste.
Sem surpresa, o consumo de energia do sistema caiu, pois os ventiladores não precisavam mais girar até o RPM máximo para compensar as altas temperaturas. A operação mais silenciosa foi imediatamente perceptível, mesmo em um ambiente de data center barulhento.
Como este exercício foi planejado para experiência prática com a solução ZutaCore, todas as medições foram qualitativas. Vale a pena notar que, no momento da filmagem e da escrita, o sistema Bergamo resfriado por ZutaCore atingiu alguns recordes mundiais nas categorias BBP y-cruncher e verificados em HWBot.org.
Eficiência de energia e resfriamento
Uma das vantagens de destaque do sistema da ZutaCore é o potencial para economia de energia. A dependência reduzida de resfriamento de ar diminui a necessidade de ventiladores de alta RPM e ar condicionado, traduzindo-se em economia de custos de energia no mundo real. Além disso, o sistema permite que o servidor opere em temperaturas ambientes mais altas sem risco de superaquecimento. Esse recurso é inestimável para data centers que buscam otimizar seu PUE (Power Usage Effectiveness) aumentando a temperatura de suas instalações.
Implicações de longo prazo para data centers
A solução de resfriamento bifásico da ZutaCore gerencia efetivamente altas cargas térmicas e fornece benefícios de longo prazo para data centers. Sua eficiência energética aprimorada e custos de resfriamento mais baixos podem torná-la crucial para ambientes de computação de alta densidade.
Para data centers que adotam processadores e GPUs de última geração, como o EPYC da AMD e o H100 da NVIDIA, a solução de resfriamento ZutaCore apresenta uma opção escalável para gerenciar a crescente saída de calor sem exigir mudanças substanciais na infraestrutura existente.
Além disso, o método de resfriamento de duas fases é razoavelmente ecológico. Os fluidos de transferência de calor da ZutaCore são atóxicos e de baixo GWP (Potencial de Aquecimento Global). O uso de fluidos dielétricos garante que, mesmo em caso de vazamento, não haja risco de curto-circuito elétrico ou danos ao equipamento.
Conclusão
A conversão do servidor dual AMD EPYC Bergamo da Supermicro para a solução de resfriamento direto para chip de duas fases da ZutaCore demonstrou uma clara melhoria no desempenho térmico, redução de ruído e eficiência energética. À medida que os data centers continuam a aumentar e a ultrapassar os limites do desempenho do servidor, tecnologias avançadas de resfriamento como a ZutaCore oferecem um caminho promissor para gerenciar as crescentes demandas térmicas dos ambientes de computação modernos.
Se você estiver operando cargas de trabalho de alta densidade e levando seu hardware ao limite, investir em soluções de resfriamento avançadas como a ZutaCore pode melhorar o desempenho e economizar em custos operacionais a longo prazo.
Grande grito para Boston Limitada por fornecer o hardware e a Centersquare por fornecer o data center!
Envolva-se com a StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
