CoolIT Direct Liquid Cooling – Eficiência perfeita para servidores com refrigeração líquida

Fizemos uma parceria com a CoolIT Systems para trazer refrigeração líquida para nosso laboratório. Como parte desse esforço, montamos um mini equipamento de refrigeração líquida e modernizamos um Dell PowerEdge R760, convertendo-o de refrigerado a ar para refrigerado a líquido. Estamos apenas começando nossa jornada de refrigeração líquida, mas já fizemos descobertas importantes sobre os benefícios que a refrigeração líquida direta (DLC) oferece.

O resfriamento líquido, de uma forma ou de outra, será necessário para suportar cargas de trabalho modernas. A matemática não funciona mais para servidores refrigerados a ar com enorme poder de design térmico (TDP) de CPU e GPU. DLC entregue via placas frias é a solução mais comum, cada fornecedor de servidor tem pelo menos uma opção. Quando se trata da Dell, eles fizeram parceria com a CoolIT Systems para fornecer refrigeração líquida em todo o portfólio PowerEdge.

Nosso laboratório, como a maioria dos data centers, não foi projetado inicialmente para aproveitar as vantagens da refrigeração líquida. Mas, como muitos data centers, vemos que os servidores de maior potência exigem de alguma forma refrigeração líquida e, se quisermos aproveitar as vantagens desses sistemas, precisamos nos adaptar. É uma história que ouvimos muito nas empresas atualmente, à medida que os data centers estão investindo em IA, e encontrar a maioria desses sistemas em breve exigirá algum tipo de loop líquido para operação.

Em nosso caso, decidimos começar modernizando um dos servidores Dell PowerEdge R760 no laboratório. Para ser claro, quando os clientes desejam servidores com refrigeração líquida, eles são encomendados à Dell dessa forma. A Dell cuida da integração com CoolIT e os clientes recebem um servidor com placas frias instaladas e mangueiras conectadas para refrigeração líquida. Os sistemas DLC PowerEdge têm algumas nuances que os tornam diferentes dos servidores refrigerados a ar. Entramos em território relativamente desconhecido com este trabalho. A placa iDRAC é diferente, por exemplo, a versão DLC possui uma pista para detecção de vazamentos. Tivemos sucesso no processo de conversão, mas instalar suas próprias placas frias não é uma atividade suportada.

Kit DLC CoolIT

A CoolIT nos equipou com um minissistema que normalmente é usado para uma pequena prova de conceito enquanto seus clientes trabalham no processo de adição de refrigeração líquida a seus data centers. Dito isto, este sistema pode ser dimensionado para 10kW, por isso é uma ótima maneira para aqueles que são novos em refrigeração líquida ganharem alguma experiência com meio rack ou mais. Existem três componentes principais desta configuração: as placas frias, o coletor de rack e a unidade de distribuição de refrigerante (CDU).

As placas frias são projetadas para casos de uso específicos de TDP e se encaixam perfeitamente na CPU ou GPU que está sendo resfriada. Elas parecem enganosamente simples e, embora não haja bombas ou peças móveis nas próprias placas, a engenharia não é trivial devido ao aumento do TDP. Para se ter uma ideia, a CoolIT lançou recentemente uma nova linha de placas frias que suporta até 1500 W. As CPUs do nosso R760 são um pouco modestas em comparação; os processadores Intel Xeon 8580 têm "apenas" um TDP de 350 W cada.

A instalação das placas frias é muito simples, os blocos ainda possuem pasta térmica pré-aplicada, é um kit drop-in bem simples. Conforme observado anteriormente, há uma placa iDRAC diferente para sistemas DLC que tem o ponto de conexão para o cabo de detecção de vazamento saindo das placas frias. As mangueiras saem pela parte traseira do R760, por meio de um suporte diferente que vem com o kit DLC iDRAC.

As placas frias são conectadas ao coletor por meio de conexões rotuladas de quente/frio. O coletor em si é feito de aço inoxidável e as conexões são de desengate rápido sem gotejamento. Demora alguns segundos para conectar o servidor ao coletor, que vem pré-preenchido. Aliás, nosso manifold ficou na parte traseira do rack, mas pode ser configurado na frente se necessário. Temos um mini manifold para este caso de uso, um rack DLC mais tradicional teria um manifold cobrindo todo o rack. O coletor se conecta diretamente à CDU.

Neste circuito, a unidade de distribuição de calor (CDU) é responsável pela maior parte do trabalho. Estamos usando a CoolIT AHx10 . Esta é uma CDU de 5U com trocador de calor líquido-ar que suporta uma carga de 7 kW a 25 °C de temperatura ambiente. A CoolIT oferece um kit de expansão que permite aumentar a capacidade desta unidade para 10 kW. Dentro do chassi, há um trocador de calor líquido-ar e bombas redundantes. A CDU, assim como o manifold, já vem pré-abastecida. Posicionamos a nossa relativamente baixa no rack, mas a CDU pode ser instalada em qualquer lugar, dependendo da configuração do rack.

O AHx10 tem um consumo máximo de energia de 750W, o que ajuda na conversa econômica geral sobre economia de energia. O sistema possui uma tela touchscreen intuitiva que oferece suporte de acesso remoto. Além de ajustar inicialmente a pressão da bomba, há realmente muito pouco que precisa ser feito com a CDU, é basicamente configurar e esquecer, a nossa está funcionando há algumas semanas sem nenhuma intervenção adicional.

Vale ressaltar que, com esse equipamento CoolIT, não estamos resolvendo o problema do calor em si. Na verdade, estamos transferindo o calor das CPUs do R760 para o trocador de calor dentro da CDU. Ainda precisamos resfriar o laboratório da mesma forma que antes, já que não temos água encanada disponível para transferir o calor para fora do laboratório. Dito isso, um sistema pequeno como esse é perfeito para alguns servidores com refrigeração líquida e pode ser ideal para uma empresa com uma pequena implementação de IA; algo como o Dell PowerEdge XE9640 seria uma boa opção.

Embora ainda tenhamos que lidar com o calor do DLC R760 em nosso laboratório, há vários benefícios em mudar para o resfriamento líquido.

Benefícios do DLC

Ao passar do resfriamento a ar para o resfriamento líquido, o maior e mais óbvio benefício é a redução no uso do ventilador. O R760 ainda precisa de fluxo de ar para componentes do sistema como DRAM e armazenamento, mas eles não precisam girar tão rápido. Embora isso torne o servidor mais silencioso, a melhor parte do ciclo DLC é a redução no consumo de eletricidade. A outra coisa que descobrimos foi um pouco surpreendente: o DLC R760 teve um desempenho um pouco melhor do que quando era refrigerado a ar.

Para analisar mais detalhadamente o consumo de energia do R760, configuramos nosso módulo de análise de energia Quarch QTL2843 . Executamos o servidor tanto com os dissipadores de calor originais refrigerados a ar quanto com as placas frias CoolIT. Para sobrecarregar as CPUs, realizamos um cálculo de Pi com 50 bilhões de dígitos, o que impõe uma carga muito pesada na CPU e na DRAM. Nosso objetivo era levar as CPUs ao limite para garantir que as ventoinhas operassem em sua capacidade máxima.

O impacto da implementação do DLC foi imediatamente óbvio. Ao executar o R760 na configuração refrigerada a ar, os ventiladores giram até 100% durante a carga de trabalho, conforme esperado. Com a configuração DLC, o R760 optou por girar as ventoinhas em 32%, uma queda dramática. Isso equivale a uma economia de 200 watts, em apenas um único servidor. Não é apenas a velocidade do ventilador que se destaca, os próprios CPUs relataram cerca de metade da temperatura com DLC, 41/42C comparado a 88/89C quando refrigerados a ar.

Mas não é apenas a economia de energia que surge do outro lado quando se muda para refrigeração líquida. Vimos um pequeno aumento de desempenho, o que não esperávamos. Com as placas frias proporcionando melhor resfriamento, a CPU pode operar ao máximo. Na configuração refrigerada a ar, o R760 completou o cálculo de 50 bilhões de Pi em 369 segundos. Na configuração DLC, o R760 foi um pouco mais rápido, entregando o cálculo em 347 segundos. Isso representa um ganho de desempenho de cerca de 6%, o que nos permite extrair um pouco mais dos CPUs Intel.

Considerações finais da análise do Fortune Dragon

Estamos apenas começando com o resfriamento líquido no laboratório e estamos entusiasmados por ter trabalhado com a CoolIT nesse esforço inicial. As placas frias estão funcionando perfeitamente no PowerEdge R760 e o coletor e a CDU se unem e “simplesmente funcionam” sem quaisquer preocupações ou ajustes contínuos. Para aqueles que estão apreensivos em trazer liquidez para o data center, a simplicidade contínua é fundamental. Também não tivemos vazamentos ou outros eventos mais catastróficos, o que é esperado, pois trata-se de um equipamento empresarial com uma taxa de falhas extremamente baixa.

Para as empresas que buscam trazer sistemas de IA de alta potência para o data center, a refrigeração líquida é uma conclusão precipitada. Os servidores GPU de 8 vias vão abandonar o resfriamento a ar, optando por loops DLC como este ou, no mínimo, um circuito fechado e radiador. De qualquer forma, alguma quantidade de líquido chegará ao data center. Com a economia substancial de eletricidade e o modesto aumento de desempenho, há muitos motivos pelos quais as empresas deveriam adotar servidores DLC.

A CoolIT é claramente líder neste espaço e a sua relação com a Dell traz ao mercado uma ampla variedade de soluções de refrigeração líquida de uma forma facilmente consumível, com muito pouco com que se preocupar. Estamos ansiosos para explorar ainda mais nosso pequeno circuito e mal podemos esperar para ver mais servidores refrigerados a líquido no laboratório.

Sistemas CoolIT