À medida que as cargas de trabalho de IA e HPC continuam a escalar, também aumentam suas demandas de energia e refrigeração. GPUs modernas, incluindo a NVIDIA RTX PRO 6000 Blackwell Server Edition, podem consumir até 600 W, impondo uma enorme pressão térmica na infraestrutura tradicional de data centers. Embora servidores com refrigeração a ar possam lidar com essas GPUs, manter um desempenho estável nesse nível de densidade é uma questão completamente diferente. O custo de movimentar ar através de racks repletos de GPUs de alta potência aumenta consideravelmente, principalmente em regiões com tarifas de eletricidade elevadas, como o norte da Europa, o nordeste dos EUA e partes da Ásia-Pacífico. Nesses mercados, a refrigeração por imersão oferece uma vantagem operacional e econômica mensurável.
O servidor Trident iGW610R-G6 da Hypertec foi projetado levando em consideração essa realidade. Ao contrário de servidores adaptados que ajustam designs refrigerados a ar para ambientes com fluidos, a família de servidores Trident nasceu para imersão, projetada desde o primeiro layout da placa de circuito impresso para operar em fluido dielétrico. Esta nova plataforma Hypertec de 1U suporta até quatro GPUs de altura e comprimento total em um layout OCP de 21 polegadas, encontrando um equilíbrio entre densidade de computação e comportamento térmico estável.
Avaliamos o Trident iGW610R-G6 no laboratório da Hypertec em Montreal, inicialmente realizando testes remotos antes de nos deslocarmos para o local para registrar e observar o sistema em funcionamento. A configuração testada consistia em uma única GPU NVIDIA H100 e SSDs Solidigm, operando dentro de um tanque de imersão Submer preenchido com fluido dielétrico Castrol. Sob cargas de trabalho contínuas, o Trident manteve um perfil de temperatura notavelmente estável, com as variações entre os componentes permanecendo dentro de uma faixa estreita. Essa consistência reduz significativamente os ciclos térmicos, a principal causa de muitos problemas de confiabilidade a longo prazo em sistemas de alto desempenho.
Os benefícios da imersão vão além do controle de temperatura. Com condições térmicas estáveis, as GPUs podem manter as frequências de boost máximas sem sofrer throttling, as CPUs operam com menor variabilidade e os dispositivos de armazenamento oferecem taxa de transferência de E/S consistente. Essa uniformidade se traduz em maior confiabilidade, desempenho previsível e utilização de energia mais eficiente por unidade de rack — resultados essenciais para organizações que constroem ambientes de IA e HPC em larga escala.
Esta avaliação baseia-se na nossa colaboração anterior com a Hypertec, detalhada em Edge AI Anywhere: This Immersion-Cooled Mobile Data Center Makes It Possible . Esse projeto demonstrou o potencial da infraestrutura de IA móvel na borda por meio da imersão. Aqui, o foco muda para a implantação em data centers fixos, demonstrando como o Trident iGW610R-G6 e seu ecossistema complementar da Submer e da Castrol oferecem eficiência prática em escala de rack para computação densa em GPUs.
Projeto e construção do TRIDENT iGW610R-G6
O TRIDENT iGW610R-G6 adota uma abordagem distintamente diferente dos servidores de rack convencionais com refrigeração a ar. À primeira vista, você notará a ausência de uma tampa superior tradicional, deixando os principais componentes totalmente expostos ao fluido de imersão. Esse design de chassi aberto maximiza a área de contato para uma transferência de calor eficiente dentro do fluido dielétrico, eliminando a necessidade de ventiladores internos ou canais de ar. Todos os aspectos do sistema são projetados para refrigeração por imersão monofásica, na qual a energia térmica é absorvida e dissipada uniformemente pelo fluido circundante, em vez do fluxo de ar. O resultado é uma plataforma silenciosa e livre de vibrações, otimizada para ambientes de computação densos e de alto desempenho.
Fisicamente, o chassi mantém o formato 1U, medindo 85 x 53,5 x 4,4 cm e pesando cerca de 32.6 kg quando totalmente carregado. Apesar do perfil baixo, o layout é notavelmente funcional, com quatro baias NVMe E1.S acessíveis pela frente e slots PCIe de fácil acesso, posicionados para trocas rápidas de componentes dentro do tanque. O design integra-se diretamente com os principais sistemas de tanques de imersão, oferecendo compatibilidade plug-and-play sem a necessidade de gabinetes de hardware especializados ou controles de fluxo de ar.
Nossa unidade de teste foi configurada com dois processadores Intel Xeon 6530, cada um com 32 núcleos e 160 MB de cache, com um TDP de até 350 watts por soquete. O resfriamento é feito por dissipadores de calor de cobre sólido personalizados, otimizados para imersão, com material de interface térmica de folha de índio, garantindo uma transferência térmica eficiente para o fluido. O complexo de CPU é acompanhado por 32 módulos DDR5 RDIMM (cada um com capacidade de 32 GB) operando a 4800 MT/s, fornecendo ampla largura de banda para cargas de trabalho de IA, HPC e análise de dados.
A configuração de armazenamento é um ponto forte fundamental neste sistema. Além de dois SSDs M.2 NVMe de 1 TB para o sistema operacional, o sistema abriga quatro unidades Solidigm D5-P5430 E1.S de 7.68 TB como camada de dados principal. Essas unidades EDSFF oferecem alta densidade e eficiência impressionante, aproveitando o desempenho do PCIe 4.0 em um formato compacto. O formato E1.S é ideal para ambientes de imersão, onde as bandejas de unidade com acesso frontal permitem a troca sem ferramentas, sem a necessidade de drenar ou levantar o chassi. As unidades Solidigm também contribuem para o equilíbrio geral do servidor entre velocidade, resistência e eficiência térmica, tornando-as adequadas para armazenamento de modelos de IA, preparação de dados e pipelines de inferência de alto desempenho.
O sistema suporta até quatro aceleradores de largura dupla, permitindo que os usuários dimensionem a densidade de computação conforme necessário. A conectividade de rede é habilitada por um módulo OCP 3.0 de 10GBase-T de porta dupla que suporta 1GbE, garantindo ampla compatibilidade com as estruturas de data center existentes.
O fornecimento de energia é garantido por fontes de alimentação CRPS redundantes 1+1 de 3000 W com certificação 80 PLUS Titanium, oferecendo desempenho consistente sob cargas pesadas e mantendo alta eficiência energética. Como o servidor fica totalmente submerso, não há necessidade de fluxo de ar ativo, resultando em zero ruído de ventoinha e ausência de acúmulo de poeira. Esse design não só simplifica a manutenção, como também prolonga a vida útil dos componentes e melhora a confiabilidade geral.
A Hypertec estima que as instalações de imersão do iGW610R-G6 podem alcançar uma redução de 95% nos custos operacionais de refrigeração e um aumento de até 60% na vida útil do hardware, com um PUE certificado independentemente de 1.03. Combinado com o potencial de reutilização de energia, capturando até 99% do calor residual, o sistema demonstra como alta densidade de desempenho e sustentabilidade podem coexistir de forma eficaz.
Visão geral do gerenciamento do TRIDENT iGW610R-G6
O TRIDENT iGW610R-G6 é construído sobre uma placa com um Controlador de Gerenciamento de Placa Base (BMC) ASPEED AST2600, que oferece total compatibilidade com IPMI 2.0, incluindo suporte a iKVM e mídia virtual. Essa plataforma de gerenciamento fora de banda permite que os administradores monitorem, configurem e gerenciem o sistema remotamente, independentemente do estado do sistema operacional. Essas funções são essenciais para implantações de alta densidade e com resfriamento por imersão.
A interface baseada na web é limpa e fácil de navegar, com o painel esquerdo oferecendo acesso rápido às seções Painel de Controle, Informações do Sistema, Sensores, Registros e Relatórios e Controle de Energia. Cada área fornece visibilidade detalhada da integridade do sistema, dados dos sensores, níveis de firmware e estados de energia. O painel de controle exibe o tempo de atividade, os registros de acesso e as informações dos componentes de forma clara e concisa, proporcionando uma visão geral do status do sistema sem a necessidade de software adicional.
Ao operar em um ambiente de imersão, esses recursos remotos são especialmente valiosos. Em vez de inserir fisicamente mídias ou periféricos no tanque de óleo, os administradores podem implantar sistemas operacionais, montar imagens e realizar atualizações por meio de mídias virtuais. Isso reduz o tempo de manutenção e mantém as operações de hardware submersas limpas, eficientes e seguras.
Visão geral do sistema de painel de controle
O painel principal exibe as horas de funcionamento, versões de firmware, detalhes da rede e o estado da GPU. Ele serve como um painel de status central para a plataforma TRIDENT, com o BMC fornecendo telemetria de temperatura, voltagem e sensores, acessível por meio de comandos IPMI ou ferramentas de monitoramento SNMP.
Inventário do processador
A página do processador lista cada soquete, incluindo seu modelo, número de núcleos e status. Esta unidade está equipada com dois processadores Intel Xeon Gold 6530. Cada processador possui 32 núcleos, utiliza a arquitetura x86, está instalado nos soquetes CPU1 e CPU2 e está habilitado. A página informa uma velocidade máxima de 4,000 MHz e confirma a arquitetura e a família, facilitando a validação de que ambas as CPUs estão presentes, funcionando corretamente e executando o microcódigo esperado.
Inventário de controladores de memória
A página do Controlador de Memória exibe todos os módulos DIMM, incluindo suas capacidades, fabricantes, números de série, números de peça, estados e velocidades de operação. Em nossa configuração, cada slot está preenchido com módulos RDIMM DDR5 de 32,768 MiB da Micron (número de peça MTC20F1045S1RC48BA22), que estão habilitados e operam a 4400 MHz, com uma frequência máxima permitida de 4800 MHz. A visualização em tabela facilita a verificação da ocupação dos canais e ajuda a confirmar a uniformidade dos tempos em todos os bancos.
Inventário de Armazenamento
A aba Armazenamento exibe as unidades e controladores conectados. Em nosso sistema, podemos ver que nossos SSDs NVMe Solidigm D5-P5430 E1.S são usados para armazenamento primário, enquanto as unidades Samsung 990 Pro M.2 de 1 TB executam o sistema operacional. A revisão do firmware, a velocidade da interface e o status de criptografia de cada unidade são exibidos, simplificando a verificação do subsistema de armazenamento sem a necessidade de abrir o gabinete.
Desempenho térmico do TRIDENT iGW610R-G6
O comportamento térmico desempenha um papel crucial na confiabilidade do sistema a longo prazo, e o Hypertec Trident iGW610R-G6 foi projetado para operação por imersão. Em vez de depender da circulação de ar sobre dissipadores de calor para remover energia de componentes de alta densidade, o Trident opera totalmente submerso em um líquido dielétrico que conduz o calor diretamente do hardware para um circuito de resfriamento controlado. Esse design elimina os riscos mecânicos comumente associados a sistemas refrigerados a ar, como falha do ventilador, contaminação por poeira e exposição à umidade. Ao isolar os componentes eletrônicos do ar e introduzir um caminho contínuo de calor líquido, o sistema mantém um ambiente térmico altamente controlado e consistente.
Durante os testes, o Trident iGW610R-G6 operou dentro de um tanque Submer SmartPod Exo configurado para resfriamento por imersão monofásico. Nessa configuração, o fluido dielétrico circula continuamente pelo chassi, absorvendo o calor da CPU, GPU e unidades NVMe antes de passar por trocadores de calor integrados. O calor capturado é então transferido para o circuito de água gelada da instalação, que o transporta para a infraestrutura de rejeição de calor do edifício. Esse design de circuito fechado mantém temperaturas estáveis em todo o rack, garantindo um fluxo uniforme de fluido refrigerante e evitando pontos quentes que frequentemente ocorrem em configurações de computação densas.
O fluido circulante atua como um reservatório térmico com alta capacidade térmica específica. À medida que as cargas térmicas variam, o líquido absorve e redistribui a energia uniformemente por todo o tanque. Isso minimiza os gradientes de temperatura e evita flutuações no nível dos componentes, comuns em data centers com refrigeração a ar. Em ambientes tradicionais, mudanças na temperatura ambiente ou na velocidade do ventilador podem causar variações de vários graus em componentes sensíveis. Com o tempo, esses ciclos criam estresse físico nas juntas de solda e nos substratos. Na imersão, esse efeito é praticamente eliminado, reduzindo a fadiga mecânica e prolongando a vida útil do hardware.
Para medir o comportamento térmico sob cargas de trabalho pesadas, o Trident iGW610R-G6 foi submetido a testes de estresse em todos os seus principais subsistemas. O FIO foi utilizado para aplicar pressão contínua de E/S a cada SSD, enquanto testes de estresse na GPU e na CPU foram aplicados para levar esses componentes a 100% de utilização. Ao longo dos testes, as temperaturas dos componentes foram registradas por várias horas para avaliar as características de equilíbrio e flutuação.
Os resultados foram bastante consistentes. A CPU estabilizou-se em aproximadamente 52 °C, cerca de 13.7 °C acima da temperatura em repouso. A GPU atingiu um pico em torno de 58 °C, apresentando um aumento de 21.1 °C. Cada um dos quatro SSDs NVMe da Solidigm seguiu tendências semelhantes, mantendo uma faixa de temperatura de 29 °C a 30 °C sob carga, com variações de 8.8 °C a 9.2 °C. Uma vez atingido o equilíbrio, as temperaturas permaneceram estáveis durante todo o teste, com variação mínima, indicando distribuição uniforme do fluido e extração de calor eficaz pelo circuito de refrigeração.
Os dados da série temporal confirmam esse desempenho. Após uma fase inicial de aquecimento, todos os sensores exibem linhas de temperatura estáveis e quase horizontais. Não há grandes oscilações ou eventos de deriva térmica, indicando que o resfriamento por imersão mantém uma temperatura consistente e que o circuito de água gelada dissipa o calor do tanque de forma eficiente. O perfil térmico do Trident permaneceu notavelmente previsível mesmo sob operação contínua em plena carga.
Do ponto de vista da confiabilidade, essa estabilidade traz benefícios significativos. A ausência de ventiladores reduz a manutenção de peças móveis, enquanto o ambiente selado impede a entrada de poeira e a oxidação dos conectores. Com o tempo, essas características se traduzem em menores taxas de falha e em um tempo médio entre eventos de manutenção mais eficiente. A combinação da plataforma Trident iGW610R-G6 com o ambiente monofásico SmartPod Exo da Submer oferece uma solução de resfriamento consistente e resiliente, com boa escalabilidade para implantações de alta densidade.
De forma geral, os dados térmicos coletados do Trident iGW610R-G6 ilustram como o resfriamento por imersão com circulação ativa de líquido proporciona não apenas um gerenciamento térmico superior, mas também uma vantagem mensurável em termos de confiabilidade. Ao manter temperaturas consistentes nos componentes e eliminar a dependência da temperatura ambiente, o sistema opera dentro de limites ideais, independentemente da carga de trabalho ou da duração, tornando-o ideal para cargas de trabalho de computação e armazenamento de alta disponibilidade.
Por que as organizações estão optando pela imersão?
O resfriamento por imersão deixou de ser experimental. Organizações que constroem ambientes de IA e HPC em larga escala estão implementando essa tecnologia hoje para obter desempenho térmico estável, maior densidade de racks e uso mais eficiente de energia e recursos da infraestrutura. Os exemplos a seguir ilustram como plataformas baseadas em imersão estão sendo adotadas em ambientes de produção em uma escala significativa.
ADACEN
A ADACEN selecionou infraestrutura nativa de imersão para suportar a expansão de sua plataforma de IA e HPC como serviço, permitindo que a organização execute configurações densas de GPUs, simplificando os requisitos de resfriamento das instalações e melhorando a eficiência operacional a longo prazo.
“Nossa parceria com a Hypertec se deve ao fato de sua tecnologia de imersão nos proporcionar uma vantagem operacional e de sustentabilidade que o resfriamento a ar ou o resfriamento líquido direto no chip simplesmente não conseguem oferecer. Suas plataformas de imersão totalmente projetadas nos permitem implantar recursos de CPU e GPU de maior densidade, reduzir o consumo de energia de resfriamento em mais de 90% e eliminar pontos de falha mecânica. Os sistemas da Hypertec nos permitem escalar nossas cargas de trabalho de IA/HPC como serviço de forma eficiente, atendendo às nossas metas de desempenho e ESG — por isso, eles são parte fundamental da nossa estratégia de IA.” – Bernard Westwood, Diretor de Operações de Receita da ADACEN.
O ADACEN representa um modelo de implantação de alta densidade em infraestrutura hospedada. Ambientes de computação para pesquisa apresentam motivações e resultados semelhantes.
University of Waterloo
A Universidade de Waterloo está implantando 700 nós em nove tanques de imersão para dar suporte à computação de pesquisa de última geração. A mudança para a imersão permite clusters de GPUs de alta densidade com comportamento térmico consistente e menor complexidade das instalações.
“Com a Nibi, optamos pelo resfriamento por imersão porque oferece eficiência e confiabilidade excepcionais, além de simplificar o projeto do nosso data center. Os servidores da Hypertec, desenvolvidos com resfriamento por imersão, facilitaram a implementação de computação de alta densidade sem a complexidade dos sistemas tradicionais de resfriamento a ar ou líquido. Essa abordagem melhora o desempenho e a estabilidade e apoia nosso objetivo de construir um ambiente de HPC altamente sustentável e com baixo consumo de energia.” – John Morton, Diretor de Tecnologia da SHARCNET, Universidade de Waterloo.
Essas implementações demonstram que a imersão já está sendo usada para fornecer desempenho previsível em grande escala, e representam apenas duas das muitas organizações que estão adotando essa abordagem.
Conclusão
Nossa avaliação do Hypertec Trident iGW610R-G6 revelou que o resfriamento por imersão proporciona ganhos de desempenho consistentes para configurações densas de GPU e armazenamento. Em cargas de trabalho contínuas, o sistema manteve variações de temperatura estreitas e estáveis, sem deriva ou oscilação térmica. CPUs e GPUs mantiveram pontos de operação consistentes sob carga, e os SSDs Solidigm E1.S forneceram taxa de transferência de E/S estável com apenas pequenas variações de temperatura. Esse nível de consistência térmica reduz diretamente o estresse nos componentes e minimiza as condições que normalmente levam ao desgaste prematuro.
Esses resultados estão em consonância com o que grandes operadores relatam em ambientes de produção. A ADACEN relata uma redução mensurável na taxa anualizada de falhas (AFR) em instalações de imersão, impulsionada pela redução dos ciclos térmicos e pela eliminação da vibração do ventilador e da exposição a partículas. O resultado é uma maior confiabilidade ao longo do tempo, menor frequência de manutenção e maior continuidade de serviço em larga escala.
A implantação de 700 nós em nove tanques de imersão pela Universidade de Waterloo reforça ainda mais a adoção do resfriamento por imersão como uma estratégia prática para a construção e expansão de clusters de computação de alta densidade. A eficiência operacional, a estabilidade de desempenho e os requisitos simplificados de infraestrutura tornam essa técnica ideal para organizações que planejam executar cargas de trabalho de IA e HPC em grande escala.
O resfriamento por imersão já oferece desempenho estável e eficiência operacional em ambientes de produção. À medida que a densidade de computação e o consumo de energia continuam a aumentar, plataformas desenvolvidas para imersão, como o Trident iGW610R-G6, oferecem um caminho prático e sustentável para implantações de IA e HPC em larga escala.
Este relatório é patrocinado pela Solidigm. Todas as visões e opiniões expressas neste relatório são baseadas em nossa visão imparcial do(s) produto(s) em consideração.
Amazon