À medida que os data centers buscam maior eficiência energética, principalmente com as demandas de cargas de trabalho de IA, muitos estão recorrendo ao resfriamento líquido para otimizar o desempenho e gerenciar o consumo de energia. O resfriamento líquido pode gerenciar com eficiência o calor gerado por servidores de alto desempenho, permitindo que eles operem na capacidade máxima sem os custos intensivos em energia associados ao resfriamento a ar tradicional. Os SSDs de alta densidade da Solidigm são ideais para esses ambientes, oferecendo eficiência excepcional de terabytes para watt.
Embora a IA force muitos operadores de data center a considerar o resfriamento líquido, seu impacto alcança muito mais longe. Em um relatório anterior, examinamos o efeito do resfriamento líquido em um Dell PowerEdge R2 760U. O resfriamento líquido direto (DLC) da CoolIT reduziu significativamente o consumo de energia do servidor ao diminuir a velocidade do ventilador, uma economia de energia de 200 watts. Esse teste foi centrado inteiramente no desempenho da CPU; dessa vez, queríamos dar uma olhada mais centrada no armazenamento para entender o impacto dos SSDs no consumo de energia do servidor.
O que são estados de energia ativos NVMe?
Os estados de energia NVMe são estados predefinidos que um dispositivo NVMe pode transitar para gerenciar o consumo de energia e o desempenho. A especificação NVMe permite até 32 estados de energia, cada um caracterizado pelo consumo máximo de energia, latência de entrada (ENLAT), latência de saída (EXLAT) e valores de desempenho relativos. Esses estados de energia são divididos em estados operacionais e não operacionais. Os estados de energia operacionais, ou P-States, permitem que o dispositivo manipule operações de E/S. Os estados não operacionais, ou F-States, são usados quando o dispositivo está ocioso e não está manipulando operações de E/S.
Gerenciar esses estados de energia é crucial para otimizar a eficiência energética de dispositivos NVMe, especialmente em ambientes onde o consumo de energia é uma preocupação crítica, como dispositivos de ponta e aplicativos especializados como os SSDs na Estação Espacial Internacional. Por exemplo, a especificação NVMe inclui recursos como Autonomous Power State Transition (APST), que permite que o dispositivo faça a transição automática entre estados de energia com base no uso atual e nas condições térmicas. Isso ajuda a equilibrar o desempenho com o consumo de energia, garantindo uma operação confiável em ambientes remotos ou restritos. O suporte Runtime D3 (RTD3) permite que o dispositivo entre em um estado ocioso de energia zero, conservando ainda mais energia quando o dispositivo não estiver em uso.
Os estados de energia NVMe são particularmente benéficos quando a eficiência de energia e o gerenciamento térmico são primordiais. Em dispositivos de ponta, por exemplo, a capacidade de transição rápida para estados de energia mais baixos quando ociosos pode reduzir significativamente o consumo de energia, o que é crítico para dispositivos que operam em ambientes remotos ou hostis com disponibilidade limitada de energia. Isso é obtido por meio de recursos como PCIe Active State Power Management (ASPM) e estados de baixa energia, como L1.1 e L1.2, que reduzem o consumo de energia a níveis mínimos. O gerenciamento de energia e saída térmica na ISS é crucial devido ao ambiente limitado e controlado. Os estados de energia NVMe podem ajudar a limitar o consumo de energia de SSDs para gerenciar a energia de design térmico (TDP) e otimizar o orçamento geral de energia, garantindo que os SSDs operem de forma eficiente sem superaquecimento.
Nesses ambientes especializados, os estados de energia NVMe fornecem uma maneira flexível e eficiente de gerenciar o consumo de energia de dispositivos NVMe. Ao aproveitar esses estados, os dispositivos podem equilibrar desempenho e eficiência de energia, tornando-os adequados para várias aplicações, desde computação de ponta até missões espaciais. A capacidade de ajustar dinamicamente os estados de energia com base em condições em tempo real garante que os dispositivos NVMe possam atender às demandas variadas de diferentes ambientes, ao mesmo tempo em que otimizam a eficiência energética e o gerenciamento térmico.
Além dos estados de energia NVMe, o conceito de Composite Temperature e Touch Temperature desempenha um papel crucial no gerenciamento do desempenho térmico de SSDs NVMe em novos SSDs empresariais. Touch Temperature representa a temperatura externa do gabinete do SSD. A Solidigm tem sido líder na adoção de novos padrões mais altos de Touch Temperature. A Touch Temperature definida de fábrica para o Solidigm D5-P5336, por exemplo, é de 80 °C. Esse limite mais alto de temperatura de toque permite que os SSDs sejam resfriados com menor fluxo de ar ou operem em temperaturas ambientes mais altas. Essa flexibilidade permite que os data centers otimizem as estratégias de resfriamento e melhorem o gerenciamento térmico geral, reduzindo potencialmente os custos de resfriamento e aumentando a confiabilidade e a longevidade dos SSDs.
Gerenciando estados de energia ativa NVMe
Em um ambiente de teste Linux executando o Ubuntu 22.04, podemos usar o conjunto de ferramentas NVMe para pesquisar a unidade para visualizar e alterar os estados de energia do D5-P5336. Como você pode ver abaixo, a unidade suporta os estados 0,1, 2 e 0, com o estágio 2 sendo o menos restritivo e o estágio XNUMX sendo o mais restritivo.
Para o Solidigm 61.44 TB D5-P5336, PS0 é 25 W, PS1 é 15 W e PS2 é 10 W. A unidade fica ociosa em cerca de 5.5 W, então, a cada aumento do modo de energia, o SSD tem cada vez menos sobrecarga de energia para dedicar às operações de leitura e gravação NAND. As operações de gravação sofrem o maior impacto, pois usam mais energia para gravar no NAND do que para ler a partir dele.
O comando para verificar o estado de energia atual em nosso SSD Solidigm D5-P5336 é mostrado abaixo. O valor atual de 00000000 indica que o drive está em PS0, que é o modo mais alto de 25 W.
Um comando similar é emitido para alterar o estado de energia, com o número final representando o modo de energia em que você quer que o SSD esteja. Por exemplo, o comando a seguir define o modo de energia em PS0 no SSD Soldigim D5-P5336. Se você usar os modos de energia 1 ou 2, altere o número —-value= para corresponder ao modo de energia correto.
Impacto dos estados de energia no desempenho
Para medir o impacto de energia e o impacto de desempenho dos estados de energia no SSD Solidigm D5-P5336 de 61.44 TB, equipamos um Dell PowerEdge R760 com 24 SSDs. Executando o Ubuntu e o gerador de carga de trabalho FIO, pudemos facilmente executar uma carga de trabalho consistente em todos os SSDs e atualizar o modo de energia em tempo real.
Usamos o monitoramento de energia integrado da Dell dentro do sistema de gerenciamento integrado iDRAC9 do servidor para monitorar a energia no nível do sistema.
Nós nos concentramos em cargas de trabalho de largura de banda de leitura e gravação sequenciais, usando um tamanho de bloco de 128K em cada unidade e, em seguida, medimos o desempenho agregado em todos os 24 SSDs. Deve-se observar que esta configuração específica do Dell PowerEdge R760 com 24 baias NVMe aproveita um switch PCIe em vez de baias NVMe conectadas diretamente. Portanto, a largura de banda total medida satura as pistas de switch PCIe disponíveis antes de atingir as unidades. Isso afeta o desempenho total de leitura que medimos em comparação com a folha de especificações do Soldigim P5536, mas as velocidades de gravação agregadas estavam todas abaixo desse limite.
| Watts totais | Velocidade de gravação | Ler GB/s | Watts Sobre a base |
Watts/Condução (com sobrecarga do sistema) |
|
|---|---|---|---|---|---|
| Ocioso sem unidades | 462 | - | - | - | - |
| Unidades ociosas instaladas | 594 | - | - | 132 | 5.5 |
| Leitura sequencial 24x PS0 | 858 | - | 109GB / s | 396 | 16.5 |
| Leitura sequencial 24x PS1 | 858 | - | 105GB / s | 396 | 16.5 |
| Leitura sequencial 24x PS2 | 759 | - | 79.8GB / s | 297 | 12.375 |
| 24x Gravação Sequencial PS0 | 1089 | 82.5GB / s | - | 627 | 26.125 |
| 24x Gravação Sequencial PS1 | 825 | 34.4GB / s | - | 363 | 15.125 |
| 24x Gravação Sequencial PS2 | 726 | 17.3GB / s | - | 264 | 11 |
Olhando para nosso artigo sobre os benefícios de converter uma plataforma resfriada a ar para resfriamento direto a líquido, vimos um ligeiro aumento de desempenho em relação às CPUs, mas também economizamos 200 W de energia. A energia é uma mercadoria preciosa na nova onda de servidores centrados em IA que frequentemente dedicam todos os recursos disponíveis a GPUs e CPUs de ponta. Em um data center com ou próximo de um limite de orçamento de energia para resfriamento a ar, mudar para DLC compra um orçamento de energia que permite que o servidor seja preenchido com mais SSDs para a mesma pegada de energia de um servidor resfriado a ar.
Uma economia de energia de 200 W pode fazer toda a diferença em relação à densidade de armazenamento; essa economia permite que você dobre a pegada de armazenamento de 12 para 24 SSDs em um servidor resfriado a líquido em comparação a um servidor resfriado a ar se você tiver cargas de trabalho voltadas para cargas de trabalho de leitura intensiva. Com o Solidigm D5-P5336, este servidor de 24 baias aumentou a capacidade de armazenamento de 737 TB para 1,474 TB graças ao loop líquido. Se a carga de trabalho for pesada em gravação, você poderá equipar o servidor com cerca de mais oito SSDs. No entanto, esses números são com os modos de energia básicos, então se você estiver disposto a reduzir um pouco o desempenho de gravação do topo, você pode facilmente equipar seu servidor com 24 SSDs com uma carga de trabalho pesada em gravação com desempenho reduzido.
Conclusão
Por meio de nossos testes dos SSDs Solidigm D5-P5336, vimos como o gerenciamento de estados de energia NVMe pode impactar significativamente a eficiência de energia sem afetar drasticamente o desempenho. Os operadores de data center que buscam maximizar a eficiência energética podem aproveitar esses estados de energia para obter maior densidade de armazenamento ou reduzir custos operacionais, principalmente em ambientes centrados em IA, onde a energia é escassa. Os SSDs de alta densidade da Solidigm estão bem posicionados para isso, oferecendo excelente eficiência de terabyte para watt, especialmente com tecnologias modernas de resfriamento líquido.
Nossas descobertas revelam que mesmo pequenos ajustes nos estados de energia podem gerar economias de energia significativas, o que pode ser crucial em ambientes limitados pela disponibilidade de energia. Otimizar o consumo geral de energia dos servidores aumenta a densidade de armazenamento e oferece suporte a operações de data center mais sustentáveis.
O gerenciamento de energia se torna cada vez mais crítico à medida que os servidores modernos são levados ao limite, especialmente em cargas de trabalho orientadas por IA. O emparelhamento de resfriamento líquido e opções de gerenciamento de SSD eficientes oferece um caminho a seguir para data centers que buscam escalar o desempenho e a densidade de armazenamento sem ultrapassar os orçamentos de energia.
Você pode ver a demonstração completa dessas tecnologias ao vivo na OCP 2024. Mostraremos como o resfriamento líquido e os SSDs da Solidigm podem ser os pilares da eficiência energética no data center moderno.
Soluções de armazenamento Solidigm
Este relatório é patrocinado pela Solidigm. Todas as visões e opiniões expressas neste relatório são baseadas em nossa visão imparcial do(s) produto(s) em consideração.
Amazon