Abbiamo collaborato con CoolIT Systems per portare il raffreddamento a liquido nel nostro laboratorio. Nell'ambito di questo impegno, abbiamo messo insieme un mini impianto di raffreddamento a liquido e abbiamo adattato un Dell PowerEdge R760, convertendolo da raffreddamento ad aria a raffreddamento a liquido. Abbiamo appena iniziato il nostro viaggio nel raffreddamento a liquido, ma abbiamo già fatto importanti scoperte sui vantaggi offerti dal raffreddamento a liquido diretto (DLC).
Dell PowerEdge R760 dopo la conversione DLC
Il raffreddamento a liquido, in una forma o nell’altra, sarà necessario per supportare i carichi di lavoro moderni. I conti non funzionano più per i server con raffreddamento ad aria con un'enorme potenza di progettazione termica di CPU e GPU (TDP). Il DLC fornito tramite piastre fredde è la soluzione più comune, ogni fornitore di server ha almeno un'opzione. Per quanto riguarda Dell, ha collaborato con CoolIT Systems per fornire il raffreddamento a liquido in tutto il portafoglio PowerEdge.
Il nostro laboratorio, come la maggior parte dei data center, non è stato progettato inizialmente per sfruttare il raffreddamento a liquido. Ma, come molti data center, stiamo vedendo che i server ad alta potenza richiedono in qualche modo un raffreddamento a liquido e, se vogliamo trarre vantaggio da questi sistemi, dobbiamo adattarci. È una storia che sentiamo spesso in ambito aziendale in questi giorni, poiché i data center stanno investendo nell'intelligenza artificiale e la scoperta della maggior parte di questi sistemi richiederà presto un circuito liquido di qualche tipo per il funzionamento.
Nel nostro caso, abbiamo deciso di iniziare aggiornando uno dei server Dell PowerEdge R760 in laboratorio. Per essere chiari, quando i clienti desiderano server raffreddati a liquido, vengono ordinati da Dell in questo modo. Dell gestisce l'integrazione con CoolIT e i clienti ricevono un server con piastre fredde installate e tubi collegati per il raffreddamento a liquido. I sistemi DLC PowerEdge hanno alcune sfumature che li rendono diversi dai server raffreddati ad aria, con questo lavoro ci siamo spinti in un territorio relativamente inesplorato. La scheda iDRAC è diversa, ad esempio la versione DLC ha un cavo per il rilevamento delle perdite. Il processo di conversione è riuscito con successo, ma l'installazione delle tue piastre fredde non è un'attività supportata.
Kit DLC CoolIT
CoolIT ci ha fornito un mini sistema che viene generalmente utilizzato per una piccola prova di concetto mentre i loro clienti lavorano attraverso il processo di aggiunta del raffreddamento a liquido ai loro data center. Detto questo, questo sistema può scalare fino a 10 kW, quindi è un ottimo modo per chi è nuovo al raffreddamento a liquido di acquisire esperienza con mezzo rack o giù di lì. Ci sono tre componenti chiave di questa configurazione: le piastre fredde, il collettore a rack e l'unità di distribuzione del refrigerante (CDU).
CoolIT R760 Piatti freddi
Le piastre di raffreddamento sono progettate per casi d'uso specifici in termini di TDP e si adattano perfettamente alla CPU o alla GPU da raffreddare. A prima vista sembrano semplici, ma anche se non presentano pompe o parti mobili, la loro progettazione non è banale, soprattutto alla luce dei TDP in costante aumento. Per dare un'idea, CoolIT ha recentemente lanciato una nuova linea di piastre di raffreddamento in grado di supportare fino a 1500 W. Le CPU del nostro R760 sono un po' modeste al confronto: gli Intel Xeon 8580 hanno "solo" un TDP di 350 W ciascuno.
Dell R760 con piastre fredde CoolIT
L'installazione delle piastre fredde è molto semplice, i blocchi hanno anche la pasta termica preapplicata, è un kit drop-in molto semplice. Come notato in precedenza, esiste una scheda iDRAC diversa per i sistemi DLC che ha il punto di connessione per il cavo di rilevamento perdite che parte dalle piastre fredde. I tubi vengono instradati fuori dal retro dell'R760, attraverso una staffa diversa fornita con il kit DLC iDRAC.
Collettore CoolIT
Le piastre fredde sono collegate al collettore tramite collegamenti caldo/freddo etichettati. Il collettore stesso è realizzato in acciaio inossidabile e i raccordi sono a disconnessione rapida antigoccia. Sono necessari alcuni secondi per connettere il server al collettore, che viene fornito precompilato. Per inciso, il nostro collettore è stato posizionato nella parte posteriore del rack, ma se necessario può essere configurato nella parte anteriore. Abbiamo un mini collettore per questo caso d'uso, un rack DLC più tradizionale avrebbe un collettore che copre l'intero rack. Il collettore si collega direttamente alla CDU.
CoolIT AHx10CDU
In questo circuito, l'unità di distribuzione del calore (CDU) svolge il lavoro più gravoso; noi utilizziamo la CoolIT AHx10 . Si tratta di una CDU liquido-aria da 5U in grado di gestire un carico di 7 kW a una temperatura ambiente di 25 °C. CoolIT offre un kit di espansione che permette di portare la potenza dell'unità a 10 kW. All'interno dello chassis si trovano uno scambiatore di calore liquido-aria e pompe ridondanti. La CDU, come il collettore, viene fornita pre-riempita. Noi l'abbiamo posizionata relativamente in basso nel rack, ma può essere collocata ovunque, a seconda della configurazione del rack stesso.
Interfaccia CoolIT AHx10
L'AHx10 ha un consumo energetico massimo di 750 W, il che aiuta nella conversazione economica generale sul risparmio energetico. Il sistema è dotato di un display touchscreen intuitivo che offre supporto per l'accesso remoto. A parte impostare inizialmente la pressione della pompa, c'è davvero ben poco da fare con la CDU, è praticamente impostarla e dimenticarsene, la nostra è in funzione da alcune settimane senza ulteriori interventi.
È importante notare che con questa apparecchiatura CoolIT non risolviamo il problema del calore in sé. In pratica, trasferiamo il calore dalle CPU degli R760 allo scambiatore di calore all'interno della CDU. Dobbiamo comunque raffreddare il laboratorio come prima, dato che non disponiamo di acqua di rete per trasferire il calore all'esterno. Detto questo, un piccolo sistema come questo è perfetto per alcuni server raffreddati a liquido e potrebbe essere la soluzione ideale per un'azienda con una piccola implementazione di intelligenza artificiale; un modello come il Dell PowerEdge XE9640 sarebbe un'ottima scelta.
Dell PowerEdge XE9640 raffreddato a liquido
Anche se dobbiamo ancora fare i conti con il calore del DLC R760 nel nostro laboratorio, ci sono diversi vantaggi nel passare al raffreddamento a liquido.
Vantaggi del DLC
Quando si passa al raffreddamento a liquido dal raffreddamento ad aria, il vantaggio più grande e più evidente è la riduzione dell’utilizzo delle ventole. L'R760 necessita ancora di flusso d'aria per i componenti di sistema come DRAM e storage, ma non è necessario che girino così velocemente. Sebbene ciò renda il server più silenzioso, la parte migliore del ciclo DLC è la riduzione del consumo di elettricità. L'altra cosa che abbiamo riscontrato è stata un po' sorprendente, il DLC R760 ha funzionato leggermente meglio rispetto a quando era raffreddato ad aria.
Per analizzare più nel dettaglio il consumo energetico del server R760, abbiamo utilizzato il nostro modulo di analisi della potenza di rete Quarch QTL2843 . Abbiamo testato il server sia con i dissipatori di calore ad aria di fabbrica, sia con le piastre di raffreddamento CoolIT. Per mettere sotto pressione le CPU, abbiamo eseguito un calcolo di Pi greco con 50 miliardi di cifre decimali, un'operazione che sottopone la CPU e la DRAM a un carico molto elevato. Il nostro obiettivo era spingere le CPU al massimo delle loro capacità, fino a far sì che le ventole raggiungessero la loro massima velocità.
Configurazione DLC iDRAC R760
L'impatto dell'implementazione del DLC è stato immediatamente evidente. Quando si utilizza l'R760 nella configurazione raffreddata ad aria, le ventole girano al 100% durante il carico di lavoro, come previsto. Con la configurazione DLC, l'R760 ha scelto di far girare le ventole al 32%, un calo drammatico. Ciò equivale a un risparmio di 200 watt, in un solo server. Non è solo la velocità della ventola a risaltare, le CPU stesse hanno riportato circa la metà della temperatura con DLC, 41/42°C rispetto a 88/89°C con raffreddamento ad aria.
R760 iDRAC raffreddato ad aria Configurazione
Ma non è solo il risparmio energetico che viene fuori dall'altra parte quando si passa al raffreddamento a liquido. Abbiamo notato un piccolo aumento delle prestazioni, cosa che non ci aspettavamo. Grazie alle piastre fredde che garantiscono un raffreddamento migliore, la CPU può funzionare al meglio. Nella configurazione raffreddata ad aria, l'R760 ha completato il calcolo di 50 miliardi di Pi in 369 secondi. Nella configurazione DLC, l'R760 è andato un po' più veloce, consegnando il calcolo in 347 secondi. Si tratta di un aumento delle prestazioni di circa il 6%, che ci consente di sfruttare un po' di più le CPU Intel.
Considerazioni finali
Abbiamo appena iniziato con il raffreddamento a liquido in laboratorio e siamo entusiasti di aver lavorato con CoolIT su questo sforzo iniziale. Le piastre fredde funzionano perfettamente sul PowerEdge R760 e il collettore e la CDU si uniscono e "funzionano" senza preoccupazioni o continui ritocchi. Per coloro che temono di portare liquidi nel data center, la semplicità costante è fondamentale. Inoltre, non abbiamo avuto perdite o altri eventi più catastrofici, come previsto, si tratta di apparecchiature aziendali con un tasso di guasto estremamente basso.
Parte posteriore Dell R760 con tubi DLC
Per le aziende che desiderano introdurre sistemi di intelligenza artificiale ad alta potenza nei data center, il raffreddamento a liquido è una conclusione scontata. I server GPU a 8 vie abbandoneranno il raffreddamento ad aria, optando per loop DLC come questo o come minimo, un loop chiuso e un radiatore. In ogni caso, una certa quantità di liquido finirà nel data center. Con il sostanziale risparmio energetico e il modesto incremento delle prestazioni, ci sono molte ragioni per cui le aziende dovrebbero adottare i server DLC.
CoolIT è un chiaro leader in questo spazio e il suo rapporto con Dell porta sul mercato un'ampia varietà di soluzioni di raffreddamento a liquido in un modo facilmente consumabile, con ben poco di cui preoccuparsi. Non vediamo l'ora di esplorare ulteriormente il nostro piccolo circuito e di vedere altri server raffreddati a liquido in laboratorio.




Amazon