Podcast n. 152: Dinamica termica dei data center e architetture di raffreddamento con Tim Shedd

Brian ha recentemente intervistato Tim Shedd, esperto di gestione termica e pioniere delle tecnologie di raffreddamento a liquido. Il podcast ripercorre alcuni aspetti storici del raffreddamento a liquido nei data center, dal periodo in cui Tim lavorava per Cray e spruzzava il liquido sui tubi, fino al suo più recente impegno con il Dell PowerEdge XE9680.

Tim Shedd è un esperto del settore e ingegnere meccanico specializzato in gestione termica, raffreddamento a liquido e infrastrutture per data center. Con una carriera che spazia dalla ricerca accademica come professore presso l'Università del Wisconsin-Madison, a ruoli di ingegneria fondamentali presso Motivair, fino alla leadership tecnica senior all'interno dell'organizzazione CTO di Dell Technologies, è stato in prima linea nell'architettura di raffreddamento ad alta densità. Il suo lavoro si concentra sul collegamento tra fisica termica avanzata e producibilità su scala hyperscale, sulla definizione di standard per le unità di distribuzione del raffreddamento e sull'ottimizzazione dell'efficienza energetica dei data center in topologie hardware con raffreddamento ad aria e a liquido.

Questo podcast offre un'ottima panoramica sull'evoluzione della gestione termica nei mainframe, nelle piattaforme HPC e nelle attuali tecnologie server. In meno di un'ora, comprenderete meglio come questo influisca su molti aspetti del funzionamento efficiente delle nostre tecnologie.

Se non avete tempo di guardare il video per intero, lo abbiamo suddiviso in segmenti di cinque minuti in modo che possiate scegliere le parti che vi interessano di più.

[00:00] L'evoluzione del raffreddamento a liquido dall'HPC all'IA aziendale

La sezione iniziale delinea l'evoluzione storica del raffreddamento a liquido, dalle installazioni specializzate per supercalcolo alle applicazioni aziendali commerciali ad alta densità, evidenziando le prime scelte di progettazione termica.

• I primi ambienti di calcolo si basavano sul raffreddamento evaporativo e sulla convezione forzata di base, prima di raggiungere i limiti imposti dall'HPC ad alta densità e dai carichi di lavoro di calcolo accelerati.
• Le prime sperimentazioni accademiche con le architetture di Cray prevedevano la nebulizzazione diretta di liquido sui tubi, dimostrandosi tecnicamente fattibile ma commercialmente proibitiva in termini di costi.
• L'impennata nella densità di potenza dei rack successiva al 2015 ha spinto gli OEM a progettare implementazioni standardizzate di sistemi di raffreddamento a liquido per aziende, culminata nei modelli di produzione di rack ad alta densità entro il 2019.
• Le catene di fornitura degli OEM sono passate dalla produzione di poche migliaia di nodi raffreddati a liquido all'anno alla scalabilità delle consegne fino a migliaia di sistemi di produzione a settimana.
• Piattaforme aziendali robuste come il PowerEdge XE9680, il server con la crescita più rapida nella storia di Dell, bilanciavano i primi carichi termici dell'IA utilizzando dissipatori ad aria densa abbinati a scambiatori di calore posteriori, prima che l'adozione completa del raffreddamento diretto al chip diventasse obbligatoria.

[05:00] Test dei punti di rottura termici e della fisica dei fluidi su scala

Questa sezione esplora la valutazione in laboratorio di tecnologie termiche concorrenti, spiegando in dettaglio perché i circuiti monofase a collegamento diretto al chip si sono affermati come architettura dominante rispetto ai sistemi a immersione.

• I laboratori di validazione OEM hanno condotto test approfonditi su circuiti a piastra fredda, reti a pressione negativa, configurazioni a immersione e sistemi bifase per stabilire i parametri di riferimento per l'implementazione.
• Storicamente, i carichi termici del silicio sono aumentati gradualmente con ogni generazione, consentendo l'utilizzo di sistemi di raffreddamento ad aria standard e a liquido di base fino a quando i TDP non hanno superato la soglia dei 500-1000 W.
• Il raffreddamento a immersione offre vantaggi operativi per profili termici ampiamente distribuiti, come quelli delle farm di criptovalute, ma ha difficoltà con i flussi di calore localizzati e altamente concentrati che si riscontrano negli acceleratori moderni.
• Acqua miscelata con il 25% di glicole propilenico (PG25), erogata tramite piastre di raffreddamento a microcanali, è diventato lo standard principale grazie alla sua scalabilità prevedibile, alla disponibilità di fornitura e alle consolidate proprietà di trasferimento termico.
• Gli standard aperti dell'ecosistema rimangono fondamentali per l'approvvigionamento di piastre di raffreddamento, collettori e connettori rapidi da diversi fornitori senza cali di prestazioni.

[10:00] Standardizzazione, interoperabilità tra più fornitori e affidabilità meccanica

La discussione si sposta poi sugli aspetti operativi dell'implementazione di hardware per fluidi, concentrandosi sull'integrazione di componenti di diversi fornitori, sulla delimitazione delle responsabilità e sull'integrità dei materiali.

• L'utilizzo di componenti di raffreddamento provenienti da diversi fornitori introduce notevoli problemi di compatibilità meccanica e severe limitazioni di garanzia in caso di perdite di fluido.
• La responsabilità legale e gli accordi sul livello di servizio rimangono i principali ostacoli del settore che impediscono l'adozione di architetture di cablaggio multi-vendor nelle sale server di produzione.
• I tradizionali sistemi di rilevamento perdite a fune stanno lasciando il posto a topologie di sensori integrati con arresto automatico delle pompe e chiusura delle valvole.
• I progressi nella produzione di tubi flessibili in EPDM vulcanizzato con perossido hanno ridotto significativamente i tassi di guasto a livello di componente nei sistemi di tubazioni a collegamento diretto al chip.
• L'inaffidabilità del sistema sul campo deriva principalmente da residui di produzione e da un lavaggio iniziale inadeguato delle linee, piuttosto che dall'affaticamento dei componenti grezzi.

[15:00] Gestione dei detriti, limiti del flusso di calore e fisica della pressione negativa

Questo intervallo temporale esamina la fluidodinamica di precisione delle piastre fredde, gli effetti catastrofici della contaminazione da particolato microscopico e la fisica atmosferica che limita i circuiti di raffreddamento a pressione negativa.

• Particelle di dimensioni comprese tra 100 e 200 micron, persino una singola fibra di spazzola metallica incastrata in un connettore rapido, possono ostruire le alette dei microcanali e mandare in tilt un rack per strozzamento termico.
• La modellazione avanzata della fluidodinamica computazionale (CFD) consente alle moderne piastre di raffreddamento di dissipare carichi di 1500 W mantenendo al contempo una penalità di delta T ridotta a 30 °C.
• Sistemi di raffreddamento a pressione negativa sono intrinsecamente limitati dalla pressione atmosferica, lasciando solo da 7 a 9 PSI di pressione differenziale utilizzabile prima che il fluido raggiunga il suo punto di ebollizione a temperatura ambiente.
• I budget di pressione limitati rendono difficile la realizzazione di circuiti a pressione negativa attraverso lunghi collettori di impianti, unità di distribuzione del calore (CDU) e piastre di raffreddamento a microcanali ad alta resistenza.
• Analisi chimiche specifiche dell'acqua e un monitoraggio chimico continuo sono essenziali per prevenire la corrosione, la proliferazione biologica e il degrado dei materiali.

[20:00] Variabili ambientali, chimica dei fluidi e rilevamento avanzato delle perdite

In questa sede, la conversazione verte sull'impatto dei cambiamenti climatici regionali sulle operazioni dei data center, sui rischi di condensa e sull'evoluzione tecnologica dei sensori di rilevamento perdite a risposta rapida.

• L'umidità regionale, l'altitudine e le condizioni ambientali determinano le temperature dell'acqua nel circuito secondario e l'efficienza del raffreddamento dell'impianto.
• Nelle zone ad alta umidità, le temperature del circuito di raffreddamento inferiori a quelle ambiente aumentano il rischio di formazione di condensa sui componenti dello chassis del server e richiedono specifici sistemi di controllo del punto di rugiada.
• Le tradizionali corde per il rilevamento delle perdite soffrono di colli di bottiglia nella catena di approvvigionamento e di soglie di attivazione elevate, richiedendo un volume significativo di fluido prima di far scattare un allarme.
• La tecnologia di rilevamento delle perdite di nuova generazione sfrutta sensori flessibili stampati su polimeri, rilevamento ottico di coloranti e rilevatori di vapori per identificare le microperdite prima che si verifichi un guasto catastrofico.
• I controller intelligenti per rack modulano attivamente la pressione del circuito CDU al rilevamento di perdite di fluido precoci, al fine di ridurre al minimo il volume delle perdite e preservare i tempi di attività.

[25:00] Valutazione del potenziale bifase diretto al chip e della chimica del refrigerante

Questa sezione esplora i vantaggi termodinamici della vaporizzazione a calore latente nel raffreddamento bifase, unitamente alle considerazioni relative alla catena di approvvigionamento e agli aspetti chimici riguardanti i refrigeranti a basso GWP.

• Il raffreddamento bifase diretto al chip elimina il problema del riscaldamento sensibile tipico dei circuiti monofase, in genere di almeno 5 °C, mantenendo una temperatura di ebollizione costante sia che un chip dissipi 10 W o 1,000 W.
• Il raffreddamento bifase riduce al minimo la corrosione causata dall'acqua e il rischio di cortocircuiti elettrici all'interno del rack, rappresentando un modello di implementazione ideale per le sale dati aziendali.
• La scalabilità dei circuiti bifase richiede la risoluzione dei problemi di interoperabilità tra diversi fornitori di collettori a cambiamento di fase, unità di distribuzione del vapore (CDU) e condensatori di vapore complessi.
• I fluidi dielettrici emergenti a basso GWP e non infiammabili (come R-515B e R-1233zd) stanno superando i vincoli normativi associati ai composti PFAS tradizionali.
• I moderni fornitori di infrastrutture per data center stanno acquisendo aziende specializzate nel raffreddamento per creare portafogli unificati e chiavi in ​​mano di sistemi termici a liquido.

[31:33] Architetture CDU, controllo dinamico del flusso e mitigazione del raggio di esplosione

Concentrandosi sull'infrastruttura di pompaggio principale, questa sezione analizza i metodi di prova standardizzati, la risposta termica transitoria e i compromessi ingegneristici tra unità di distribuzione centralizzate e distribuite.

• Lo standard ASHRAE 127 ha definito metodi di prova standardizzati per fornire confronti accurati e omogenei tra l'efficienza termica e le prestazioni di pompaggio delle unità di trattamento aria (CDU).
• Piccole variazioni nel flusso del liquido di raffreddamento si traducono immediatamente in fluttuazioni di temperatura sulla piastra fredda; una variazione del flusso del 10% può innescare eventi di strozzamento, che richiedono algoritmi di controllo ultra-reattivi.
• Le unità centralizzate di trattamento dei gas di scarico (CDU) da diversi megawatt implicano enormi volumi di fluidi e ampi raggi di esplosione operativi, tanto che un singolo evento di contaminazione o perdita può mettere fuori uso un intero capannone dell'impianto.
• Le incompatibilità chimiche degli additivi rendono pericolosa la miscelazione di liquidi refrigeranti proprietari di diversi fornitori, con il rischio di causare precipitazioni e ostruzioni.
• Le unità CDU distribuite a livello di fila e all'interno dei rack isolano i domini di guasto meccanico, riducono le tubazioni di transito dei fluidi e accelerano i tempi di installazione.

[37:00] CDU in rack contro circuiti centralizzati e la fattibilità dell'inferenza raffreddata ad aria

Questa sezione valuta i profili prestazionali delle unità CDU in rack ad alte prestazioni e illustra i motivi per cui il raffreddamento ad aria rimane la soluzione dominante nei cluster di inferenza distribuiti aziendali.

• Le unità di distribuzione dell'aria (CDU) integrate nei rack, progettate appositamente, possono supportare carichi termici di 220 kW con una temperatura di avvicinamento di 4 °C, trasformando l'acqua di rete a 41 °C in liquido di raffreddamento a 45 °C per i rack Vera Rubin, con un consumo di 1.5 litri per kilowatt.
• La ridondanza a doppia pompa all'interno delle unità CDU in rack garantisce il funzionamento continuo del sistema di raffreddamento anche durante gli interventi di manutenzione su una sola pompa.
• Il raffreddamento ad aria rappresenta circa il 90% di tutte le spedizioni globali di server e supporta una parte sostanziale delle implementazioni di inferenza aziendale.
• L'hardware di inferenza edge e aziendale deve essere implementato direttamente all'interno di data center obsoleti, con sistemi di raffreddamento ad aria, risalenti a 10-15 anni fa, dove vengono generati i dati.
• L'ammodernamento delle strutture più datate con scambiatori di calore posteriori e torri di raffreddamento evaporative trasforma l'energia di raffreddamento parassita in kilowatt utilizzabili per i computer locali dedicati all'inferenza dell'IA.

[45:20] Aerodinamica interna del telaio e frontiere dell'efficienza della ventola

La sezione finale analizza i compromessi meccanici dei sistemi di raffreddamento all-in-one a circuito chiuso ed esamina come l'ottimizzazione aerodinamica del telaio spinga la capacità di raffreddamento ad aria al suo limite fisico.

• I sistemi di raffreddamento a liquido all-in-one interni a livello di server introducono punti di guasto meccanico e complessità di incapsulamento nello chassis, offrendo al contempo solo vantaggi marginali rispetto ai dissipatori a camera di vapore ottimizzati.
• Gli scambiatori di calore liquido-aria laterali offrono un percorso più pulito e di più facile manutenzione per i rack di raffreddamento a liquido localizzati in impianti privi di acqua di rete.
• L'efficienza delle ventole dei server aziendali è aumentata dal 15-20% di dieci anni fa agli attuali tassi di conversione da energia elettrica a meccanica del 50-60%.
• Ottimizzando l'aerodinamica del telaio attorno a un punto di progetto di 100 CFM per kilowatt, con ogni flusso d'aria aspirata che si riscalda uniformemente di 18 °C, si massimizza la dissipazione termica per kilowatt.
• L'aria possiede proprietà di diffusività termica favorevoli che, se abbinate a condotti di precisione e dissipatori di calore avanzati, forniscono una solida base per l'hardware aziendale di nuova generazione.

Per rimanere aggiornati su tutto ciò che riguarda il raffreddamento a liquido e la progettazione efficiente dei data center, seguite Tim Shedd su LinkedIn.