ZutaCore ha presentato OmniTherm, una piastra di raffreddamento che consente il raffreddamento bifase senza acqua per i server dotati di GPU NVIDIA 6000 Blackwell Server Edition in un fattore di forma PCIe a singolo slot. La soluzione si rivolge a OEM e grandi operatori che desiderano utilizzare questi acceleratori alla massima potenza in architetture server standard per aziende e cloud AI, senza dover ricorrere a piattaforme server specializzate o sistemi di immersione.
I server con GPU PCIe rimangono una scelta privilegiata per l'inferenza AI e i carichi di lavoro misti, grazie alla loro facilità di implementazione, scalabilità e integrazione nelle infrastrutture rack e di alimentazione esistenti. Con l'aumento della densità di potenza delle GPU, il raffreddamento ad aria tradizionale inizia a limitare le prestazioni. Gli operatori sono spesso costretti ad aumentare la velocità delle ventole, il che incrementa il consumo energetico, la rumorosità e può comunque rendere i sistemi soggetti a surriscaldamento durante carichi di lavoro AI intensi.
OmniTherm mira a risolvere questo problema passando al raffreddamento a liquido bifase senza utilizzare acqua nello chassis del server. La piastra di raffreddamento utilizza un fluido dielettrico sigillato che bolle alla fonte di calore e condensa in un circuito separato. Mantenendo un profilo PCIe a singolo slot, ZutaCore consente ai produttori di sistemi di mantenere o aumentare la densità degli acceleratori nelle architetture server standard, trasferendo la maggior parte del calore a un circuito di raffreddamento a liquido. Ciò riduce la necessità di ventole ad alta velocità, diminuisce il consumo energetico e riduce la pressione termica e acustica a livello di rack.
Il CTO di ZutaCore, My D. Truong, ha sottolineato la crescente importanza delle GPU PCIe, che offrono flessibilità e alta densità, in un momento in cui i data center si trovano ad affrontare budget energetici a livello di rack sempre più elevati. Ha affermato che la combinazione di raffreddamento a due fasi senza acqua e un fattore di forma a singolo slot mira ad aiutare i data center ad aumentare il numero di acceleratori per server, mantenendo al contempo prestazioni termiche stabili per carichi di lavoro AI continui, soprattutto con l'espansione delle implementazioni.
Progettato per carichi di lavoro di intelligenza artificiale variabili e sempre attivi.
Gli ambienti di produzione per l'IA raramente mantengono un carico di lavoro costante. Le attività di inferenza sono altamente variabili, con utilizzo e consumo energetico che variano in base ai modelli di traffico e al comportamento del modello. Queste fluttuazioni possono causare rapidi sbalzi di temperatura che mettono a dura prova i sistemi di raffreddamento ad aria e complicano l'affidabilità delle prestazioni.
Il design termico bifase di OmniTherm reagisce rapidamente a queste variazioni. All'aumentare del carico della GPU, una maggiore quantità di fluido dielettrico vaporizza sulla piastra di raffreddamento, migliorando il trasferimento di calore senza aumentare la velocità della ventola. Quando il carico diminuisce, il sistema si stabilizza naturalmente con la condensazione del vapore. Questa funzione aiuta gli operatori a mantenere temperature più costanti in presenza di carichi di lavoro variabili. Garantisce prestazioni affidabili e riduce il rischio di throttling temporaneo nei server con GPU PCIe ad alta densità.
Tutela degli investimenti infrastrutturali a lungo termine
Per gli operatori, l'affidabilità e le prestazioni nel tempo sono altrettanto vitali quanto il throughput di picco. ZutaCore afferma che OmniTherm raffredda non solo il die della GPU, ma anche i componenti di alto valore adiacenti, come le CPU e le memorie ad alta larghezza di banda di nuova generazione. Coprendo un'area più ampia del solo ASIC dell'acceleratore principale, il sistema si concentra sui punti critici più importanti nei progetti multi-chip e con un ampio utilizzo di HBM.
Questa maggiore copertura termica supporta attività di intelligenza artificiale di lunga durata e ad alta intensità di banda, che mettono alla prova sia i sistemi di calcolo che quelli di memoria. Ridurre lo stress termico su questi componenti può migliorare la stabilità a lungo termine, ridurre il degrado delle prestazioni e proteggere gli investimenti in piattaforme PCIe ad alta potenza, man mano che le tecnologie GPU e di memoria progrediscono.
Considerazioni operative sulle bilance rack
Con l'aumento della densità di potenza gestita dai rack, i costi e la complessità derivanti dall'affidarsi esclusivamente al raffreddamento ad aria crescono rapidamente. La maggiore potenza delle ventole, l'aumento della rumorosità e i requisiti più stringenti per gli impianti HVAC contribuiscono all'incremento dei costi operativi e possono influire sulle condizioni di lavoro nei data center.
Il circuito a fluido dielettrico sigillato e non conduttivo di OmniTherm è progettato per assorbire la maggior parte del calore all'interno del server e trasferirlo a un circuito a liquido esterno, senza introdurre acqua nello chassis. Questa struttura può ridurre la dipendenza da velocità estreme delle ventole, diminuire il consumo energetico per il raffreddamento e aiutare gli operatori a gestire i livelli di rumorosità. La configurazione consente inoltre di scalare le implementazioni di intelligenza artificiale basate su PCIe in spazi esistenti, spostando una maggiore richiesta di raffreddamento verso i sistemi a liquido anziché affidarsi esclusivamente al flusso d'aria.
Cloud iper-raffreddante
Insieme a OmniTherm, ZutaCore lancia HyperCool Cloud, una piattaforma operativa basata su cloud che gestisce i sistemi di raffreddamento a liquido in ambienti distribuiti. La piattaforma è progettata per essere sicura e basata sulla telemetria, offrendo informazioni quasi in tempo reale sulle unità di distribuzione del refrigerante (CDU) e sulle relative apparecchiature di raffreddamento.
HyperCool Cloud fornisce telemetria per le unità di distribuzione del raffreddamento a liquido (CDU), supporta il monitoraggio dell'intera flotta e implementa flussi di lavoro che vanno dall'allarme alla risoluzione. Per gli operatori, questo significa che il raffreddamento a liquido funziona come un servizio gestito e osservabile, al pari degli altri componenti dell'infrastruttura. L'obiettivo è migliorare la reattività del servizio, semplificare la gestione degli incidenti e garantire la continuità operativa man mano che le configurazioni di raffreddamento a liquido si espandono su più siti e su flotte più ampie di server con GPU PCIe.
Insieme, OmniTherm e HyperCool Cloud permettono a ZutaCore di affrontare le sfide hardware e operative legate alla scalabilità delle piattaforme AI basate su PCIe con raffreddamento a liquido bifase senza acqua.
Amazon