Con la continua crescita dei carichi di lavoro di intelligenza artificiale e HPC, aumentano anche le loro esigenze di alimentazione e raffreddamento. Le GPU moderne, tra cui la RTX PRO 6000 Blackwell Server Edition di NVIDIA, possono assorbire fino a 600 W, sottoponendo a un enorme stress termico l'infrastruttura tradizionale dei data center. Sebbene i server raffreddati ad aria possano gestire queste GPU, mantenere prestazioni stabili a questo livello di densità è un'altra questione. Il costo del trasporto dell'aria attraverso rack pieni di GPU ad alta potenza aumenta vertiginosamente, in particolare nelle regioni con tariffe elettriche elevate, come l'Europa settentrionale, il Nord-Est degli Stati Uniti e alcune parti dell'Asia-Pacifico. In questi mercati, il raffreddamento a immersione offre un vantaggio operativo ed economico misurabile.
Il server Trident iGW610R-G6 di Hypertec è stato progettato tenendo conto di questa realtà. A differenza dei server retrofit che adattano i design raffreddati ad aria agli ambienti fluidi, la famiglia di server Trident è nata per l'immersione, progettata fin dal suo primo layout PCB per funzionare in fluido dielettrico. Questa nuova piattaforma Hypertec 1U supporta fino a quattro GPU a tutta altezza e lunghezza in un layout OCP da 21 pollici, raggiungendo un equilibrio tra densità di calcolo e comportamento termico stabile.
Abbiamo valutato il Trident iGW610R-G6 nel laboratorio Hypertec di Montreal, conducendo inizialmente test da remoto prima di passare in loco per registrare e osservare il sistema in azione. La configurazione sottoposta a test era composta da una singola GPU NVIDIA H100 e SSD Solidigm, operanti all'interno di una vasca di immersione Submer riempita con fluido dielettrico Castrol. In presenza di carichi di lavoro sostenuti, il Trident ha mantenuto un profilo di temperatura notevolmente stabile, con delta dei componenti che si sono mantenuti entro un intervallo ristretto. Questa costanza riduce significativamente i cicli termici, causa principale di molti problemi di affidabilità a lungo termine nei sistemi ad alte prestazioni.
I vantaggi dell'immersione vanno oltre il controllo della temperatura. Con condizioni termiche stabili, le GPU possono mantenere i massimi clock di boost senza throttling, le CPU operano con una minore variabilità e i dispositivi di storage offrono un throughput I/O costante. Questa uniformità si traduce in maggiore affidabilità, prestazioni prevedibili e un utilizzo più efficiente dell'energia per unità rack: risultati chiave per le organizzazioni che realizzano ambienti AI e HPC su larga scala.
Questa valutazione si basa sulla nostra precedente collaborazione con Hypertec, descritta in dettaglio in Edge AI Anywhere: This Immersion-Cooled Mobile Data Center Makes It Possible . Quel progetto ha mostrato le potenzialità dell'infrastruttura AI mobile in ambiente edge computing tramite raffreddamento a immersione. Qui, l'attenzione si sposta sull'implementazione in data center fissi, dimostrando come il Trident iGW610R-G6 e il suo ecosistema circostante di Submer e Castrol offrano un'efficienza pratica su scala rack per il calcolo ad alta densità di GPU.
Progettazione e costruzione di TRIDENT iGW610R-G6
Il TRIDENT iGW610R-G6 adotta un approccio nettamente diverso rispetto ai server rack raffreddati ad aria convenzionali. A prima vista, si nota l'assenza del tradizionale coperchio superiore, lasciando i componenti principali completamente esposti al fluido di immersione. Questo design a telaio aperto massimizza la superficie di contatto per un efficiente trasferimento di calore all'interno del fluido dielettrico, eliminando la necessità di ventole interne o canali di ventilazione. Ogni aspetto del sistema è progettato per il raffreddamento a immersione monofase, in cui l'energia termica viene assorbita e dissipata uniformemente dal fluido circostante anziché dal flusso d'aria. Il risultato è una piattaforma silenziosa e priva di vibrazioni, ottimizzata per ambienti di elaborazione densi e ad alte prestazioni.
Fisicamente, lo chassis mantiene un fattore di forma 1U, misurando 33.46 × 21.06 × 1.75 pollici e pesando circa 72 libbre (32.6 chilogrammi) a pieno carico. Nonostante il profilo basso, il layout è notevolmente maneggevole, con quattro alloggiamenti E1.S NVMe accessibili frontalmente e slot PCIe facilmente raggiungibili posizionati per una rapida sostituzione dei componenti all'interno del serbatoio. Il design si integra direttamente con i principali sistemi di serbatoi a immersione, offrendo compatibilità plug-and-play senza necessità di custodie hardware specializzate o controlli del flusso d'aria.
La nostra unità di test è stata configurata con due processori Intel Xeon 6530, ciascuno con 32 core e 160 MB di cache, con un TDP fino a 350 watt per socket. Il raffreddamento è gestito da dissipatori di calore in rame solido personalizzati, ottimizzati per l'immersione, con materiale di interfaccia termica in foglio di indio, che garantiscono un efficiente trasferimento termico al fluido. Il complesso CPU è abbinato a 32 moduli DDR5 RDIMM (ciascuno con capacità di 32 GB) che funzionano a 4800 MT/s, offrendo ampia larghezza di banda per carichi di lavoro di intelligenza artificiale, HPC e analisi dei dati.
La configurazione dello storage è un punto di forza di questa build. Oltre a due SSD M.2 NVMe da 1 TB per il sistema operativo, il sistema ospita quattro unità Solidigm D5-P5430 E1.S da 7.68 TB come data tier primario. Queste unità EDSFF offrono elevata densità ed efficienza impressionante, sfruttando le prestazioni PCIe 4.0 in un ingombro ridotto. Il fattore di forma E1.S è ideale per gli ambienti immersivi, dove i vassoi delle unità con accesso frontale consentono sostituzioni senza utensili, senza svuotare o sollevare lo chassis. Le unità Solidigm contribuiscono inoltre all'equilibrio complessivo del server tra velocità, resistenza ed efficienza termica, rendendole ideali per l'archiviazione di modelli di intelligenza artificiale, lo staging dei dati e le pipeline di inferenza ad alto throughput.
Il sistema supporta fino a quattro acceleratori a doppia larghezza, consentendo agli utenti di scalare la densità di elaborazione in base alle esigenze. Il networking è abilitato da un modulo OCP 3.0 10GBase-T a doppia porta che supporta 1GbE, garantendo un'ampia compatibilità con i fabric dei data center esistenti.
L'alimentazione è fornita da alimentatori ridondanti 1+1 da 3000 W 80 PLUS Titanium CRPS, che offrono prestazioni costanti anche sotto carichi elevati, mantenendo al contempo un'elevata efficienza energetica. Poiché il server è completamente immerso, non è necessario alcun flusso d'aria attivo, con conseguente assenza di rumore della ventola e accumulo di polvere. Questo design non solo semplifica la manutenzione, ma prolunga anche la durata dei componenti e migliora l'affidabilità complessiva.
Hypertec stima che le installazioni immersive dell'iGW610R-G6 possano ridurre del 95% i costi operativi di raffreddamento e aumentare fino al 60% la longevità dell'hardware, con un PUE certificato da un ente indipendente di 1.03. Combinato con il potenziale di riutilizzo energetico derivante dalla cattura fino al 99% del calore di scarto, il sistema dimostra come densità di prestazioni e sostenibilità possano coesistere efficacemente.
Panoramica sulla gestione di TRIDENT iGW610R-G6
Il TRIDENT iGW610R-G6 è basato su una scheda alimentata da un Baseboard Management Controller (BMC) ASPEED AST2600, che offre piena compatibilità IPMI 2.0 con iKVM e supporto per supporti virtuali. Questa piattaforma di gestione out-of-band consente agli amministratori di monitorare, configurare e gestire da remoto il sistema indipendentemente dallo stato del sistema operativo. Queste funzioni sono essenziali per le distribuzioni ad alta densità e con raffreddamento a immersione.
L'interfaccia web è intuitiva e di facile navigazione, con il pannello di sinistra che offre un rapido accesso alle sezioni Dashboard, Informazioni di sistema, Sensori, Registri e report e Controllo alimentazione. Ogni area offre una visibilità dettagliata sullo stato del sistema, sui dati dei sensori, sui livelli del firmware e sugli stati di alimentazione. La dashboard visualizza a colpo d'occhio i tempi di attività, i registri di accesso e le informazioni sui componenti, offrendo una panoramica chiara dello stato del sistema senza richiedere software aggiuntivo.
Quando si opera in un ambiente immersivo, queste funzionalità remote sono particolarmente preziose. Invece di inserire fisicamente supporti o periferiche nel serbatoio dell'olio, gli amministratori possono distribuire sistemi operativi, montare immagini ed eseguire aggiornamenti tramite supporti virtuali. Ciò riduce i tempi di manutenzione e mantiene le operazioni hardware immerse pulite, efficienti e sicure.
Panoramica del sistema di dashboard
La dashboard principale mostra le ore di accensione, le versioni del firmware, i dettagli di rete e lo stato della GPU. Funge da pannello di controllo centrale per la piattaforma TRIDENT, con il BMC che fornisce dati di telemetria su temperatura, tensione e sensori, accessibili tramite comandi IPMI o strumenti di monitoraggio SNMP.
Inventario del processore
La pagina Processore elenca ogni socket, inclusi modello, numero di core e stato. Questa unità è dotata di due processori Intel Xeon Gold 6530. Ogni processore dispone di 32 core, utilizza l'architettura x86, è installato nei socket CPU1 e CPU2 ed è abilitato. La pagina riporta una velocità massima di 4,000 MHz e conferma l'architettura e la famiglia, facilitando la verifica che entrambe le CPU siano presenti, funzionanti ed eseguano il microcodice previsto.
Inventario del controller di memoria
La pagina Memory Controller mostra tutti i moduli DIMM, inclusi capacità, fornitori, numeri di serie, codici prodotto, stati e velocità operative. Nella nostra configurazione, ogni slot è popolato con moduli RDIMM DDR5 Micron da 32,768 MiB (codice prodotto MTC20F1045S1RC48BA22), abilitati e funzionanti a 4400 MHz, con una frequenza massima consentita di 4800 MHz. La visualizzazione tabella semplifica i controlli di popolamento dei canali e aiuta a confermare tempi uniformi su tutti i banchi.
Inventario di magazzino
La scheda Storage mostra le unità e i controller connessi. Nel nostro sistema, possiamo vedere che le nostre unità SSD Solidigm D5-P5430 E1.S NVMe sono utilizzate per l'archiviazione primaria, mentre le unità Samsung 990 Pro M.2 da 1 TB gestiscono il sistema operativo. Vengono visualizzati la revisione del firmware, la velocità dell'interfaccia e lo stato di crittografia di ciascuna unità, semplificando la verifica del sottosistema di archiviazione senza dover aprire lo chassis.
Prestazioni termiche TRIDENT iGW610R-G6
Il comportamento termico gioca un ruolo cruciale nell'affidabilità del sistema a lungo termine e l'Hypertec Trident iGW610R-G6 è stato progettato pensando al funzionamento in immersione. Anziché affidarsi al movimento dell'aria sui dissipatori di calore per rimuovere l'energia dai componenti ad alta densità, il Trident funziona completamente immerso in un liquido dielettrico che conduce il calore direttamente dall'hardware a un circuito di raffreddamento gestito. Questo design elimina i rischi meccanici comunemente associati ai sistemi raffreddati ad aria, come guasti alle ventole, contaminazione da polvere ed esposizione all'umidità. Isolando l'elettronica dall'aria e introducendo un percorso termico continuo attraverso il liquido, il sistema mantiene un ambiente termico altamente controllato e costante.
Durante i test, il Trident iGW610R-G6 è stato utilizzato all'interno di un serbatoio Submer SmartPod Exo configurato per il raffreddamento a immersione monofase. In questa configurazione, il fluido dielettrico circola continuamente attraverso lo chassis, assorbendo il calore da CPU, GPU e unità NVMe prima di passare attraverso gli scambiatori di calore integrati. Il calore catturato viene quindi trasferito nel circuito di acqua refrigerata della struttura, che lo trasporta all'infrastruttura di smaltimento del calore dell'edificio. Questo design a circuito chiuso mantiene temperature stabili in tutto il rack, garantendo un flusso uniforme del refrigerante e prevenendo i punti caldi che spesso si verificano nelle configurazioni di elaborazione ad alta densità.
Il fluido circolante funge da serbatoio termico con un'elevata capacità termica specifica. Al variare del carico termico, il liquido assorbe e ridistribuisce l'energia in modo uniforme all'interno del serbatoio. Ciò riduce al minimo i gradienti di temperatura e previene le fluttuazioni a livello di componente, comuni nei data center raffreddati ad aria. Negli ambienti tradizionali, le variazioni di temperatura ambiente o di velocità delle ventole possono causare oscillazioni di diversi gradi sui componenti sensibili. Nel tempo, questi cicli creano stress fisico nei giunti di saldatura e nei substrati. Nell'immersione, questo effetto viene quasi eliminato, riducendo l'affaticamento meccanico e prolungando la durata dell'hardware.
Per misurare il comportamento termico sotto carichi di lavoro elevati, il Trident iGW610R-G6 è stato sottoposto a stress su tutti i principali sottosistemi. La tecnologia FIO è stata utilizzata per applicare una pressione I/O continua a ciascun SSD, mentre sono stati eseguiti test di stress su GPU e CPU per portare i rispettivi componenti al 100%. Durante l'esecuzione, le temperature dei componenti sono state registrate per diverse ore per valutarne le caratteristiche di equilibrio e di fluttuazione.
I risultati sono stati estremamente costanti. La CPU si è stabilizzata a circa 52 °C, circa 13.7 °C in più rispetto al valore di inattività. La GPU ha raggiunto un picco di circa 58 °C, con un aumento di 21.1 °C. Ciascuno dei quattro SSD Solidigm NVMe ha seguito andamenti simili, mantenendo un intervallo di temperatura compreso tra 29 °C e 30 °C sotto carico, con delta compresi tra 8.8 °C e 9.2 °C. Una volta raggiunto l'equilibrio, le temperature sono rimaste stabili per tutta la durata del test con variazioni minime, a indicare una distribuzione uniforme del fluido e un'efficace estrazione del calore attraverso il circuito di raffreddamento.
I dati delle serie temporali confermano queste prestazioni. Dopo una fase iniziale di riscaldamento, tutti i sensori mostrano linee di temperatura stabili, pressoché orizzontali. Non si verificano grandi oscillazioni o derive termiche, a indicare che il raffreddamento a immersione mantiene una temperatura costante e che il circuito ad acqua refrigerata dissipa efficacemente il calore dal serbatoio. Il profilo termico del Trident è rimasto notevolmente prevedibile anche in condizioni di funzionamento prolungato a pieno carico.
Dal punto di vista dell'affidabilità, questa stabilità offre vantaggi significativi. L'assenza di ventole riduce la manutenzione delle parti mobili, mentre l'ambiente sigillato impedisce l'ingresso di polvere e l'ossidazione dei connettori. Nel tempo, queste caratteristiche si traducono in tassi di guasto inferiori e un miglioramento del tempo medio tra gli interventi di manutenzione. La combinazione della piattaforma Trident iGW610R-G6 e dell'ambiente SmartPod Exo monofase di Submer offre una soluzione di raffreddamento ripetibile e resiliente, che si adatta bene alle installazioni ad alta densità.
Nel complesso, i dati termici raccolti dal Trident iGW610R-G6 illustrano come il raffreddamento a immersione con circolazione attiva del liquido offra non solo una gestione del calore superiore, ma anche un vantaggio misurabile in termini di affidabilità. Mantenendo costanti le temperature dei componenti ed eliminando le dipendenze ambientali, il sistema opera entro limiti ottimali indipendentemente dal carico di lavoro o dalla durata, rendendolo ideale per carichi di lavoro di elaborazione e storage ad alta disponibilità.
Perché le organizzazioni scelgono l'immersione
Il raffreddamento a immersione non è più una sperimentazione. Le organizzazioni che realizzano ambienti AI e HPC su larga scala lo stanno implementando oggi per ottenere prestazioni termiche stabili, una maggiore densità di rack e un utilizzo più efficiente delle risorse energetiche e di struttura. Gli esempi seguenti illustrano come le piattaforme basate su sistemi a immersione vengano adottate in ambienti di produzione su larga scala.
ADACEN
ADACEN ha scelto un'infrastruttura nata per l'immersione per supportare l'espansione della sua piattaforma AI e HPC-as-a-service, consentendo all'organizzazione di eseguire configurazioni GPU dense, semplificando al contempo i requisiti di raffreddamento della struttura e migliorando l'efficienza operativa a lungo termine.
"Collaboriamo con Hypertec perché la loro tecnologia basata su sistemi immersivi ci offre un vantaggio operativo e di sostenibilità che il raffreddamento ad aria o a liquido diretto sul chip semplicemente non può offrire. Le loro piattaforme immersive completamente progettate ci consentono di implementare risorse CPU e GPU ad alta densità, ridurre l'energia di raffreddamento di oltre il 90% ed eliminare i punti di guasto meccanici. I sistemi Hypertec ci consentono di scalare in modo efficiente i nostri carichi di lavoro AI/HPC as-a-service, rispettando al contempo i nostri obiettivi prestazionali ed ESG: ecco perché sono una parte fondamentale della nostra strategia AI." – Bernard Westwood, Direttore delle Revenue Operations, ADACEN.
ADACEN rappresenta un modello di implementazione ad alta densità in infrastrutture ospitate. Gli ambienti di elaborazione dati per la ricerca mostrano driver e risultati simili.
Università di Waterloo
L'Università di Waterloo sta distribuendo 700 nodi in nove vasche di immersione per supportare l'informatica di ricerca di nuova generazione. Il passaggio all'immersione consente cluster di GPU ad alta densità con comportamento termico costante e ridotta complessità della struttura.
"Con Nibi, abbiamo scelto il raffreddamento a immersione perché offre efficienza e affidabilità eccezionali, semplificando al contempo la progettazione del nostro data center. I server Hypertec, nati per l'immersione, hanno semplificato l'implementazione di sistemi di elaborazione ad alta densità senza la complessità dei tradizionali sistemi di raffreddamento ad aria o a liquido. Questo approccio migliora le prestazioni e la stabilità e supporta il nostro obiettivo di creare un ambiente HPC altamente sostenibile ed efficiente dal punto di vista energetico." – John Morton, Direttore Tecnologico di SHARCNET, Università di Waterloo.
Queste implementazioni dimostrano che l'immersione è già utilizzata per fornire prestazioni prevedibili su larga scala e rappresentano solo due delle numerose organizzazioni che adottano questo approccio.
Conclusione
La nostra valutazione dell'Hypertec Trident iGW610R-G6 ha rivelato che il raffreddamento a immersione produce miglioramenti prestazionali costanti per configurazioni di GPU e storage ad alta densità. In presenza di carichi di lavoro sostenuti, il sistema ha mantenuto delta di temperatura ridotti e stabili, senza derive o oscillazioni termiche. CPU e GPU hanno mantenuto punti operativi costanti sotto carico e le unità Solidigm E1.S hanno fornito un throughput I/O costante con solo minime variazioni di temperatura. Questo livello di uniformità termica riduce direttamente lo stress sui componenti e minimizza le condizioni che tipicamente ne causano l'usura prematura.
Questi risultati sono in linea con quanto riportato dai grandi operatori negli ambienti di produzione. ADACEN segnala una riduzione misurabile del tasso di guasto annualizzato (AFR) nelle installazioni a immersione, grazie alla riduzione dei cicli termici e all'eliminazione delle vibrazioni delle ventole e dell'esposizione al particolato. Il risultato è una maggiore affidabilità nel tempo, una riduzione della frequenza di manutenzione e una maggiore continuità del servizio su larga scala.
L'implementazione di 700 nodi in nove vasche di immersione da parte dell'Università di Waterloo rafforza ulteriormente l'adozione del raffreddamento a immersione come strategia pratica per la creazione e l'espansione di cluster di elaborazione ad alta densità. L'efficienza operativa, la stabilità delle prestazioni e i requisiti semplificati della struttura lo rendono ideale per le organizzazioni che pianificano di gestire carichi di lavoro di intelligenza artificiale e HPC su larga scala.
Il raffreddamento a immersione offre già prestazioni stabili ed efficienza operativa negli ambienti di produzione. Con il continuo aumento della densità di elaborazione e del consumo energetico, le piattaforme immersive come Trident iGW610R-G6 offrono una soluzione pratica e sostenibile per implementazioni AI e HPC su larga scala.
Questo rapporto è sponsorizzato da Solidigm. Tutti i pareri e le opinioni espressi in questo rapporto si basano sulla nostra visione imparziale dei prodotti in esame.
Amazon