I takt med att AI- och HPC-arbetsbelastningar fortsätter att skalas upp, ökar även deras behov av effekt och kylning. Moderna GPU:er, inklusive NVIDIAs RTX PRO 6000 Blackwell Server Edition, kan dra upp till 600 W, vilket innebär en enorm termisk belastning på traditionell datacenterinfrastruktur. Även om luftkylda servrar kan hantera dessa GPU:er är det en helt annan sak att upprätthålla stabil prestanda vid denna densitetsnivå. Kostnaden för att flytta luft genom rack fyllda med högeffekts-GPU:er stiger brant, särskilt i regioner med höga elpriser, såsom norra Europa, nordöstra USA och delar av Asien-Stillahavsområdet. På dessa marknader ger immersionskylning en mätbar operativ och ekonomisk fördel.
Hypertecs Trident iGW610R-G6-server designades med denna verklighet i åtanke. Till skillnad från eftermonterade servrar som anpassar luftkylda designer till flytande miljöer, är Trident-familjen av servrar nedsänkt i vatten, konstruerad från sin första PCB-layout för att fungera i dielektrisk vätska. Denna nya 1U Hypertec-plattform stöder upp till fyra GPU:er i full längd och längd i en 21-tums OCP-layout, vilket skapar en balans mellan beräkningstäthet och stabilt termiskt beteende.
Vi utvärderade Trident iGW610R-G6 i Hypertecs laboratorium i Montreal, och utförde först fjärrtester innan vi gick ut på plats för att registrera och observera systemet i aktion. Konfigurationen som testades bestod av en enda NVIDIA H100 GPU och Solidigm SSD-diskar, som arbetade i en Submer-immersionstank fylld med Castrol dielektrisk vätska. Trots långvariga arbetsbelastningar bibehöll Trident en anmärkningsvärt stabil temperaturprofil, med komponentdelta som höll sig inom ett smalt intervall. Denna konsekvens minskar avsevärt termiska cykler, vilket är grundorsaken till många långsiktiga tillförlitlighetsproblem i högpresterande system.
Fördelarna med immersion sträcker sig bortom temperaturkontroll. Med stabila termiska förhållanden kan GPU:er bibehålla maximala boost-klockfrekvenser utan strypning, processorer arbetar med lägre variabilitet och lagringsenheter levererar konsekvent I/O-genomströmning. Denna enhetlighet leder till större tillförlitlighet, förutsägbar prestanda och effektivare energianvändning per rackenhet – viktiga resultat för organisationer som bygger storskaliga AI- och HPC-miljöer.
Denna utvärdering bygger på vårt tidigare samarbete med Hypertec, som beskrivs i detalj i * Edge AI Anywhere: This Immersion-Cooled Mobile Data Center Makes It Possible* . Det projektet visade på potentialen för mobil AI-infrastruktur vid kanten genom immersion. Här flyttas fokus till distribution av fasta datacenter, vilket demonstrerar hur Trident iGW610R-G6 och dess omgivande ekosystem från Submer och Castrol levererar praktisk effektivitet i rackskala för tät GPU-beräkning.
TRIDENT iGW610R-G6 Design och konstruktion
TRIDENT iGW610R-G6 har en tydligt annorlunda strategi än konventionella luftkylda rackservrar. Vid första anblicken kommer du att märka att den saknar ett traditionellt topplock, vilket lämnar huvudkomponenterna helt exponerade för den immersiva vätskan. Denna öppna chassidesign maximerar ytkontakten för effektiv värmeöverföring inom den dielektriska vätskan, vilket eliminerar behovet av interna fläktar eller luftkanaler. Varje aspekt av systemet är konstruerat för enfasig immersionskylning, där termisk energi absorberas jämnt och transporteras bort av den omgivande vätskan snarare än luftflödet. Resultatet är en tyst, vibrationsfri plattform optimerad för täta, högpresterande datormiljöer.
Fysiskt sett behåller chassit en 1U-formfaktor, med måtten 89 × 59 × 4,2 cm och en vikt på cirka 32.6 kg när det är fullt lastad. Trots sin låga profil är layouten anmärkningsvärt användbar, med fyra E1.S NVMe-fack som är åtkomliga från framsidan och lättåtkomliga PCIe-kortplatser placerade för snabba komponentbyten inuti tanken. Designen integreras direkt med ledande system för immersionstankar, vilket ger plug-and-play-kompatibilitet utan specialiserade hårdvarukapslingar eller luftflödeskontroller.
Vår testenhet konfigurerades med dubbla Intel Xeon 6530-processorer, vardera med 32 kärnor och 160 MB cache, med en TDP på upp till 350 watt per sockel. Kylningen hanteras av specialanpassade, nedsänkningsoptimerade kylflänsar i solid koppar med indiumfolie som gränssnittsmaterial, vilket säkerställer effektiv värmeöverföring till vätskan. CPU-komplexet är parat med 32 DDR5 RDIMM-moduler (vardera med 32 GB kapacitet) som körs med 4800 MT/s, vilket ger gott om bandbredd för AI-, HPC- och dataanalysarbetsbelastningar.
Lagringskonfigurationen är en viktig styrka i den här versionen. Förutom två 1TB M.2 NVMe SSD-diskar för operativsystemet, innehåller systemet fyra Solidigm D5-P5430 E1.S 7.68TB-diskar som primär datanivå. Dessa EDSFF-diskar levererar både hög densitet och imponerande effektivitet, och utnyttjar PCIe 4.0-prestanda i ett kompakt format. E1.S-formfaktorn är idealisk för immersiva miljöer, där framåtriktade diskbrickor möjliggör verktygslösa byten utan att tömma eller lyfta chassit. Solidigm-diskarna bidrar också till serverns övergripande balans mellan hastighet, uthållighet och termisk effektivitet, vilket gör dem väl lämpade för AI-modelllagring, datastaging och högkapacitets inferenspipelines.
Systemet stöder upp till fyra acceleratorer med dubbel bredd, vilket gör det möjligt för användare att skala beräkningstätheten efter behov. Nätverk möjliggörs av en 10GBase-T OCP 3.0-modul med dubbla portar som stöder 1GbE, vilket säkerställer bred kompatibilitet med befintliga datacenterstrukturer.
Strömförsörjningen sker via 1+1 redundanta 3000W 80 PLUS Titanium CRPS-nätaggregat, vilket ger konsekvent prestanda under tunga belastningar samtidigt som hög energieffektivitet bibehålls. Eftersom servern är helt nedsänkt krävs inget aktivt luftflöde, vilket resulterar i noll fläktljud och ingen dammansamling. Denna design förenklar inte bara underhållet utan förlänger även komponenternas livslängd och förbättrar den totala tillförlitligheten.
Hypertec uppskattar att immersionsinstallationer av iGW610R-G6 kan uppnå en minskning av kylningskostnaderna med 95 % och en ökning av hårdvarans livslängd med upp till 60 %, med en oberoende certifierad PUE på 1.03. Kombinerat med potentialen för energiåteranvändning att fånga upp till 99 procent av spillvärmen, visar systemet hur prestandatäthet och hållbarhet kan samexistera effektivt.
Översikt över hantering av TRIDENT iGW610R-G6
TRIDENT iGW610R-G6 är byggd på ett kort som drivs av en ASPEED AST2600 Baseboard Management Controller (BMC), vilket ger fullständig IPMI 2.0-kompatibilitet med iKVM och stöd för virtuella medier. Denna out-of-band-hanteringsplattform gör det möjligt för administratörer att övervaka, konfigurera och fjärrhantera systemet oavsett operativsystemets tillstånd. Dessa funktioner är viktiga för driftsättningar med hög densitet och immersionskylning.
Det webbaserade gränssnittet är rent och lättnavigerat, med den vänstra panelen som ger snabb åtkomst till avsnitten Instrumentpanel, Systeminformation, Sensor, Loggar och rapporter samt Strömstyrning. Varje område ger detaljerad insyn i systemhälsa, sensordata, firmwarenivåer och strömstatus. Instrumentpanelen visar drifttid, åtkomstloggar och komponentinformation i ett ögonkast, vilket ger en tydlig översikt över systemstatus utan att ytterligare programvara krävs.
Vid drift i en nedsänkt miljö är dessa fjärrfunktioner särskilt värdefulla. Istället för att fysiskt sätta in media eller kringutrustning i oljetanken kan administratörer distribuera operativsystem, montera avbildningar och utföra uppdateringar via virtuella medier. Detta minskar underhållstiden och håller nedsänkt hårdvarudrift ren, effektiv och säker.
Översikt över instrumentpanelen
Huvudinstrumentpanelen visar starttimmar, firmwareversioner, nätverksinformation och GPU-hälsa. Den fungerar som en central statuspanel för TRIDENT-plattformen, där BMC tillhandahåller temperatur-, spännings- och sensortelemetri åtkomlig via IPMI-kommandon eller SNMP-övervakningsverktyg.
Processorinventering
Processorsidan listar varje sockel, inklusive modell, antal kärnor och status. Den här enheten är utrustad med två Intel Xeon Gold 6530-processorer. Varje processor har 32 kärnor, använder x86-arkitekturen, är installerad i CPU1- och CPU2-socklar och är aktiverad. Sidan rapporterar en maximal hastighet på 4 000 MHz och bekräftar arkitekturen och familjen, vilket gör det enkelt att validera att båda processorerna är installerade, felfria och kör den förväntade mikrokoden.
Minneskontrollerinventering
Sidan Minneskontroller visar alla DIMM-moduler, inklusive deras kapacitet, leverantörer, serienummer, artikelnummer, tillstånd och driftshastigheter. I vår konfiguration är varje kortplats belägen med Micron 32 768 MiB DDR5 RDIMM-moduler (artikelnummer MTC20F1045S1RC48BA22), vilka är aktiverade och arbetar vid 4400 MHz, med en maximalt tillåten frekvens på 4800 MHz. Tabellvyn gör det enkelt att kontrollera kanalpopulationen och hjälper till att bekräfta enhetliga tidpunkter över alla banker.
Lagringsinventering
Fliken Lagring visar anslutna enheter och styrenheter. I vårt system kan vi se våra Solidigm D5-P5430 E1.S NVMe SSD-enheter som används för primär lagring, medan Samsung 990 Pro 1 TB M.2-enheter hanterar operativsystemet. Varje enhets firmware-revision, gränssnittshastighet och krypteringsstatus visas, vilket förenklar verifieringen av lagringsundersystemet utan att öppna chassit.
TRIDENT iGW610R-G6 Termisk prestanda
Termiskt beteende spelar en avgörande roll för systemets långsiktiga tillförlitlighet, och Hypertec Trident iGW610R-G6 konstruerades med nedsänkt drift i åtanke. Istället för att förlita sig på luftrörelse över kylflänsar för att avlägsna energi från komponenter med hög densitet, arbetar Trident helt nedsänkt i en dielektrisk vätska som leder värme direkt från hårdvaran till en kontrollerad kylkrets. Denna design eliminerar de mekaniska risker som vanligtvis är förknippade med luftkylda system, såsom fläktfel, dammkontaminering och fuktexponering. Genom att isolera elektroniken från luften och introducera en kontinuerlig vätskevärmeväg upprätthåller systemet en mycket kontrollerad och jämn termisk miljö.
Under testningen användes Trident iGW610R-G6 inuti en Submer SmartPod Exo-tank konfigurerad för enfasig immersionskylning. I den här installationen cirkulerar den dielektriska vätskan kontinuerligt över chassit och absorberar värme från CPU, GPU och NVMe-enheter innan den passerar genom integrerade värmeväxlare. Den uppfångade värmen överförs sedan till anläggningens kylvattenslinga, som transporterar den bort till byggnadens värmeavledningsinfrastruktur. Denna slutna slingdesign upprätthåller stabila temperaturer över hela racket, vilket säkerställer ett jämnt kylvätskeflöde och förhindrar hotspots som ofta uppstår i täta beräkningskonfigurationer.
Den cirkulerande vätskan fungerar som en termisk reservoar med hög specifik värmekapacitet. När värmebelastningen förändras absorberar vätskan och omfördelar energin jämnt i hela tanken. Detta minimerar temperaturgradienter och förhindrar fluktuationer på komponentnivå som är vanliga i luftkylda datacenter. I traditionella miljöer kan förändringar i rumstemperatur eller fläkthastighet orsaka en svängning på flera grader på känsliga komponenter. Med tiden skapar dessa cykler fysisk stress i lödfogar och substrat. Vid nedsänkning elimineras den effekten nästan helt, vilket minskar mekanisk utmattning och förlänger hårdvarans livslängd.
För att mäta termiskt beteende under tunga arbetsbelastningar belastades Trident iGW610R-G6 över alla större delsystem. FIO användes för att applicera kontinuerligt I/O-tryck på varje SSD, medan GPU- och CPU-stresstester utfördes för att höja respektive komponenter till 100 %. Under hela körningen loggades komponenttemperaturerna under flera timmar för att utvärdera jämvikts- och fluktuationsegenskaper.
Resultaten var mycket konsekventa. CPU:n stabiliserades vid cirka 52 °C, ungefär 13.7 °C över tomgångstemperatur. GPU:n nådde en topptemperatur på runt 58 °C, vilket visade en ökning på 21.1 °C. Var och en av de fyra Solidigm NVMe SSD:erna följde liknande trender och bibehöll ett temperaturintervall på 29 °C till 30 °C under belastning, med delta på 8.8 °C till 9.2 °C. När jämvikt hade uppnåtts förblev temperaturerna oförändrade under hela testet med minimal variation, vilket indikerar jämn vätskefördelning och effektiv värmeutvinning genom anläggningens loop.
Tidsseriedata bekräftar denna prestanda. Efter en initial uppvärmningsfas visar alla sensorer stabila, nästan horisontella temperaturlinjer. Det finns inga stora oscillationer eller termiska drifthändelser, vilket indikerar att nedsänkningskylningen upprätthåller en jämn temperatur och att kylvattenslingan effektivt avleder värme från tanken. Tridents termiska profil förblev anmärkningsvärt förutsägbar även under långvarig full belastning.
Ur ett tillförlitlighetsperspektiv medför denna stabilitet betydande fördelar. Avsaknaden av fläktar minskar underhållet av rörliga delar, medan den förseglade miljön förhindrar dammintrång och oxidation av kontakter. Med tiden leder dessa egenskaper till lägre felfrekvenser och förbättrad medeltid mellan servicehändelser. Kombinationen av Trident iGW610R-G6-plattformen och Submers enfasiga SmartPod Exo-miljö ger en repeterbar och robust kyllösning som skalar väl för täta driftsättningar.
Sammantaget illustrerar de termiska data som samlats in från Trident iGW610R-G6 hur immersionskylning med aktiv vätskecirkulation inte bara ger överlägsen värmehantering utan också en mätbar tillförlitlighetsfördel. Genom att bibehålla jämna komponenttemperaturer och eliminera beroenden i omgivningen fungerar systemet inom optimala gränser oavsett arbetsbelastning eller varaktighet, vilket gör det väl lämpat för högtillgängliga beräknings- och lagringsarbetsbelastningar.
Varför organisationer väljer fördjupning
Immersionskylning är inte längre experimentellt. Organisationer som bygger storskaliga AI- och HPC-miljöer använder det idag för att uppnå stabil termisk prestanda, högre rackdensitet och effektivare användning av ström och anläggningsresurser. Följande exempel illustrerar hur immersionskylning implementeras i produktionsmiljöer i betydande skala.
ADACEN
ADACEN valde immersion-born infrastruktur för att stödja expansionen av sin AI- och HPC-as-a-service-plattform, vilket gör det möjligt för organisationen att köra täta GPU-konfigurationer samtidigt som kylkraven för anläggningen förenklas och den långsiktiga driftseffektiviteten förbättras.
”Vi samarbetar med Hypertec eftersom deras immersionsbaserade teknik ger oss en operativ och hållbarhetsmässig fördel som luftkylning eller direkt-till-chip-vätskekylning helt enkelt inte kan leverera. Deras helt konstruerade immersionsplattformar gör det möjligt för oss att distribuera CPU- och GPU-resurser med högre densitet, minska kylenergin med över 90 % och eliminera mekaniska felpunkter. Hypertecs system gör det möjligt för oss att skala våra AI/HPC as-a-service-arbetsbelastningar effektivt samtidigt som vi uppfyller våra prestanda- och ESG-mål – det är därför de är en central del av vår AI-strategi.” – Bernard Westwood, Director of Revenue Operations, ADACEN.
ADACEN representerar en modell för högdensitetsdistribution i värdbaserad infrastruktur. Forskning inom datormiljöer visar liknande drivkrafter och resultat.
University of Waterloo
University of Waterloo distribuerar 700 noder fördelade på nio immersionstankar för att stödja nästa generations forskningsberäkningar. Övergången till immersionsteknik möjliggör högdensitets-GPU-kluster med konsekvent termiskt beteende och minskad komplexitet i anläggningen.
”Med Nibi valde vi immersionskylning eftersom det erbjuder exceptionell effektivitet och tillförlitlighet samtidigt som det förenklar vår datacenterdesign. Hypertecs immersionskylningsbaserade servrar har gjort det enkelt att driftsätta högdensitetsdatabehandling utan komplexiteten hos traditionella luft- eller vätskekylningssystem. Denna metod förbättrar prestanda och stabilitet och stöder vårt mål att bygga en mycket hållbar och energieffektiv HPC-miljö.” – John Morton, teknikchef på SHARCNET, University of Waterloo.
Dessa implementeringar visar att immersion redan används för att leverera förutsägbar prestanda i stor skala, och de representerar bara två av många organisationer som anammar denna metod.
Slutsats
Vår utvärdering av Hypertec Trident iGW610R-G6 visade att immersionskylning ger konsekventa prestandavinster för täta GPU- och lagringskonfigurationer. Över långvariga arbetsbelastningar bibehöll systemet smala, stabila temperaturdelta utan termisk drift eller oscillation. CPU:er och GPU:er höll konsekventa driftspunkter under belastning, och Solidigm E1.S-diskarna levererade stabil I/O-genomströmning med endast mindre temperaturvariationer. Denna nivå av termisk konsistens minskar direkt belastningen på komponenter och minimerar de förhållanden som vanligtvis leder till för tidigt slitage.
Dessa resultat överensstämmer med vad stora operatörer rapporterar i produktionsmiljöer. ADACEN rapporterar en mätbar minskning av den årliga felfrekvensen (AFR) vid immersionsinstallationer, driven av minskad termisk cykling och eliminering av fläktvibrationer och partikelexponering. Resultatet är förbättrad tillförlitlighet över tid, minskad underhållsfrekvens och större servicekontinuitet i stor skala.
University of Waterloos utplacering av 700 noder fördelade på nio immersionstankar förstärker ytterligare att immersionskylning används som en praktisk strategi för att bygga och expandera högdensitetsberäkningskluster. Den operativa effektiviteten, prestandastabiliteten och de förenklade anläggningskraven gör det väl lämpat för organisationer som planerar att köra AI- och HPC-arbetsbelastningar i stor skala.
Immersionskylning ger redan stabil prestanda och driftseffektivitet i produktionsmiljöer. I takt med att beräkningstätheten och strömförbrukningen fortsätter att öka, erbjuder immersionskylningsbaserade plattformar som Trident iGW610R-G6 en praktisk och hållbar väg framåt för storskaliga AI- och HPC-implementeringar.
Denna rapport är sponsrad av Solidigm. Alla åsikter och åsikter som uttrycks i denna rapport är baserade på vår opartiska syn på produkten/de produkter som övervägs.
Amazon