Naarmate AI- en HPC-workloads blijven toenemen, nemen ook hun stroom- en koelingsbehoeften toe. Moderne GPU's, waaronder NVIDIA's RTX PRO 6000 Blackwell Server Edition, kunnen tot 600 W verbruiken, wat een enorme thermische belasting vormt voor traditionele datacenterinfrastructuur. Hoewel luchtgekoelde servers deze GPU's aankunnen, is het handhaven van stabiele prestaties bij deze dichtheid een heel ander verhaal. De kosten voor het verplaatsen van lucht door racks vol GPU's met een hoog wattage stijgen sterk, vooral in regio's met hoge elektriciteitstarieven, zoals Noord-Europa, het noordoosten van de VS en delen van Azië-Pacific. In deze markten levert immersiekoeling een meetbaar operationeel en economisch voordeel op.
De Trident iGW610R-G6-server van Hypertec is ontworpen met deze realiteit in gedachten. In tegenstelling tot retrofit-servers die luchtgekoelde ontwerpen aanpassen aan vloeibare omgevingen, is de Trident-serverfamilie immersiebestendig en ontworpen vanuit de eerste PCB-layout om te werken in diëlektrische vloeistof. Dit nieuwe 1U Hypertec-platform ondersteunt tot vier full-height, full-length GPU's in een 21-inch OCP-layout, waarmee een balans wordt gevonden tussen rekenkracht en stabiel thermisch gedrag.
We hebben de Trident iGW610R-G6 geëvalueerd in het laboratorium van Hypertec in Montreal. Eerst voerden we tests op afstand uit, voordat we naar de locatie gingen om het systeem in actie te registreren en te observeren. De geteste configuratie bestond uit één NVIDIA H100 GPU en Solidigm SSD's, die werkten in een Submer-immersietank gevuld met Castrol-diëlektrische vloeistof. Bij langdurige belasting behield de Trident een opmerkelijk stabiel temperatuurprofiel, met componentdelta's die binnen een nauw bereik bleven. Deze consistentie vermindert thermische cycli aanzienlijk, de hoofdoorzaak van veel betrouwbaarheidsproblemen op de lange termijn in high-performance systemen.
De voordelen van immersie gaan verder dan temperatuurbeheersing. Met stabiele thermische omstandigheden kunnen GPU's piekklokken handhaven zonder throttling, werken CPU's met minder variabiliteit en leveren opslagapparaten een consistente I/O-doorvoer. Deze uniformiteit vertaalt zich in een hogere betrouwbaarheid, voorspelbare prestaties en een efficiënter energieverbruik per rackunit – belangrijke resultaten voor organisaties die grootschalige AI- en HPC-omgevingen bouwen.
Deze evaluatie bouwt voort op onze eerdere samenwerking met Hypertec, beschreven in Edge AI Anywhere: This Immersion-Cooled Mobile Data Center Makes It Possible . Dat project toonde de mogelijkheden van mobiele AI-infrastructuur aan de edge door middel van immersie. Hier verschuift de focus naar implementatie in vaste datacenters, waarbij wordt aangetoond hoe de Trident iGW610R-G6 en het bijbehorende ecosysteem van Submer en Castrol praktische efficiëntie op rackschaal leveren voor dichte GPU-computing.
TRIDENT iGW610R-G6 ontwerp en bouw
De TRIDENT iGW610R-G6 hanteert een duidelijk andere aanpak dan conventionele luchtgekoelde rackservers. Op het eerste gezicht ziet u dat de traditionele bovenklep ontbreekt, waardoor de belangrijkste componenten volledig blootgesteld zijn aan de immersievloeistof. Dit open chassisontwerp maximaliseert het contactoppervlak voor efficiënte warmteoverdracht binnen de diëlektrische vloeistof, waardoor interne ventilatoren of luchtkanalen overbodig zijn. Elk aspect van het systeem is ontworpen voor eenfase immersiekoeling, waarbij thermische energie gelijkmatig wordt geabsorbeerd en afgevoerd door de omringende vloeistof in plaats van door de luchtstroom. Het resultaat is een stil, trillingsvrij platform dat is geoptimaliseerd voor compacte, krachtige computeromgevingen.
Fysiek behoudt de behuizing een 1U-vormfactor, met afmetingen van 33.46 x 21.06 x 1.75 cm en een gewicht van ongeveer 32.6 kilogram (72 pond) wanneer volledig geladen. Ondanks het lage profiel is de lay-out opmerkelijk onderhoudsvriendelijk, met vier aan de voorzijde toegankelijke E1.S NVMe-bays en gemakkelijk bereikbare PCIe-slots voor snelle componentwissels in de tank. Het ontwerp integreert direct met toonaangevende immersietanksystemen en biedt plug-and-play-compatibiliteit zonder speciale hardwarebehuizingen of luchtstroomregelingen.
Onze testunit was uitgerust met twee Intel Xeon 6530-processors, elk met 32 cores en 160 MB cache, met een TDP tot 350 watt per socket. De koeling wordt verzorgd door speciaal ontworpen, voor immersie geoptimaliseerde, massieve koperen koellichamen met een thermische interface van indiumfolie, wat zorgt voor een efficiënte warmteoverdracht naar de vloeistof. Het CPU-complex is gekoppeld aan 32 DDR5 RDIMM-modules (elk met een capaciteit van 32 GB) met een snelheid van 4800 MT/s, wat voldoende bandbreedte biedt voor AI-, HPC- en data-analyseworkloads.
De opslagconfiguratie is een belangrijke troef in deze build. Naast twee 1TB M.2 NVMe SSD's voor het besturingssysteem, bevat het systeem vier Solidigm D5-P5430 E1.S 7.68TB-schijven als primaire datalaag. Deze EDSFF-schijven bieden zowel een hoge dichtheid als indrukwekkende efficiëntie, met PCIe 4.0-prestaties in een compacte behuizing. De E1.S-vormfactor is ideaal voor immersieomgevingen, waar schijflades met onderhoud aan de voorzijde gereedschapsloos verwisselen mogelijk maken zonder de behuizing leeg te laten lopen of op te tillen. De Solidigm-schijven dragen ook bij aan de algehele balans tussen snelheid, duurzaamheid en thermische efficiëntie van de server, waardoor ze uitermate geschikt zijn voor AI-modelopslag, datastaging en high-throughput inference pipelines.
Het systeem ondersteunt maximaal vier accelerators met dubbele breedte, waardoor gebruikers de rekendichtheid naar behoefte kunnen schalen. Netwerkfunctionaliteit wordt mogelijk gemaakt door een dual-port 10GBase-T OCP 3.0-module die 1GbE ondersteunt, wat zorgt voor brede compatibiliteit met bestaande datacenter-fabrics.
De stroomvoorziening wordt verzorgd door 1+1 redundante 3000W 80 PLUS Titanium CRPS-voedingen, die consistente prestaties leveren onder zware belasting en tegelijkertijd een hoge energie-efficiëntie behouden. Omdat de server volledig ondergedompeld is, is er geen actieve luchtstroom nodig, wat resulteert in geen ventilatorgeluid en geen stofophoping. Dit ontwerp vereenvoudigt niet alleen het onderhoud, maar verlengt ook de levensduur van de componenten en verbetert de algehele betrouwbaarheid.
Hypertec schat dat immersie-implementaties van de iGW610R-G6 een verlaging van de koelkosten met 95% en een tot 60% langere levensduur van de hardware kunnen opleveren, met een onafhankelijk gecertificeerde PUE van 1.03. Gecombineerd met het potentieel voor energiehergebruik door tot 99 procent van de restwarmte op te vangen, laat het systeem zien hoe prestatiedichtheid en duurzaamheid effectief samen kunnen gaan.
TRIDENT iGW610R-G6 Beheeroverzicht
De TRIDENT iGW610R-G6 is gebouwd op een printplaat met een ASPEED AST2600 Baseboard Management Controller (BMC), die volledige IPMI 2.0-compatibiliteit biedt met iKVM en ondersteuning voor virtuele media. Dit out-of-band beheerplatform stelt beheerders in staat om het systeem te bewaken, configureren en op afstand te beheren, ongeacht de status van het besturingssysteem. Deze functies zijn essentieel voor implementaties met hoge dichtheid en immersiekoeling.
De webinterface is overzichtelijk en gebruiksvriendelijk. Het linkerpaneel biedt snelle toegang tot de secties Dashboard, Systeeminformatie, Sensor, Logs en Rapporten, en Power Control. Elk onderdeel biedt gedetailleerd inzicht in de systeemstatus, sensorgegevens, firmwareniveaus en energiestatussen. Het dashboard geeft uptime, toegangslogs en componentinformatie in één oogopslag weer, waardoor u een duidelijk overzicht krijgt van de systeemstatus zonder dat u extra software nodig hebt.
Deze mogelijkheden op afstand zijn vooral waardevol bij gebruik in een immersieomgeving. In plaats van media of randapparatuur fysiek in de olietank te plaatsen, kunnen beheerders besturingssystemen implementeren, images koppelen en updates uitvoeren via virtuele media. Dit verkort de onderhoudstijd en zorgt ervoor dat de hardware in een immersieomgeving schoon, efficiënt en veilig blijft.
Overzicht van het dashboardsysteem
Het hoofddashboard toont de ingeschakelde uren, firmwareversies, netwerkgegevens en GPU-status. Het dient als een centraal statuspaneel voor het TRIDENT-platform, waarbij de BMC temperatuur-, spannings- en sensortelemetriegegevens biedt die toegankelijk zijn via IPMI-opdrachten of SNMP-monitoringtools.
Processorinventaris
De processorpagina vermeldt elke socket, inclusief het model, het aantal cores en de status. Deze unit is uitgerust met twee Intel Xeon Gold 6530-processors. Elke processor heeft 32 cores, maakt gebruik van de x86-architectuur, is geïnstalleerd in CPU1- en CPU2-sockets en is ingeschakeld. De pagina meldt een maximale snelheid van 4,000 MHz en bevestigt de architectuur en de processorfamilie, waardoor het eenvoudig is om te valideren dat beide CPU's aanwezig zijn, in goede staat zijn en de verwachte microcode uitvoeren.
Geheugencontrollerinventaris
De pagina Geheugencontroller toont alle DIMM's, inclusief hun capaciteit, leveranciers, serienummers, onderdeelnummers, statussen en bedrijfssnelheden. In onze configuratie is elke sleuf gevuld met Micron 32,768 MiB DDR5 RDIMM's (onderdeelnummer MTC20F1045S1RC48BA22), die ingeschakeld zijn en werken op 4400 MHz, met een maximaal toegestane frequentie van 4800 MHz. De tabelweergave maakt het controleren van de kanaalbezetting eenvoudig en helpt bij het bevestigen van uniforme timings in alle banken.
Opslaginventaris
Het tabblad Opslag geeft de aangesloten schijven en controllers weer. In ons systeem zien we dat onze Solidigm D5-P5430 E1.S NVMe SSD's worden gebruikt voor primaire opslag, terwijl Samsung 990 Pro 1 TB M.2-schijven het besturingssysteem beheren. De firmwareversie, interfacesnelheid en encryptiestatus van elke schijf worden weergegeven, waardoor verificatie van het opslagsubsysteem eenvoudiger wordt zonder de behuizing te openen.
TRIDENT iGW610R-G6 thermische prestaties
Thermisch gedrag speelt een cruciale rol in de betrouwbaarheid van het systeem op de lange termijn. De Hypertec Trident iGW610R-G6 is ontworpen met het oog op immersie. In plaats van te vertrouwen op luchtverplaatsing over koellichamen om energie uit componenten met een hoge dichtheid te verwijderen, werkt de Trident volledig ondergedompeld in een diëlektrische vloeistof die warmte rechtstreeks van de hardware naar een gecontroleerd koelcircuit geleidt. Dit ontwerp elimineert de mechanische risico's die vaak gepaard gaan met luchtgekoelde systemen, zoals ventilatorstoringen, stofverontreiniging en blootstelling aan vocht. Door de elektronica te isoleren van de lucht en een continu vloeistofwarmtepad te introduceren, handhaaft het systeem een zeer gecontroleerde en consistente thermische omgeving.
Tijdens de test werkte de Trident iGW610R-G6 in een Submer SmartPod Exo-tank, geconfigureerd voor eenfase immersiekoeling. In deze opstelling circuleert de diëlektrische vloeistof continu door de behuizing en absorbeert warmte van de CPU, GPU en NVMe-schijven voordat deze door geïntegreerde warmtewisselaars stroomt. De opgevangen warmte wordt vervolgens overgebracht naar het koelwatercircuit van de faciliteit, dat het vervolgens afvoert naar de warmteafvoerinfrastructuur van het gebouw. Dit gesloten ontwerp handhaaft stabiele temperaturen in het rack, zorgt voor een gelijkmatige koelmiddelstroom en voorkomt hotspots die vaak voorkomen in dichte computerconfiguraties.
De circulerende vloeistof fungeert als een thermisch reservoir met een hoge specifieke warmtecapaciteit. Naarmate de warmtebelasting verandert, absorbeert en verdeelt de vloeistof energie gelijkmatig over de tank. Dit minimaliseert temperatuurgradiënten en voorkomt schommelingen op componentniveau die veel voorkomen in luchtgekoelde datacenters. In traditionele omgevingen kunnen veranderingen in kamertemperatuur of ventilatorsnelheid een temperatuurschommeling van enkele graden veroorzaken bij gevoelige componenten. Na verloop van tijd veroorzaken deze cycli fysieke spanning in soldeerverbindingen en substraten. Bij onderdompeling wordt dit effect vrijwel geëlimineerd, waardoor mechanische vermoeidheid wordt verminderd en de levensduur van de hardware wordt verlengd.
Om het thermisch gedrag onder zware belasting te meten, werden alle belangrijke subsystemen van de Trident iGW610R-G6 belast. FIO werd gebruikt om continue I/O-druk op elke SSD uit te oefenen, terwijl GPU- en CPU-stresstests werden uitgevoerd om de betreffende componenten tot 100% te belasten. Gedurende de run werden de componenttemperaturen gedurende meerdere uren geregistreerd om de evenwichts- en fluctuatiekarakteristieken te evalueren.
De resultaten waren zeer consistent. De CPU stabiliseerde op ongeveer 52 °C, ongeveer 13.7 °C boven inactief. De GPU piekte rond de 58 °C, met een stijging van 21.1 °C. Elk van de vier Solidigm NVMe SSD's volgde een vergelijkbare trend en handhaafde een temperatuurbereik van 29 °C tot 30 °C onder belasting, met delta's van 8.8 °C tot 9.2 °C. Nadat het evenwicht was bereikt, bleven de temperaturen gedurende de test stabiel met minimale variatie, wat wijst op een gelijkmatige vloeistofverdeling en effectieve warmteafvoer door de kringloop van de installatie.
De tijdreeksgegevens bevestigen deze prestatie. Na een eerste opwarmfase vertonen alle sensoren stabiele, vrijwel horizontale temperatuurlijnen. Er zijn geen grote oscillaties of thermische driftgebeurtenissen, wat erop wijst dat immersiekoeling een constante temperatuur handhaaft en dat de koelwaterkringloop de warmte efficiënt uit de tank afvoert. Het thermische profiel van de Trident bleef opmerkelijk voorspelbaar, zelfs bij aanhoudende werking op volle belasting.
Vanuit betrouwbaarheidsperspectief biedt deze stabiliteit aanzienlijke voordelen. De afwezigheid van ventilatoren vermindert het onderhoud aan bewegende onderdelen, terwijl de afgesloten omgeving het binnendringen van stof en oxidatie van connectoren voorkomt. Na verloop van tijd vertalen deze eigenschappen zich in lagere uitvalpercentages en een kortere gemiddelde tijd tussen onderhoudsbeurten. De combinatie van het Trident iGW610R-G6-platform en Submers eenfase SmartPod Exo-omgeving biedt een herhaalbare en veerkrachtige koeloplossing die goed schaalbaar is voor compacte installaties.
Over het geheel genomen illustreren de thermische gegevens van de Trident iGW610R-G6 hoe immersiekoeling met actieve vloeistofcirculatie niet alleen een superieur warmtebeheer oplevert, maar ook een meetbaar betrouwbaarheidsvoordeel. Door consistente componenttemperaturen te handhaven en omgevingsafhankelijkheden te elimineren, werkt het systeem binnen optimale grenzen, ongeacht de werklast of duur, waardoor het zeer geschikt is voor reken- en opslagworkloads met hoge beschikbaarheid.
Waarom organisaties kiezen voor immersie
Immersiekoeling is niet langer experimenteel. Organisaties die grootschalige AI- en HPC-omgevingen bouwen, passen het vandaag de dag toe om stabiele thermische prestaties, een hogere rackdichtheid en efficiënter gebruik van stroom en faciliteiten te bereiken. De volgende voorbeelden illustreren hoe immersiegebaseerde platforms op een betekenisvolle schaal worden toegepast in productieomgevingen.
ADACEN
ADACEN heeft immersiegerichte infrastructuur geselecteerd ter ondersteuning van de uitbreiding van haar AI- en HPC-as-a-service-platform. Hierdoor kan de organisatie dichte GPU-configuraties uitvoeren en tegelijkertijd de koelvereisten voor faciliteiten vereenvoudigen en de operationele efficiëntie op de lange termijn verbeteren.
"We werken samen met Hypertec omdat hun immersietechnologie ons een operationeel en duurzaamheidsvoordeel biedt dat lucht- of direct-to-chip vloeistofkoeling simpelweg niet kan bieden. Hun volledig ontwikkelde immersieplatforms stellen ons in staat om CPU- en GPU-bronnen met een hogere dichtheid in te zetten, het koelvermogen met meer dan 90% te verlagen en mechanische storingspunten te elimineren. De systemen van Hypertec stellen ons in staat om onze AI/HPC as-a-service-workloads efficiënt te schalen en tegelijkertijd onze prestatie- en ESG-doelstellingen te behalen. Daarom vormen ze een essentieel onderdeel van onze AI-strategie." – Bernard Westwood, Director of Revenue Operations, ADACEN.
ADACEN vertegenwoordigt een model voor implementatie met hoge dichtheid in gehoste infrastructuur. Onderzoeksomgevingen voor computergebruik laten vergelijkbare drijfveren en resultaten zien.
Universiteit van Waterloo
De Universiteit van Waterloo implementeert 700 knooppunten verdeeld over negen immersietanks ter ondersteuning van de volgende generatie onderzoekscomputers. De overstap naar immersie maakt GPU-clusters met hoge dichtheid mogelijk met consistent thermisch gedrag en verminderde complexiteit van de faciliteit.
"Met Nibi hebben we gekozen voor immersiekoeling omdat het uitzonderlijke efficiëntie en betrouwbaarheid biedt en tegelijkertijd ons datacenterontwerp vereenvoudigt. De immersiegebaseerde servers van Hypertec hebben het eenvoudig gemaakt om high-density computing te implementeren zonder de complexiteit van traditionele lucht- of vloeistofkoelsystemen. Deze aanpak verbetert de prestaties en stabiliteit en ondersteunt ons doel om een zeer duurzame, energiezuinige HPC-omgeving te bouwen." – John Morton, Director of Technology bij SHARCNET, University of Waterloo.
Deze implementaties laten zien dat immersie al wordt gebruikt om op grote schaal voorspelbare prestaties te leveren. Ze zijn slechts twee van de vele organisaties die deze aanpak omarmen.
Conclusie
Onze evaluatie van de Hypertec Trident iGW610R-G6 toonde aan dat immersiekoeling consistente prestatieverbeteringen oplevert voor compacte GPU- en storageconfiguraties. Bij aanhoudende workloads handhaafde het systeem smalle, stabiele temperatuurverschillen zonder thermische drift of oscillatie. CPU's en GPU's hielden consistente werkpunten onder belasting aan, en de Solidigm E1.S-schijven leverden een stabiele I/O-doorvoer met slechts minimale temperatuurvariaties. Deze thermische consistentie vermindert direct de belasting van componenten en minimaliseert de omstandigheden die doorgaans leiden tot vroegtijdige slijtage.
Deze bevindingen komen overeen met wat grote operators in productieomgevingen rapporteren. ADACEN meldt een meetbare vermindering van het jaarlijkse uitvalpercentage (AFR) bij immersie-implementaties, dankzij verminderde thermische cycli en de eliminatie van ventilatortrillingen en blootstelling aan deeltjes. Het resultaat is een verbeterde betrouwbaarheid in de loop van de tijd, een lagere onderhoudsfrequentie en een grotere servicecontinuïteit op grote schaal.
De implementatie van 700 knooppunten, verdeeld over negen immersietanks, door de Universiteit van Waterloo onderstreept nog eens dat immersiekoeling wordt toegepast als een praktische strategie voor het bouwen en uitbreiden van high-density computing clusters. De operationele efficiëntie, prestatiestabiliteit en vereenvoudigde faciliteitsvereisten maken het zeer geschikt voor organisaties die AI- en HPC-workloads op grote schaal willen uitvoeren.
Immersiekoeling levert al stabiele prestaties en operationele efficiëntie in productieomgevingen. Naarmate de rekendichtheid en het stroomverbruik blijven toenemen, bieden immersiegebaseerde platforms zoals de Trident iGW610R-G6 een praktische en duurzame weg voor grootschalige AI- en HPC-implementaties.
Dit rapport is gesponsord door Solidigm. Alle standpunten en meningen in dit rapport zijn gebaseerd op onze onbevooroordeelde kijk op het (de) product(en) in kwestie.
Amazon