Dell Tech World wordt niet alleen benadrukt door de robuuste productlanceringen van Dell, maar ook door de oplossingen die hun partners op de beurs tentoonstelden. Niets trok dit jaar meer aandacht dan de verscheidenheid aan vloeistofkoelingsoplossingen op de beursvloer. Er is zoveel belangstelling voor vloeistofkoeling dat onze video's op sociale media waarin deze technologieën worden belicht de afgelopen weken miljoenen keren zijn bekeken. Tenzij uw werklast volkomen alledaags is, komt er vloeistofkoeling naar uw datacenter. Hier is een inleiding waarin wordt benadrukt welke technologieën geschikt kunnen zijn, afhankelijk van waar u zich bevindt in de vloeistofkoelingscyclus.
Direct-naar-chip interne lus
De verreweg eenvoudigste manier om vloeistofkoeling in een datacenter te implementeren is via een gesloten intern circuit. Net als een CPU-koeler in een gaming-pc, maken deze systemen gebruik van een koelplaat met een grote radiator om de warmte van belangrijke componenten af te voeren. JetCool biedt dergelijke oplossingen aan en demonstreerde zowel Intel- als AMD-systemen van Dell met een intern gesloten circuit.
Bekijk dit bericht op Instagram
Het beste van deze systemen is dat ze aanzienlijke energiebesparingen opleveren, 10-15% volgens JetCool, zonder de complexiteit van het aanboren van water uit de fabriek. In sommige datacenters is een volledige vloeistofkoelingslus misschien niet eens een optie, dus deze methode is het beste alternatief voor luchtgekoelde servers.
JetCool interne lus
Hoewel de energiebesparingen met een gesloten lus niet zo hoog zullen zijn als bij andere alternatieven, is zelfs een besparing van 10% enorm in datacenters die worden gehinderd door de hoeveelheid stroom die ze in één rack kunnen ondersteunen. Een kleine energiebesparing, dankzij een gesloten interne lus, kan ondersteuning betekenen voor een extra server of twee per rack.
Het is ook de moeite waard om te vermelden dat Dell een interne koelingslus gebruikt op de PowerEdge XE8640 GPU-server. Meer informatie hierover en over de XE9640 is te vinden in een YouTube-video die we onlangs hebben gemaakt.
Direct-naar-chip volledige vloeistoflus
De volgende stap is een interne koelingslus die is aangesloten op het waterleidingnet van het datacenter. Dit helpt niet alleen om de warmte van de servers af te voeren, maar ook van het datacenter zelf. Er zijn echter ook tussenoplossingen. Zo hebben we onlangs CoolIT Systems besproken in een review waarin we een R760 hebben aangepast voor vloeistofkoeling door koelplaten toe te voegen. We hebben ook een klein verdeelstuk en een koelvloeistofdistributie-unit geïnstalleerd, hoewel onze CDU een vloeistof-naar-lucht-systeem is. Dat betekent dat we de warmte van de R760 wel afvoeren, maar deze nog steeds in het datacenter lozen en dus moeten afvoeren.
Onze mini-implementatie kan een paar servers ondersteunen, maar als u bijvoorbeeld wilt worden voorbereid op de nieuwe vloeistofgekoelde Dell PowerEdge XE9680L GPU-server , hebt u een robuustere oplossing nodig. CoolIT speelt al een belangrijke rol in Dells roadmap voor vloeistofkoeling en presenteerde hun nieuwe Omni-koelplaten , nieuwe CDU's en diverse andere koeltechnologieën.
Maar zelfs Direct-to-Chip-koeling is niet één ding; er zijn meerdere manieren om het te implementeren. Dit is nergens zo duidelijk als bij de oplossing van ZutaCore , die een unieke tweefasenbenadering gebruikt om de chips te koelen. ZutaCore had een aantal demonstraties, met als hoogtepunt een omgebouwde XE9680 GPU-server die ZutaCore had voorzien van 14 koelplaten – 8 voor de GPU's, 4 voor de switches en 2 voor de CPU's. Dit is een zeer aantrekkelijke technologie waarover we een uitgebreide podcast hebben gemaakt als je er meer over wilt weten.
Bekijk dit bericht op Instagram
Om nog een andere versie van Direct-to-Chip-koeling uit te lichten, zal ik Chilldyne uitlichten. Hoewel technisch gezien niet op de DTW-expo, hebben we een aantal van hun team ontmoet in een bar in het hotel, wat naar onze mening dichtbij genoeg is. Om eerlijk te zijn, Chilldyne is een Dell-partner, we hebben hun kit in de Dell-laboratoria gezien.
De bekendheid van Chilldyne is een vloeistoflus met onderdruk, wat betekent dat er geen vloeistof verloren gaat als een lijn wordt doorgesneden. Lekken zijn de grootste angst die de adoptie van vloeistoffen in het datacenter tegenhoudt, dus Chilldyne is hier zeker iets op het spoor. We hebben een korte video samengesteld waarin hun technologie wordt belicht. Dit is een van onze populairste sociale video's dit jaar.
Bekijk dit bericht op Instagram
Warmtewisselaars in de achterdeuren (RDHx)
Achterdeurwarmtewisselaars kunnen passieve of actieve warmtewisselaars zijn die de achterdeur van een serverrack vervangen. Ze zuigen in feite de warmte op uit de uitlaatlucht van de server en voeren deze af naar een vloeistofcircuit voor koeling. De passieve deuren zijn in wezen stil, zonder ventilatoren. Actieve RDHx kan ventilatoren aan de RDHx toevoegen voor een hogere efficiëntie.
Hoewel RDHx geen groot deel van DTW uitmaakte, zijn ze om twee belangrijke redenen het vermelden waard, aan twee kanten van het spectrum. Ten eerste zijn ze een relatief eenvoudige eerste stap bij het toevoegen van vloeistofkoeling aan uw datacenter en kunnen ze in verschillende stand-alone configuraties worden ingezet. Als alternatief kan RDHx worden gecombineerd met andere vloeistofkoelingstechnologieën om 100% warmteterugwinning te bereiken via vloeistofkoeling, iets dat vorige week een gespreksonderwerp was in Las Vegas.
Liebert DCD50 RDHx
RDHx-oplossingen zijn in diverse vormen verkrijgbaar bij vrijwel iedereen die op rackschaal werkt, waaronder bedrijven op Dell Tech World zoals CoolIT en Vertiv . Het is ook de moeite waard om te vermelden dat Dell RDHx promoot als onderdeel van de XE9680L-reeks : "Een 70 kW-ontwerp met luchtkoeling en Rear Door Heat Exchangers (RDHx), dat 64 GPU's ondersteunt – ideaal voor NVIDIA H100/H200/B100. We hebben ook een 100 kW-ontwerp met vloeistofkoeling en RDHx, dat 72 B200 GPU's ondersteunt – dit is de meest compacte rackschaalarchitectuur in de branche."
Volledige onderdompeling vloeistofkoeling
Tot nu toe zijn alle vloeistofkoelingsopties voor datacenters die ik heb besproken relatief gangbaar. Full Immersion is waar het, volgens de feedback die we krijgen, wat ingewikkelder wordt. Zoals de naam al doet vermoeden, worden bij deze technologie servers in hun oorspronkelijke staat, met een paar aanpassingen, ondergedompeld in een speciaal ontwikkelde vloeistof (eigen diëlektrische koelvloeistoffen). BP en Shell produceren beide vloeistoffen voor dit doel, naast andere toepassingen. We zien al 3-4 jaar racks met full immersion op beurzen zoals DTW. Dit jaar gaven zowel Submer als GRC demonstraties van full immersion.
Bekijk dit bericht op Instagram
Het idee van eenfasige immersiekoeling (tweefasig had een tijdje maar is grotendeels uit de gratie geraakt) is in veel opzichten logisch en is een favoriet onder cryptominers. Bij het overwegen van bedrijfsservers zoals PowerEdge veranderen de regels een beetje. Bij servers is de eerste stap het verwijderen van de ventilatoren, wat een directe energiebesparing oplevert. Convectie, of convectie-ondersteund met pompen, verplaatst de vloeistof over de componenten van de server. Van daaruit kan via een warmtewisselaar warmte worden opgevangen en uit het datacenter worden afgevoerd.
Dit systeem maakte de behoefte aan luchtkoeling overbodig en zowel GRC als Submer wijzen op gegevens die erop wijzen dat servers met immersiekoeling feitelijk een langere levensduur hebben en minder service-evenementen dan luchtgekoelde servers. Maar hierin schuilt een van de grootste hindernissen: servers moeten uit de pool komen voor service en hoewel dat niet moeilijk is, is het lastiger dan het onderhouden van traditioneel in racks opgeslagen apparatuur. Een server die ondergedompeld is, moet uit de vloeistof komen, een beetje drogen en vervolgens op een tafel worden geplaatst voor onderhoud. Geen onmogelijke actie, maar wel eentje die wat moeite kost.
Er zijn ook andere zorgen over het gewicht van de tanks en de efficiëntie van de vloeistof- en vloeroppervlakte in vergelijking met standaard verticale stellingen. De immersie-industrie stelt dat tanks gestapeld kunnen worden en dat systemen in immersietanks zelfs efficiënter zijn. We hebben een goede podcast over immersie als je er meer over wilt weten.
Conclusie
Er is geen houden meer aan dat vloeistofkoeling naar uw datacenter komt als uw organisatie zich bezighoudt met AI of andere toepassingen die gebruik maken van dichte GPU-boxen. Het is zeer waarschijnlijk dat als u vandaag een 8-weg GPU-server koopt, deze tegen de tijd dat deze over een jaar op uw laadperron verschijnt, deze binnenin een gesloten lus zal hebben als u op dat moment nog niet in een volledige vloeistoflus heeft geïnvesteerd . Het goede nieuws is dat de industrie de problemen identificeert die de adoptie belemmeren, zoals het gebrek aan universele spruitstukconnectoren, en werkt aan het oplossen van deze problemen, zodat het voor bedrijven gemakkelijker wordt om vloeistofkoeling te omarmen.
Amazon