CoolIT beschikt over koude platen, spruitstukken en koeldistributie-eenheden die zijn ontworpen om bedrijven te helpen bij het implementeren van vloeistofkoeling voor energievretende servers.
We zijn een partnerschap aangegaan met CoolIT Systems om vloeistofkoeling in ons laboratorium te brengen. Als onderdeel van die inspanning hebben we een mini-installatie voor vloeistofkoeling samengesteld en een Dell PowerEdge R760 achteraf ingebouwd, waarbij we deze ombouwden van luchtgekoeld naar vloeistofgekoeld. We zijn nog maar net begonnen met onze vloeistofkoeling, maar hebben al belangrijke ontdekkingen gedaan over de voordelen die directe vloeistofkoeling (DLC) biedt.
Dell PowerEdge R760 na DLC-conversie
Vloeistofkoeling zal in een of andere vorm nodig zijn om moderne werklasten te ondersteunen. De wiskunde werkt niet langer voor luchtkoelingsservers met een enorm CPU- en GPU-thermisch ontwerpvermogen (TDP). DLC geleverd via cold plates is de meest voorkomende oplossing, elke serverleverancier heeft minstens één optie. Als het op Dell aankomt, werken ze samen met CoolIT Systems om vloeistofkoeling te leveren in het hele PowerEdge-portfolio.
Ons laboratorium was, zoals de meeste datacenters, van meet af aan niet ontworpen om te profiteren van vloeistofkoeling. Maar net als bij veel datacenters zien we dat servers met het hoogste vermogen een of andere vorm van vloeistofkoeling nodig hebben, en als we van deze systemen willen profiteren, moeten we ons aanpassen. Het is een verhaal dat we tegenwoordig veel horen in de onderneming, omdat datacenters investeren in AI, en het vinden van de meeste van deze systemen zal binnenkort een of andere soort vloeibare lus vereisen om te kunnen functioneren.
In ons geval besloten we om te beginnen met het achteraf inbouwen van een van de Dell PowerEdge R760-servers in het laboratorium. Voor alle duidelijkheid: als klanten vloeistofgekoelde servers willen, worden ze op die manier bij Dell besteld. Dell zorgt voor de integratie met CoolIT en klanten ontvangen een server waarop koude platen zijn geïnstalleerd en slangen zijn aangesloten voor vloeistofkoeling. DLC PowerEdge-systemen hebben een paar nuances die ze anders maken dan luchtgekoelde servers. Met dit werk zijn we op relatief onbekend terrein beland. De iDRAC-kaart is anders, de DLC-versie heeft bijvoorbeeld een lead voor lekdetectie. We waren succesvol in het conversieproces, maar het installeren van uw eigen koelplaten wordt niet ondersteund.
CoolIT DLC-kit
CoolIT heeft ons uitgerust met een minisysteem dat doorgaans wordt gebruikt voor een kleine proof of concept terwijl hun klanten het proces doorlopen van het toevoegen van vloeistofkoeling aan hun datacenters. Dat gezegd hebbende, kan dit systeem worden opgeschaald tot 10 kW, dus het is een geweldige manier voor degenen die nieuw zijn op het gebied van vloeistofkoeling om wat ervaring op te doen met een half rack of zo. Er zijn drie belangrijke componenten van deze opstelling: de koude platen, het rekverdeelstuk en de koelvloeistofdistributie-eenheid (CDU).
CoolIT R760 Koudeplaten
De koude platen zijn ontworpen voor specifieke TDP-gebruiksscenario's en passen perfect bij de CPU of GPU die wordt gekoeld. Ze zien er bedrieglijk eenvoudig uit, en hoewel er geen pompen of bewegende delen op de platen zelf zitten, is de techniek niet triviaal dankzij de stijgende TDP's. Voor perspectief heeft CoolIT onlangs een nieuwe lijn koude borden die tot 1500W kan ondersteunen. De CPU's in onze R760 zijn in vergelijking een beetje voetganger, de Intel Xeon 8580 CPU's hebben "slechts" een TDP van elk 350W.
Dell R760 met CoolIT Cold-platen
Het installeren van de koude platen is heel eenvoudig, op de blokken is zelfs vooraf koelpasta aangebracht, het is een heel eenvoudige drop-in-kit. Zoals eerder opgemerkt, is er een andere iDRAC-kaart voor DLC-systemen waarbij het aansluitpunt voor de lekdetectiekabel vanaf de koude platen loopt. De slangen worden via de achterkant van de R760 naar buiten geleid, via een andere beugel die bij de DLC iDRAC-kit wordt geleverd.
CoolIT-spruitstuk
De koude platen zijn via gelabelde warm/koude aansluitingen op het verdeelstuk aangesloten. Het spruitstuk zelf is gemaakt van roestvrij staal en de fittingen zijn druppelvrije snelkoppelingen. Het duurt een paar seconden om de server met het verdeelstuk te verbinden, dat al gevuld is. Ons spruitstuk ging overigens achterin het rack, maar kan indien nodig vooraan worden geconfigureerd. We hebben een mini-spruitstuk voor dit gebruik, een meer traditioneel DLC-rek zou een spruitstuk hebben dat het hele rek bedekt. Het spruitstuk wordt rechtstreeks op de CDU aangesloten.
CoolIT AHx10 CDU
De CDU doet het zware werk in deze lus, we gebruiken de CoolIT AHx10. Dit is een 5U liquid-to-air CDU die een belasting van 7 kW aankan bij een omgevingstemperatuur van 25 graden Celsius. CoolIT biedt een uitbreidingskit aan waarmee deze unit kan worden opgeschaald naar 10 kW. In het chassis bevinden zich een vloeistof-lucht-warmtewisselaar en redundante pompen. De CDU wordt, net als het spruitstuk, voorgevuld geleverd. Wij hebben de onze relatief laag in het rack geplaatst, maar de CDU kan overal naartoe, afhankelijk van hoe het rack is opgesteld.
CoolIT AHx10-interface
De AHx10 heeft een maximaal energieverbruik van 750 W, wat helpt bij het algemene economische gesprek over energiebesparing. Het systeem heeft een intuïtief touchscreen-display dat ondersteuning op afstand biedt. Afgezien van het aanvankelijk instellen van de pompdruk, hoeft er eigenlijk heel weinig met de CDU te worden gedaan, hij is zo ongeveer ingesteld en vergeet het maar, de onze draait al een paar weken zonder extra tussenkomst.
Het is vermeldenswaard dat we met deze CoolIT-uitrusting de hitte zelf niet oplossen. In feite verplaatsen we de warmte van de CPU's van de R760 naar de warmtewisselaar in de CDU. We moeten het laboratorium nog steeds op dezelfde manier koelen als voorheen, omdat we geen leidingwater hebben om de warmte naar buiten het laboratorium te kunnen transporteren. Dat gezegd hebbende, is een klein systeem als dit perfect voor een paar vloeistofgekoelde servers en kan het ideaal zijn voor een onderneming met een kleine AI-implementatie, zoiets als de Dell PowerEdge XE9640 zou goed paren.
Vloeistofgekoelde Dell PowerEdge XE9640
Ook al hebben we in ons laboratorium nog steeds te maken met de hitte van de DLC R760, er zijn verschillende voordelen verbonden aan de overstap naar vloeistofkoeling.
Voordelen van DLC
Bij de overstap van luchtkoeling naar vloeistofkoeling is het grootste en meest voor de hand liggende voordeel de vermindering van het ventilatorgebruik. De R760 heeft nog steeds luchtstroom nodig voor systeemcomponenten zoals DRAM en opslag, maar deze hoeven niet zo snel te draaien. Hoewel dit de server stiller maakt, is het beste deel van de DLC-lus de vermindering van het elektriciteitsverbruik. Het andere dat we ontdekten was een beetje verrassend: de DLC R760 presteerde een beetje beter dan wanneer hij luchtgekoeld was.
Om het elektriciteitsverbruik van de R760 nader te bekijken, hebben we onze Quarch QTL2843 Netstroomanalysemodule. We hebben de server zowel met de in de fabriek luchtgekoelde koellichamen als met de CoolIT-koudeplaten laten draaien. Om de CPU's onder druk te zetten, hebben we een Pi-berekening uitgevoerd tot 50 miljard cijfers, wat een zeer zware belasting vormt voor de CPU en het DRAM. Het was onze bedoeling om de CPU's zo hard mogelijk te pushen om ervoor te zorgen dat de ventilatoren hun maximaal vereiste taak konden vervullen.
R760 iDRAC DLC-configuratie
De impact van de DLC-implementatie was meteen duidelijk. Wanneer de R760 in de luchtgekoelde configuratie draait, draaien de ventilatoren zoals verwacht op 100% tijdens de werklast. Met de DLC-configuratie koos de R760 ervoor om de ventilatoren op 32% te laten draaien, een dramatische daling. Dat komt neer op een besparing van 200 watt, in slechts één server. Het is niet alleen de ventilatorsnelheid die opvalt, de CPU's zelf rapporteerden ongeveer de helft van de temperatuur met DLC, 41/42C vergeleken met 88/89C bij luchtkoeling.
R760 iDRAC luchtgekoelde configuratie
Maar het zijn niet alleen de energiebesparingen die aan de andere kant naar voren komen als je naar vloeistofkoeling gaat. We zagen een kleine prestatieverbetering, wat we niet hadden verwacht. Doordat de koude platen betere koeling leveren, kan de CPU optimaal functioneren. In de luchtgekoelde configuratie voltooide de R760 de berekening van 50 miljard Pi in 369 seconden. In de DLC-configuratie ging de R760 iets sneller en leverde de berekening in 347 seconden op. Dat is een prestatiewinst van ongeveer 6%, waardoor we iets meer uit de Intel CPU's kunnen halen.
Conclusie
We zijn nog maar net begonnen met vloeistofkoeling in het laboratorium en zijn blij dat we bij deze eerste poging met CoolIT hebben samengewerkt. De koude platen werken perfect op de PowerEdge R760 en het spruitstuk en de CDU komen samen en "werken gewoon" zonder enige zorgen of voortdurend sleutelen. Voor degenen die bang zijn om vloeistof in het datacenter te brengen, is voortdurende eenvoud van cruciaal belang. We hebben ook geen lekkages of andere meer catastrofale gebeurtenissen gehad, zoals verwacht, dit is bedrijfsapparatuur met een buitengewoon laag uitvalpercentage.
Dell R760 achterkant met DLC-slangen
Voor bedrijven die krachtige AI-systemen in het datacenter willen integreren, is vloeistofkoeling een uitgemaakte zaak. De 8-weg GPU-servers zullen de luchtkoeling achterwege laten en kiezen voor DLC-lussen zoals deze of op zijn minst een gesloten lus en radiator. Hoe dan ook, er zal een bepaalde hoeveelheid vloeistof in het datacenter terechtkomen. Met de aanzienlijke elektriciteitsbesparingen en de bescheiden prestatieverbetering zijn er veel redenen waarom bedrijven DLC-servers zouden moeten omarmen.
CoolIT is een duidelijke leider op dit gebied en de relatie met Dell brengt een breed scala aan vloeistofkoelingoplossingen op de markt op een gemakkelijk te gebruiken manier, zonder dat u zich daar zorgen over hoeft te maken. We kijken ernaar uit om onze kleine lus verder te verkennen en kunnen niet wachten om meer vloeistofgekoelde servers in het laboratorium te zien.
Neem contact op met StorageReview
Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
