CoolIT Direct Liquid Cooling – Sömlös effektivitet för vätskekylda servrar

Vi har samarbetat med CoolIT Systems för att föra in flytande kylning i vårt labb. Som en del av det arbetet satte vi ihop en mini vätskekylningsrigg och eftermonterade en Dell PowerEdge R760, och konverterade den från luftkyld till vätskekyld. Vi har precis börjat vår vätskekylningsresa men har redan gjort viktiga upptäckter om fördelarna med direkt vätskekylning (DLC).

Vätskekylning i någon eller annan form kommer att krävas för att stödja moderna arbetsbelastningar. Matematiken fungerar inte längre för luftkylningsservrar med massiv CPU och GPU termisk designkraft (TDP). DLC levererad via kalla plattor är den vanligaste lösningen, varje serverleverantör har minst ett alternativ. När det kommer till Dell har de samarbetat med CoolIT Systems för att leverera vätskekylning över hela PowerEdge-portföljen.

Vårt labb, som de flesta datacenter, var inte designat från början för att dra fördel av vätskekylning. Men, precis som många datacenter, ser vi att servrarna med högsta effekt kräver vätskekylning i någon form, och om vi vill dra fördel av dessa system måste vi anpassa oss. Det är en historia vi hör mycket i företaget nu för tiden, eftersom datacenter investerar i AI, och att hitta de flesta av dessa system kommer snart att kräva en vätskeslinga av något slag för drift.

I vårt fall bestämde vi oss för att börja med att eftermontera en av Dell PowerEdge R760-servrarna i labbet. För att vara tydlig, när kunder vill ha vätskekylda servrar, beställs de från Dell på det sättet. Dell sköter integrationen med CoolIT och kunderna får en server med kylplattor installerade och slangar för vätskekylning. DLC PowerEdge-system har några nyanser som skiljer dem från luftkylda servrar, vi drev in på relativt okänt territorium med detta arbete. iDRAC-kortet är annorlunda till exempel, DLC-versionen har en ledning för läcksökning. Vi var framgångsrika i konverteringsprocessen, men att installera dina egna kylplattor är inte en aktivitet som stöds.

CoolIT DLC Kit

CoolIT utrustade oss med ett minisystem som vanligtvis används för ett litet proof of concept när deras kunder arbetar genom processen med att lägga till vätskekylning till sina datacenter. Som sagt, det här systemet kan skalas till 10kW, så det är ett bra sätt för de som är nybörjare med flytande kylning att få lite erfarenhet med ett halvt rack eller så. Det finns tre nyckelkomponenter i den här installationen, kylplattorna, rackgrenröret och kylvätskedistributionsenheten (CDU).

Kylplattorna är utformade för specifika TDP-användningsfall och passar perfekt för den processor eller grafikkort som kyls. De ser bedrägligt enkla ut, och även om det inte finns några pumpar eller rörliga delar på själva plattorna är ingenjörskonstverket trivialt tack vare stigande TDP:er. För att perspektivera lanserade CoolIT nyligen en ny serie kylplattor som kan stödja upp till 1500 W. Processorerna i vår R760 är lite enkla i jämförelse, Intel Xeon 8580-processorerna har "bara" en TDP på ​​350 W vardera.

Att installera de kalla plattorna är mycket enkelt, blocken har till och med termisk pasta påförd, det är ett väldigt enkelt drop-in-kit. Som nämnts tidigare finns det ett annat iDRAC-kort för DLC-system som har anslutningspunkten för läckagedetekteringskabeln från de kalla plattorna. Slangarna dras ut på baksidan av R760, genom ett annat fäste som medföljer DLC iDRAC-satsen.

De kalla plattorna är anslutna till grenröret via märkta varm/kall anslutningar. Själva grenröret är tillverkat av rostfritt stål och beslagen är droppfria snabbkopplingar. Det tar några sekunder att ansluta servern till grenröret, som är förfyllt. Vårt grenrör gick för övrigt i baksidan av racket, men det kan konfigureras i fronten vid behov. Vi har ett minigrenrör för detta användningsfall, ett mer traditionellt DLC-ställ skulle ha ett grenrör som täcker hela racket. Förgreningsröret ansluts direkt till CDU.

CDU:n gör det tunga arbetet i den här loopen, vi använder CoolIT AHx10 . Detta är en 5U vätska-till-luft CDU som kan hantera 7 kW belastning vid 25 °C omgivningstemperatur. CoolIT erbjuder ett expansionspaket som skalar upp enheten till 10 kW. Inuti chassit finns en vätska-till-luft värmeväxlare och redundanta pumpar. CDU:n, liksom grenröret, levereras förfylld. Vi har placerat vår relativt lågt i racket, men CDU:n kan placeras var som helst, beroende på hur racket är konfigurerat.

AHx10 har en maximal strömförbrukning på 750W, vilket hjälper till i den övergripande ekonomikonversationen kring energibesparingar. Systemet har en intuitiv pekskärm som erbjuder fjärråtkomststöd. Förutom att ställa in pumptrycket initialt, är det egentligen väldigt lite som behöver göras med CDU, det är ganska mycket inställt och glöm det, vår har varit igång i några veckor utan ytterligare ingrepp.

Det är värt att notera att med denna CoolIT-utrustning löser vi inte själva värmen. Vi flyttar i själva verket värmen från R760:s processorer till värmeväxlaren i CDU:n. Vi behöver fortfarande kyla labbet på samma sätt som tidigare eftersom vi inte har vatten i anläggningen för att kunna överföra värmen utanför labbet. Med det sagt är ett litet system som detta perfekt för ett fåtal vätskekylda servrar och kan vara idealiskt för ett företag med en liten AI-implementering, något som Dell PowerEdge XE9640 skulle passa bra.

Även om vi fortfarande måste brottas med värmen från DLC R760 i vårt labb, finns det flera fördelar med att gå över till vätskekylning.

Fördelar med DLC

När man går över till vätskekylning från luftkylning är den största och mest uppenbara fördelen minskningen av fläktanvändningen. R760 behöver fortfarande luftflöde för systemkomponenter som DRAM och lagring, men de behöver inte snurra lika snabbt. Även om detta gör servern tystare, är den bästa delen av DLC-slingan minskningen av elförbrukningen. Det andra vi hittade var lite överraskande, DLC R760 presterade lite bättre än när den var luftkyld.

För att titta närmare på R760:s elförbrukning installerade vi vår Quarch QTL2843 Mains Power Analysis Module . Vi körde servern både med dess fabriksmonterade luftkylda kylflänsar och återigen med CoolIT-kylplattor. För att belasta processorerna körde vi en Pi-beräkning till 50 miljarder siffror, vilket belastar processorn och DRAM-minnet mycket hårt. Vår avsikt var att pressa processorerna så hårt som möjligt för att säkerställa att fläktarna kunde aktiveras maximalt.

Effekten av DLC-implementeringen var omedelbart uppenbar. När R760 körs i luftkyld konfiguration snurrar fläktarna till 100 % under arbetsbelastningen, som förväntat. Med DLC-konfigurationen valde R760 att snurra fläktarna med 32 %, en dramatisk minskning. Det motsvarar en besparing på 200 watt, på bara en enda server. Det är inte bara fläkthastigheten som sticker ut, processorerna själva rapporterade ungefär halva temperaturen med DLC, 41/42C jämfört med 88/89C när de var luftkylda.

Men det är inte bara energibesparingar som kommer ut på andra sidan när man går till vätskekylning. Vi såg en liten prestationshöjning, vilket vi inte förväntade oss. Med de kalla plattorna som ger bättre kylning kan CPU:n fungera till fullo. I den luftkylda konfigurationen slutförde R760 50 miljarder Pi-beräkningen på 369 sekunder. I DLC-konfigurationen gick R760 lite snabbare och levererade beräkningen på 347 sekunder. Det är en prestandavinst på cirka 6 %, vilket låter oss mjölka lite mer av Intels processorer.

Avslutande tankar

Vi har precis börjat med vätskekylning i labbet och är glada över att ha arbetat med CoolIT med denna första insats. De kalla plattorna fungerar perfekt på PowerEdge R760 och grenröret och CDU går samman och "bara fungerar" utan några problem eller pågående mixtrande. För dem som är oroliga för att ta med vätska till datacentret är fortsatt enkelhet avgörande. Vi har inte heller haft några läckor eller andra mer katastrofala händelser, vilket förväntas, detta är företagsutrustning med en extremt låg felfrekvens.

För företag som vill ta in kraftfulla AI-system i datacentret är vätskekylning en given slutsats. 8-vägs GPU-servrarna kommer att överge luftkylning och välja DLC-slingor som denna eller åtminstone en sluten slinga och radiator. Oavsett vilket kommer en viss mängd vätska att leta sig in i datacentret. Med de avsevärda elbesparingarna och blygsamma prestandaökningen finns det många anledningar till att företag bör anamma DLC-servrar.

CoolIT är en tydlig ledare inom detta område och dess relation med Dell ger en mängd olika lösningar för flytande kylning till marknaden på ett lättanvänt sätt, med mycket lite att oroa sig för. Vi ser fram emot att utforska vår lilla slinga ytterligare och kan inte vänta med att se fler vätskekylda servrar i labbet.

CoolIT-system