CoolIT Direct Liquid Cooling – Bezproblémová účinnost pro servery chlazené kapalinou

Spolupracujeme se společností CoolIT Systems, abychom do naší laboratoře zavedli kapalinové chlazení. V rámci tohoto úsilí jsme sestavili miniaturní sestavu pro kapalinové chlazení a modernizovali jsme server Dell PowerEdge R760, čímž jsme jej převedli z chlazení vzduchem na kapalinové. S kapalinovým chlazením teprve začínáme, ale již jsme učinili důležité objevy o výhodách, které přímé kapalinové chlazení (DLC) nabízí.

Pro podporu moderních úloh bude v té či oné formě nutné kapalinové chlazení. Matematika již nefunguje pro servery chlazené vzduchem s masivním tepelným výkonem (TDP) CPU a GPU. DLC dodávané prostřednictvím chladicích desek je nejběžnějším řešením, každý dodavatel serverů má alespoň jednu možnost. Pokud jde o společnost Dell, ta navázala partnerství se společností CoolIT Systems, aby dodávala kapalinové chlazení napříč portfoliem PowerEdge.

Naše laboratoř, stejně jako většina datových center, nebyla od začátku navržena tak, aby využívala kapalinové chlazení. Stejně jako v mnoha datových centrech ale vidíme, že servery s nejvyšším výkonem vyžadují nějakou formu kapalinového chlazení, a pokud chceme tyto systémy využít, musíme se přizpůsobit. Je to příběh, který v dnešní době v podnicích slýcháme hodně, protože datová centra investují do umělé inteligence a zjišťujeme, že většina těchto systémů bude brzy pro svůj provoz vyžadovat nějaký druh kapalinového okruhu.

V našem případě jsme se rozhodli začít s dodatečnou montáží jednoho ze serverů Dell PowerEdge R760 v laboratoři. Aby bylo jasno, když zákazníci chtějí servery chlazené kapalinou, objednávají si je tímto způsobem od společnosti Dell. Dell se postará o integraci s CoolIT a zákazníci obdrží server s nainstalovanými chladicími deskami a připojenými hadicemi pro kapalinové chlazení. Systémy PowerEdge s DLC mají několik nuancí, které je odlišují od serverů chlazených vzduchem, s touto prací jsme se dostali do relativně neprobádaného území. Například karta iDRAC je jiná, verze s DLC má vodič pro detekci úniků. V procesu konverze jsme byli úspěšní, ale instalace vlastních chladicích desek není podporovaná činnost.

Sada DLC pro CoolIT

Společnost CoolIT nám poskytla mini systém, který se obvykle používá pro malé ověřovací účely, když jejich zákazníci procházejí procesem přidání kapalinového chlazení do svých datových center. Tento systém však lze škálovat až na 10 kW, takže je to skvělý způsob, jak pro ty, kteří s kapalinovým chlazením teprve začínají, získat zkušenosti s přibližně polovinou racku. Toto uspořádání se skládá ze tří klíčových komponent: chladicích desek, rozdělovače racku a rozdělovače chladicí kapaliny (CDU).

Chladicí desky jsou navrženy pro specifické případy použití s ​​ohledem na TDP a perfektně pasují na chladicí procesor nebo grafickou kartu. Vypadají klamně jednoduše a i když na samotných deskách nejsou žádná čerpadla ani pohyblivé části, jejich konstrukce není díky rostoucímu TDP nijak triviální. Pro představu, CoolIT nedávno uvedl na trh novou řadu chladicích desek , které zvládnou až 1500 W. CPU v našem R760 jsou ve srovnání s nimi trochu obyčejné, procesory Intel Xeon 8580 mají TDP „pouhých“ 350 W.

Instalace chladicích desek je velmi jednoduchá, bloky mají dokonce předem nanesenou teplovodivou pastu, jedná se o velmi jednoduchou sadu pro instalaci. Jak již bylo zmíněno, pro systémy DLC existuje jiná karta iDRAC, která má připojovací bod pro kabel detekce úniku vedený z chladicích desek. Hadice jsou vedeny ze zadní strany R760 přes jiný držák, který je součástí sady DLC iDRAC.

Chladicí desky jsou k rozdělovači připojeny pomocí označených teplých/studených spojů. Samotný rozdělovač je vyroben z nerezové oceli a armatury jsou bezodkapové rychlospojky. Připojení serveru k rozdělovači, který je dodáván předplněný, trvá několik sekund. Mimochodem, náš rozdělovač se nacházel v zadní části rozvaděče, ale v případě potřeby jej lze nakonfigurovat i vpředu. Pro tento případ použití máme mini rozdělovač, tradičnější rozvaděč DLC by měl rozdělovač pokrývající celý rozvaděč. Rozdělovač se připojuje přímo k CDU.

V tomto okruhu těžkou práci odvádí CDU (chladicí jednotka kapalina-vzduch), my používáme CoolIT AHx10 . Jedná se o 5U CDU kapalina-vzduch, která zvládne zátěž 7 kW při okolní teplotě 25 °C. CoolIT nabízí rozšiřující sadu, která tuto jednotku rozšíří na 10 kW. Uvnitř šasi je tepelný výměník kapalina-vzduch a redundantní čerpadla. CDU se stejně jako rozdělovač dodává s předplněnou výplní. My jsme naši jednotku umístili relativně nízko v racku, ale CDU lze umístit kamkoli, v závislosti na nastavení racku.

AHx10 má maximální spotřebu energie 750 W, což napomáhá celkové ekonomické diskusi o úsporách energie. Systém má intuitivní dotykový displej s podporou vzdáleného přístupu. Kromě počátečního nastavení tlaku čerpadla není s CDU třeba dělat téměř nic, v podstatě stačí nastavit a zapomenout na to, naše jednotka běží už několik týdnů bez dalšího zásahu.

Stojí za zmínku, že s tímto zařízením CoolIT neřešíme samotné teplo. V podstatě přesouváme teplo z procesorů R760 do tepelného výměníku v CDU. Laboratoř stále musíme chladit stejně jako dříve, protože nemáme vodu z provozovny, abychom mohli teplo odvádět mimo laboratoř. Nicméně malý systém, jako je tento, je ideální pro několik serverů chlazených kapalinou a může být ideální volbou pro podnik s malým nasazením umělé inteligence. Něco jako Dell PowerEdge XE9640 by se k němu dobře hodilo.

I když se v naší laboratoři stále musíme potýkat s teplem z DLC R760, přechod na kapalinové chlazení má několik výhod.

Výhody DLC

Při přechodu z chlazení vzduchem na kapalinové chlazení je největší a nejzřetelnější výhodou snížení spotřeby ventilátoru. R760 stále potřebuje proudění vzduchu pro systémové komponenty, jako je DRAM a úložiště, ale ty se nemusí otáčet tak rychle. I když to server tišší, nejlepší částí smyčky DLC je snížení spotřeby elektřiny. Další věc, kterou jsme zjistili, byla trochu překvapivá, DLC R760 si vedl o něco lépe než s chlazením vzduchem.

Abychom se podrobněji podívali na spotřebu elektřiny R760, nastavili jsme náš modul pro analýzu síťového napájení Quarch QTL2843 . Server jsme spustili jak s továrně chlazenými vzduchem, tak i s chladicími deskami CoolIT. Abychom zatížili procesory, provedli jsme výpočet pí na 50 miliard číslic, což velmi zatěžuje procesor a paměť DRAM. Naším záměrem bylo co nejvíce zatížit procesory, aby ventilátory musely být zapnuty na maximální požadovaný výkon.

Dopad implementace DLC byl okamžitě zřejmý. Při provozu R760 v konfiguraci s chlazením vzduchem se ventilátory během pracovní zátěže točí na 100 %, jak se očekávalo. S konfigurací DLC se R760 rozhodl točit ventilátory na 32 %, což je dramatický pokles. To odpovídá úspoře 200 wattů v jediném serveru. Není to jen rychlost ventilátorů, co vyniká, samotné procesory hlásily zhruba poloviční teplotu s DLC, 41/42 °C ve srovnání s 88/89 °C při chlazení vzduchem.

Ale při přechodu na kapalinové chlazení se neprojeví jen úspora energie. Zaznamenali jsme mírné zvýšení výkonu, které jsme neočekávali. Díky lepšímu chlazení chladicích desek může CPU pracovat naplno. V konfiguraci s chlazením vzduchem dokončil R760 výpočet 50 miliard Pi za 369 sekund. V konfiguraci DLC byl R760 o něco rychlejší a výpočet dokončil za 347 sekund. To je nárůst výkonu o zhruba 6 %, což nám umožňuje vytěžit z CPU Intel o něco více.

Závěrečné myšlenky

S kapalinovým chlazením v laboratoři teprve začínáme a jsme nadšeni, že jsme na tomto prvním projektu mohli spolupracovat se společností CoolIT. Chladicí desky na serveru PowerEdge R760 fungují perfektně a rozdělovač a CDU se dají dohromady a „prostě fungují“ bez jakýchkoli obav nebo neustálého zásahu. Pro ty, kteří se obávají zavádění kapaliny do datového centra, je zásadní trvalá jednoduchost. Také jsme nezaznamenali žádné úniky ani jiné katastrofičtější události, což se dalo očekávat, jedná se o podnikové zařízení s mimořádně nízkou poruchovostí.

Pro podniky, které chtějí do datového centra přivést vysoce výkonné systémy umělé inteligence, je kapalinové chlazení samozřejmostí. Servery s 8 GPU opustí vzduchové chlazení a zvolí podobné DLC smyčky nebo minimálně uzavřenou smyčku a chladič. V každém případě se do datového centra dostane určité množství kapaliny. Vzhledem k výrazným úsporám elektřiny a mírnému zvýšení výkonu existuje mnoho důvodů, proč by podniky měly DLC servery zavádět.

Společnost CoolIT je v tomto oboru jasným lídrem a její spolupráce se společností Dell přináší na trh širokou škálu řešení kapalinového chlazení, která jsou snadno spotřebovatelná a nevyžadují téměř žádné starosti. Těšíme se na další zkoumání naší malé smyčky a nemůžeme se dočkat, až v laboratoři uvidíme další servery s kapalinovým chlazením.

CoolIT Systems