CoolIT Direct Liquid Cooling – bezproblemowa wydajność dla serwerów chłodzonych cieczą

Nawiązaliśmy współpracę z CoolIT Systems, aby wprowadzić chłodzenie cieczą do naszego laboratorium. W ramach tych działań zbudowaliśmy miniaturowy system chłodzenia cieczą i zmodernizowaliśmy serwer Dell PowerEdge R760, przekształcając go z chłodzenia powietrzem na chłodzenie cieczą. Dopiero rozpoczynamy naszą przygodę z chłodzeniem cieczą, ale już dokonaliśmy ważnych odkryć dotyczących korzyści, jakie oferuje bezpośrednie chłodzenie cieczą (DLC).

Do obsługi nowoczesnych obciążeń wymagane będzie chłodzenie cieczą w takiej czy innej formie. W przypadku serwerów chłodzonych powietrzem o ogromnym TDP (Thermal Design Power) procesorów i kart graficznych, takie obliczenia przestają mieć zastosowanie. Najpopularniejszym rozwiązaniem jest chłodzenie DLC za pomocą płyt chłodzących, a każdy dostawca serwerów oferuje co najmniej jedną opcję. Firma Dell nawiązała współpracę z CoolIT Systems, aby zapewnić chłodzenie cieczą w całej ofercie serwerów PowerEdge.

Nasze laboratorium, podobnie jak większość centrów danych, nie zostało od początku zaprojektowane z myślą o wykorzystaniu chłodzenia cieczą. Jednak, podobnie jak w wielu centrach danych, obserwujemy, że serwery o najwyższej mocy wymagają jakiejś formy chłodzenia cieczą i jeśli chcemy wykorzystać potencjał tych systemów, musimy się dostosować. Często słyszymy o tym w przedsiębiorstwach, ponieważ centra danych inwestują w sztuczną inteligencję i okazuje się, że większość tych systemów wkrótce będzie wymagała jakiejś formy obiegu cieczy do działania.

W naszym przypadku postanowiliśmy zacząć od modernizacji jednego z serwerów Dell PowerEdge R760 w laboratorium. Mówiąc wprost, kiedy klienci chcą serwerów chłodzonych cieczą, zamawiają je w Dell. Dell zajmuje się integracją z CoolIT, a klienci otrzymują serwer z zainstalowanymi płytkami chłodzącymi i podłączonymi przewodami do chłodzenia cieczą. Systemy DLC PowerEdge mają kilka niuansów, które odróżniają je od serwerów chłodzonych powietrzem. W tej pracy zapuściliśmy się na stosunkowo nieznane terytorium. Karta iDRAC jest inna, na przykład wersja DLC ma przewód do wykrywania wycieków. Proces konwersji zakończył się sukcesem, ale instalacja własnych płytek chłodzących nie jest obsługiwana.

Zestaw CoolIT DLC

CoolIT wyposażył nas w mini system, który zazwyczaj służy do demonstracji koncepcji, gdy klienci przechodzą przez proces dodawania chłodzenia cieczą do swoich centrów danych. System ten można skalować do 10 kW, więc jest to doskonały sposób dla osób rozpoczynających przygodę z chłodzeniem cieczą, aby zdobyć doświadczenie z połową szafy rack lub czymś podobnym. System składa się z trzech kluczowych komponentów: płyt chłodzących, kolektora szaf rack oraz jednostki dystrybucji chłodziwa (CDU).

Płyty chłodzące zostały zaprojektowane z myślą o konkretnych zastosowaniach i idealnie pasują do chłodzonego procesora lub karty graficznej. Wyglądają na zwodniczo proste i chociaż same płyty nie posiadają pomp ani ruchomych części, ich konstrukcja nie jest prosta ze względu na rosnące TDP. Dla porównania, CoolIT niedawno wprowadził na rynek nową linię płyt chłodzących , które mogą obsługiwać moc do 1500 W. Procesory w naszym R760 są w porównaniu z nimi dość przeciętne – procesory Intel Xeon 8580 mają „zaledwie” TDP na poziomie 350 W każdy.

Montaż płyt chłodzących jest bardzo prosty, bloki mają nawet wstępnie nałożoną pastę termoprzewodzącą. To bardzo prosty zestaw do samodzielnego montażu. Jak wspomniano wcześniej, do systemów DLC dostępna jest inna karta iDRAC, która ma punkt podłączenia kabla do wykrywania wycieków biegnącego od płyt chłodzących. Przewody są wyprowadzone z tyłu obudowy R760 przez inny uchwyt dołączony do zestawu DLC iDRAC.

Płyty chłodzące są podłączone do kolektora za pomocą oznaczonych połączeń ciepła/zimna. Sam kolektor jest wykonany ze stali nierdzewnej, a przyłącza to szybkozłączki bezkapiące. Podłączenie serwera do kolektora, który jest fabrycznie napełniony, zajmuje kilka sekund. Nawiasem mówiąc, nasz kolektor został umieszczony z tyłu szafy, ale w razie potrzeby można go skonfigurować z przodu. Do tego celu mamy mini kolektor; bardziej tradycyjna szafa DLC miałaby kolektor obejmujący całą szafę. Kolektor łączy się bezpośrednio z CDU.

W tej pętli główną rolę odgrywa moduł CDU – używamy CoolIT AHx10 . To moduł CDU ciecz-powietrze o wysokości 5U, który może obsłużyć obciążenie 7 kW przy temperaturze otoczenia 25°C. CoolIT oferuje zestaw rozszerzeń, który skaluje to urządzenie do 10 kW. Wewnątrz obudowy znajduje się wymiennik ciepła ciecz-powietrze i redundantne pompy. Moduł CDU, podobnie jak kolektor, jest wstępnie napełniony. Umieściliśmy go stosunkowo nisko w szafie, ale moduł CDU można umieścić w dowolnym miejscu, w zależności od konfiguracji szafy.

Maksymalne zużycie energii przez AHx10 wynosi 750 W, co pomaga w ogólnym ekonomicznym podejściu do oszczędzania energii. System posiada intuicyjny ekran dotykowy, który umożliwia zdalny dostęp. Poza początkowym ustawieniem ciśnienia pompy, CDU praktycznie nie wymaga wiele pracy – wystarczy ustawić i zapomnieć. Nasz działa już od kilku tygodni bez żadnych dodatkowych interwencji.

Warto zauważyć, że w przypadku tego sprzętu CoolIT nie rozwiązujemy problemu samego ciepła. W rzeczywistości przenosimy ciepło z procesorów R760 do wymiennika ciepła w jednostce CDU. Nadal musimy chłodzić laboratorium tak samo jak wcześniej, ponieważ nie mamy wody użytkowej, aby odprowadzać ciepło poza laboratorium. Mimo to, taki mały system idealnie nadaje się do kilku serwerów chłodzonych cieczą i może być idealnym rozwiązaniem dla przedsiębiorstwa z niewielką infrastrukturą AI, np. Dell PowerEdge XE9640.

Mimo że w naszym laboratorium wciąż musimy zmagać się z ciepłem wytwarzanym przez DLC R760, przejście na chłodzenie cieczą niesie ze sobą szereg korzyści.

Korzyści z DLC

Przechodząc z chłodzenia powietrzem na chłodzenie cieczą, największą i najbardziej oczywistą korzyścią jest zmniejszenie zużycia wentylatora. Serwer R760 nadal potrzebuje przepływu powietrza dla komponentów systemu, takich jak pamięć DRAM i pamięć masowa, ale nie muszą one obracać się tak szybko. Chociaż dzięki temu serwer pracuje ciszej, największą zaletą pętli DLC jest zmniejszenie zużycia energii elektrycznej. Zaskakujące jest również to, że serwer DLC R760 działał nieco lepiej niż w trybie chłodzenia powietrzem.

Aby dokładniej przyjrzeć się zużyciu energii elektrycznej przez R760, zainstalowaliśmy moduł Quarch QTL2843 do analizy zasilania sieciowego . Uruchomiliśmy serwer zarówno z fabrycznymi radiatorami chłodzonymi powietrzem, jak i z płytkami chłodzącymi CoolIT. Aby wysilić procesory, przeprowadziliśmy obliczenia Pi do 50 miliardów cyfr, co bardzo obciąża procesor i pamięć DRAM. Naszym celem było maksymalne obciążenie procesorów, aby zapewnić maksymalne wykorzystanie wentylatorów.

Wpływ implementacji DLC był natychmiast widoczny. Podczas pracy serwera R760 w konfiguracji chłodzonej powietrzem, wentylatory kręciły się na 100% w trakcie obciążenia, zgodnie z oczekiwaniami. W konfiguracji DLC, R760 zdecydował się na 32% obrotów wentylatorów, co stanowiło znaczący spadek. To przekłada się na oszczędność 200 watów w jednym serwerze. Nie tylko prędkość wentylatorów jest uderzająca – same procesory deklarowały temperaturę o połowę niższą w konfiguracji DLC, 41/42°C w porównaniu z 88/89°C w konfiguracji chłodzonej powietrzem.

Ale to nie tylko oszczędność energii przekłada się na korzyści płynące z przejścia na chłodzenie cieczą. Zauważyliśmy niewielki wzrost wydajności, którego się nie spodziewaliśmy. Dzięki lepszemu chłodzeniu radiatorów, procesor może pracować z pełną wydajnością. W konfiguracji z chłodzeniem powietrznym, R760 wykonał obliczenia dla 50 miliardów Pi w 369 sekund. W konfiguracji DLC, R760 działał nieco szybciej, wykonując obliczenia w 347 sekund. To wzrost wydajności o około 6%, co pozwala nam wycisnąć więcej z procesorów Intel.

Uwagi końcowe

Dopiero zaczynamy wdrażać chłodzenie cieczą w laboratorium i jesteśmy zachwyceni współpracą z CoolIT przy tym pierwszym przedsięwzięciu. Płyty chłodzące działają idealnie w serwerze PowerEdge R760, a kolektor i moduł CDU łączą się i „po prostu działają” bez żadnych problemów i konieczności ciągłego majsterkowania. Dla tych, którzy obawiają się wprowadzania chłodzenia cieczą do centrum danych, kluczowe znaczenie ma prostota i ciągłość działania. Nie mieliśmy też żadnych wycieków ani innych katastrofalnych zdarzeń, co jest zrozumiałe – to sprzęt klasy enterprise o wyjątkowo niskiej awaryjności.

Dla przedsiębiorstw, które chcą wprowadzić do centrów danych wydajne systemy AI, chłodzenie cieczą jest koniecznością. Serwery z ośmioma procesorami graficznymi zrezygnują z chłodzenia powietrzem, wybierając pętle DLC, takie jak ta, lub co najmniej pętlę zamkniętą i radiator. Tak czy inaczej, pewna ilość cieczy znajdzie drogę do centrum danych. Biorąc pod uwagę znaczne oszczędności energii elektrycznej i niewielki wzrost wydajności, istnieje wiele powodów, dla których przedsiębiorstwa powinny rozważyć serwery DLC.

CoolIT jest zdecydowanym liderem w tej dziedzinie, a współpraca z firmą Dell pozwala nam wprowadzać na rynek szeroką gamę rozwiązań chłodzenia cieczą, które są łatwe w obsłudze i nie powodują żadnych obaw. Z niecierpliwością czekamy na dalsze badania nad naszą małą pętlą i nie możemy się doczekać, aż zobaczymy w laboratorium więcej serwerów chłodzonych cieczą.

Systemy CoolIT