Chłodzenie cieczą oferuje znaczące korzyści w porównaniu z tradycyjnym chłodzeniem powietrznym, szczególnie w środowiskach obliczeniowych o dużej gęstości. Dzięki efektywnemu odprowadzaniu ciepła z procesorów, chłodzenie cieczą może zmniejszyć zużycie energii, obniżyć temperaturę pracy i poprawić ogólną wydajność systemu. System SmartPlate firmy JetCool to doskonały punkt wyjścia do autonomicznego, zamkniętego chłodzenia cieczą — szczególnie w środowiskach, w których pełna pętla chłodzenia cieczą nie jest możliwa.
Dodawanie zamkniętych pętli do serwerów obliczeniowych i GPU nie jest nowością; obserwowaliśmy je już na wielu platformach serwerowych o dużej gęstości, takich jak Dell, HPE i Lenovo. Technologia ta jest znakomita, ponieważ eliminuje potrzebę skomplikowanych modyfikacji infrastruktury, redukując koszty początkowe i bieżące wymagania konserwacyjne. Korzyści płynące z systemów zamkniętych pętli nie są tak duże, jak w przypadku pełnego obiegu z CDU i wodą zakładową, ale nadal oferują wiele korzyści w zakresie efektywności energetycznej.
JetCool to marka, którą widzieliśmy na targach branżowych, takich jak SuperCompute, a ostatnio na Dell Tech World w maju tego roku. Zyskują one popularność jako rozwiązanie do wysokowydajnych obciążeń, zarówno opartych na procesorach, jak i kartach graficznych. JetCool obsługuje szeroką gamę procesorów Intel i AMD oraz kart graficznych, takich jak NVIDIA H100, w formatach gniazdowych i kart rozszerzeń. JetCool udostępnił również swoim inżynierom nowe platformy, takie jak GB200 Superchip, oraz architekturę procesorów nowej generacji.
Zobacz ten post na Instagramie
System JetCool SmartPlate jest już dostępny na całym świecie za pośrednictwem firmy Dell i jej partnerów handlowych, którzy oferują kompleksowy, globalny serwis, wsparcie techniczne i gwarancję. Dodanie JetCool do serwera to koszt około 10% wyższej ceny niż podstawowa konfiguracja serwera.
Aby lepiej zrozumieć działanie systemu, firma JetCool przesłała nam do testów system Dell PowerEdge R760 z zamkniętą pętlą.
Czym wyróżnia się JetCool?
Opatentowana technologia mikrokonwekcyjnego chłodzenia JetCool kieruje strumienie cieczy w newralgiczne punkty, zapewniając lepszą wymianę ciepła i wydajność chłodzenia w porównaniu z tradycyjnymi metodami. To ukierunkowane chłodzenie cieczą zwiększa również wydajność – Jetcool zapewnia nawet o 50% mniej energii zużywanej na chłodzenie i całkowitą redukcję mocy o prawie 18%. To rozwiązanie wizualnie przypomina inne systemy chłodzenia cieczą z zamkniętą pętlą, ale płyty JetCool SmartPlate robią ogromną różnicę.
Schemat systemu SmartPlate firmy Jetcool
Strumienie cieczy w systemie SmartPlate wymuszają przepływ chłodziwa nad gorącymi punktami rdzenia, co pozwala na efektywniejsze odprowadzanie ciepła niż w przypadku przepływu pasywnego. Efektywność tego rozwiązania chłodzenia pozwala systemowi Jetcool pracować z chłodziwem o wyższej temperaturze, zachowując jednocześnie wysoką wydajność. To z kolei przekłada się na efektywność energetyczną chłodzenia, a dzięki niższemu zapotrzebowaniu na przepływ powietrza obniża nie tylko temperaturę procesora, ale także całego centrum danych. Obniżenie temperatury w centrum danych może obniżyć bieżące koszty operacyjne całego obiektu.
Większość dostawców centrów danych buduje swoje obiekty zgodnie z wytycznymi Amerykańskiego Stowarzyszenia Inżynierów Ogrzewnictwa, Chłodnictwa i Klimatyzacji (ASHRAE), stosując standardy A1-A4. Standardy te określają zalecany zakres temperatur od 64.4°C do 80.6°C dla centrów danych chłodzonych powietrzem. Ze względu na komponenty o wyższej wydajności i zadania obliczeniowe o wyższym zapotrzebowaniu, nowsze serwery o wysokiej gęstości wydzielają większe ilości ciepła. Stwarza to problemy dla centrów danych, ponieważ nowe standardy H1 ASHRAE stanowią, że środowiska powinny być chłodzone do zakresu od 64.4°C do 71.6°C. Daje to możliwość wyboru modernizacji chłodzenia całego obiektu (co zwiększa zapotrzebowanie na energię i koszty operacyjne) lub instalacji systemu chłodzenia cieczą w całym obiekcie. Każda z tych opcji wiąże się z ogromnymi kosztami początkowymi. W tym miejscu system JetCool ma na celu przeniesienie chłodzenia do obudowy serwera i ograniczenie konieczności obniżania temperatury chłodzenia powietrzem oraz utrzymanie zapotrzebowania na energię w ramach typowych wytycznych ASHRAE A1-A4, minimalizując jednocześnie wpływ na koszty operacyjne.
Kolejnym obszarem, w którym systemy SmartPlate firmy JetCool pomagają ograniczyć hałas, jest jego poziom. Dzięki rozwiązaniu SmartPlate systemy mogą pracować o 13 dBA ciszej dzięki obniżonej prędkości wentylatora obudowy. Ta cichsza praca zmniejsza poziom hałasu w obiekcie i może pomóc w redukcji wibracji generowanych przez urządzenia. JetCool twierdzi, że redukcja o 13 dBA zmniejsza hałas w obiekcie nawet czterokrotnie. Badanie modelu R760 wykazało, że hałas w systemie chłodzonym powietrzem wynosił początkowo 77.8 dBA, a w systemie SmartPlate firmy JetCool 64.4 dBA.
Kolejną istotną zaletą JetCool jest łatwość wdrożenia, ponieważ ich rozwiązanie nie wymaga żadnych specjalnych elementów. Wdrożenie rozwiązania JetCool wiąże się ze znacznie niższymi kosztami wdrożenia i konserwacji niż system DLC w centrum danych – dodatkowy sprzęt zewnętrzny, instalacje hydrauliczne, konserwacja i koszty instalacji są zbędne. Samodzielny system JetCool może przynieść znaczną korzyść, pozwalając uzyskać lepszą wydajność przy zachowaniu tej samej powierzchni, oszczędzając czas przed przejściem na kompletne chłodzenie cieczą z podzespołami o wyższej wydajności.
Awaria sprzętu JetCool
JetCool obsługuje platformy z procesorami Intel Xeon 4. i 5. generacji oraz EPYC 4. generacji. Współczynnik TDP dla tych systemów wynosi do 850 W w obudowie 1U lub do 1,200 W w obudowie 2U. System JetCool obsługuje zakres temperatur powietrza dolotowego od 55°C do 95°C. Jak wspomniano, JetCool będzie obsługiwał więcej układów i procesorów graficznych, a prace nad kartą NVIDIA GB200 są już w toku.
Ta konkretna platforma oferowana przez JetCool została zbudowana na platformie Dell Poweredge R760; jej specyfikacje przedstawiają się następująco.
| Specyfikacja systemu testowego JetCool | |
|---|---|
| procesory | 2x Intel Xeon Platinum 8470Q (52 rdzenie, 104 wątki każdy) |
| Pamięć | 768 GB (12 x 64 g) 5600 MHz DDR5 |
Poniżej znajduje się zdjęcie platformy R760, którą przesłała nam firma Jetcool. Jej komponenty są wyraźnie widoczne, a udokumentowane zdjęcia i wydajność JetCool są zgodne z tym, co zaobserwowaliśmy w laboratorium.
Poniżej znajduje się zdjęcie udostępnione przez JetCool, pokazujące rozmieszczenie komponentów w ich rozwiązaniu SmartPlate. Osoby niezaznajomione z chłodzeniem cieczowym zauważą kilka dodatkowych części, takich jak chłodnica, pompy i zbiornik.
Zdjęcie poniżej przedstawia pompę, sterownik pompy i płyty chłodzące. Płyty JetCool Cold są dość cienkie jak na swoją skuteczność chłodzenia w porównaniu z innymi rozwiązaniami.
Jak wspomniano powyżej, ten nietypowy element, będący sercem systemu, to zbiornik na płyn chłodzący. Zbiornik ten nie jest duży, ale spełnia swoje zadanie. Cały obieg mieści około 10 uncji płynu i nie wymaga serwisowania ani uzupełniania przez cały okres gwarancji serwera.
Warto również zwrócić uwagę na konstrukcję, że nawet przy radiatorze umieszczonym blisko wentylatorów, zapewniony jest swobodny przepływ powietrza przez obudowę do tyłu systemu. Trudno to dostrzec na powyższym zdjęciu, ale pod radiatorem znajduje się również szczelina umożliwiająca przepływ powietrza do pamięci DRAM.
Dell PowerEdge R760 z technologią JetCool Performance
Zazwyczaj testowaliśmy taki system z radiatorami chłodzonymi powietrzem, a następnie zamienialiśmy go na zestaw chłodzenia cieczą, aby uzyskać wyniki wydajności, lub porównywaliśmy pętlę chłodzenia cieczą z tymi samymi procesorami w serwerze chłodzonym powietrzem. Żadna z tych opcji nie była tym razem dobrym wyborem, więc poprosiliśmy firmę jetCool o pomoc w przeprowadzeniu własnych testów.
Firma JetCool udostępniła dane dotyczące platformy R760 w testach wewnętrznych. Dane te porównują prędkość wentylatora, temperaturę otoczenia, maksymalną temperaturę procesora i całkowite zużycie energii przez serwer. Pokazują one, że nawet przy wydajności niższej niż maksymalna wydajność systemu JetCool Smartplate, system ten osiąga maksymalną wydajność chłodzonego powietrzem, z pewnym zapasem.
Wydajność chłodzenia powietrzem
| Prędkość wentylatora %PWM | Temperatura otoczenia (C) mierzona za pomocą TC | Maksymalna globalna temperatura procesora (CPU 1) | Maksymalna globalna temperatura procesora (CPU 2) | Moc serwera (waty) |
|---|---|---|---|---|
| 100% | 24.8 | 62 | 62 | 1340.97 |
| 90% | 24.9 | 64 | 62 | 1279.8 |
| 80% | 24.3 | 65 | 64 | 1218.07 |
| 70% | 24.0 | 66 | 66 | 1171.23 |
| 60% | 23.9 | 67 | 68 | 1133.23 |
| 50% | 23.03 | 70 | 71 | 1094.87 |
Wydajność JetCool SPS
| Prędkość wentylatora %PWM | Temperatura otoczenia (C) mierzona za pomocą TC | Maksymalna globalna temperatura procesora (CPU 1) | Maksymalna globalna temperatura procesora (CPU 2) | Moc serwera (waty) |
|---|---|---|---|---|
| 100% | 24.6 | 57 | 56 | 1393.47 |
| 90% | 24.15 | 58 | 57 | 1327.95 |
| 80% | 23.9 | 59 | 58 | 1265.47 |
| 70% | 23.8 | 60 | 59 | 1217.43 |
| 60% | 23.7 | 62 | 62 | 1179.33 |
| 50% | 23.5 | 65 | 65 | 1149.70 |
Biorąc pod uwagę różnicę w poborze mocy między wentylatorami a systemem JetCool Smartplate, procesory w tym systemie miały temperaturę 62°C, system chłodzony powietrzem pracował na najwyższych obrotach wentylatora, a system JetCool SPS miał tylko 60%. Różnice w wydajności chłodzenia zapewniane przez system JetCool SPS przełożyły się na zmniejszenie zużycia energii o 214 W przy tej samej wydajności. Ta redukcja mocy, pomnożona przez zaledwie pięć serwerów, daje około 1 kW oszczędności energii.
| Air vs. JetCool | Prędkość wentylatora %PWM | Temperatura otoczenia (C) mierzona za pomocą TC | Maksymalna globalna temperatura procesora (CPU 1) | Maksymalna globalna temperatura procesora (CPU 2) | Moc serwera (waty) |
|---|---|---|---|---|---|
| Chłodzony powietrzem | 100% | 24.8 | 62 | 62 | 1393.47 |
| JetCool SPS | 60% | 23.7 | 62 | 62 | 1179.33 |
| Różnica | 214.14 |
Nie opieraliśmy się wyłącznie na danych z JetCool. Poniższy wykres przedstawia stabilność temperaturową rozwiązania JetCool przy stałym obciążeniu podczas naszych testów. Uruchomiliśmy Y-Cruncher na Pi BBP Digit Extraction z dokładnością do 10 bilionów cyfr, z dokładnością do około 40 minut.
W tym teście zaobserwowaliśmy spadek częstotliwości taktowania rdzenia do 2300 MHz pod obciążeniem i utrzymanie jej na stałym poziomie, z wyjątkiem kilku skoków. W tym teście system SmartPlate został przetestowany pod kątem utrzymania temperatury na stałym poziomie i nie zawiódł. Podczas około 40 minut ciągłego obciążenia temperatura procesora wzrosła do 60°C i osiągnęła szczyt zaledwie 61°C, a następnie gwałtownie spadła po teście.
Wydajność wzorcowa
Oprócz testów termicznych, uruchomiliśmy nasz standardowy zestaw serwerów. Nie mamy dobrych porównań dedykowanych procesorów Intel „Q” z chłodzeniem cieczowym, ale mimo to prezentujemy te dane, jeśli pomogą one osobom porównującym wydajność tej konfiguracji z innymi, które testowaliśmy w przeszłości.
- Dell PowerEdge R760
- Procesory: 2x Intel Xeon Platinum 8470Q (52 rdzenie, 104 wątki każdy)
- Pamięć: 768 GB (12 x 64 g) 5600 MHz DDR5
Cinebench 2024
W teście Cinebench 2024 firmy Maxon uzyskaliśmy 5,215 punktów w teście wielordzeniowym, 71 punktów w teście jednordzeniowym i współczynnik MP na poziomie 73.53x.
| Cinebench 2024 | JetCool R760 (2x Xeon Platinum 8470Q, 768 GB DDR5) |
|---|---|
| Procesor wielordzeniowy | 5,215 pkt |
| Procesor jednordzeniowy | 71 pkt |
| Współczynnik MP | 73.53x |
Cinebench R23
W teście Cinebench R23 firmy Maxon uzyskaliśmy 105 569 punktów w teście wielordzeniowym, 1,252 punkty w teście jednordzeniowym i współczynnik MP wynoszący 84.32x.
| Cinebench R23 | JetCool R760 (2x Xeon Platinum 8470Q, 768 GB DDR5) |
|---|---|
| Procesor wielordzeniowy | 105,569 |
| Procesor jednordzeniowy | 1,252 |
| Współczynnik MP | 84.32x |
Procesor Blendera 4.0
W testach procesora Blender 4.0 platforma JetCool R760 osiągnęła wyniki 948.049 dla systemu Monster, 630.348 dla systemu Junkshop i 476.018 dla systemu Classroom.
| Procesor Blendera 4.0 | JetCool R760 (2x Xeon Platinum 8470Q, 768 GB DDR5) |
|---|---|
| Potwór | 948.049 |
| Sklep ze złomem | 630.348 |
| Sala szkoleniowa | 476.018 |
Procesor Blendera 4.1
W testach procesora Blender 4.1 platforma JetCool R760 osiągnęła wyniki 930.390 dla systemu Monster, 644.007 dla systemu Junkshop i 473.364 dla systemu Classroom.
| Procesor Blendera 4.1 | JetCool R760 (2x Xeon Platinum 8470Q, 768 GB DDR5) |
|---|---|
| Potwór | 930.390 |
| Sklep ze złomem | 644.007 |
| Sala szkoleniowa | 473.364 |
Procesor Geekbench 6
W teście Geekbench 6 procesora platforma JetCool R760 osiągnęła wynik 1,814 w teście jednordzeniowym i wynik 19 076 w teście wielordzeniowym.
| Procesor Geekbench 6 | JetCool R760 (2x Xeon Platinum 8470Q, 768 GB DDR5) |
|---|---|
| Wynik pojedynczego rdzenia | 1,814 |
| Wynik dla wielu rdzeni | 19,076 |
Test szybkości Blackmagic RAW
W teście szybkości Blackmagic Raw osiągnęliśmy 141 FPS na procesorach Dual Xeon Platinum 8470Q.
| RAW czarnej magii | JetCool R760 (2x Xeon Platinum 8470Q, 768 GB DDR5) |
|---|---|
| Procesor 8K | 141 FPS |
Test szybkości dysku Blackmagic
W ramach testu szybkości dysku Blackmagic Disk testujemy konfigurację czterech dysków SSD Dell NVME w macierzy Raid0.
| Test szybkości dysku Blackmagic | JetCool R760 (2x Xeon Platinum 8470Q, 768 GB DDR5) |
|---|---|
| Pisać | 11,704.1 MB / s |
| Czytaj | 9,762.7 MB / s |
Y-Cruncher
Y-cruncher to wielowątkowy i skalowalny program, który potrafi obliczać Pi i inne stałe matematyczne z dokładnością do bilionów cyfr. Od premiery w 2009 roku stał się popularną aplikacją do benchmarkingu i testów obciążeniowych dla overclockerów i entuzjastów sprzętu. W tym przypadku platforma JetCool okazała się imponująco szybka pod każdym względem.
| Y-Cruncher | JetCool R760 (2x Xeon Platinum 8470Q, 768 GB DDR5) |
|---|---|
| 1B | Sekundy 5.270 |
| 2.5B | Sekundy 14.405 |
| 5B | Sekundy 31.490 |
| 10B | Sekundy 67.704 |
| 25B | Sekundy 191.599 |
| 50B | Sekundy 423.891 |
7-Zip
Popularne narzędzie 7-Zip zawiera testy porównawcze pamięci i procesora, których używamy do testowania wydajności.
| Zip 7 | JetCool R760 (2x Xeon Platinum 8470Q, 768 GB DDR5) |
|---|---|
| Ściskanie | |
| Aktualne użycie procesora | 3,546% |
| Aktualna ocena / zastosowanie | 4.849 GIPS |
| Prądu | 171.925 GIPS |
| Wynikowe użycie procesora | 2,551% |
| Wynikowa ocena / wykorzystanie | 4.879 GIPS |
| Wynikowa ocena | 173.263 GIPS |
| Dekompresja | |
| Aktualne użycie procesora | 3,865% |
| Aktualna ocena / zastosowanie | 4.060 GIPS |
| Prądu | 156.886 GIPS |
| Wynikowe użycie procesora | 3,880% |
| Wynikowa ocena / wykorzystanie | 4.038 GIPS |
| Wynikowa ocena | 156.689 GIPS |
| Ocena całkowita | |
| Całkowite użycie procesora | 3,716% |
| Całkowita ocena / wykorzystanie | 4.458 GIPS |
| Ocena całkowita | 164.976 GIPS |
UL Procyon 2.7 AI Computer Vision
W przypadku UL Procyon AI Computer Vision zaobserwowaliśmy dość szybkie czasy wnioskowania aż do REAL-ESRGAN. Ostatecznie uzyskaliśmy łączny wynik 141 punktów. W tym teście do wnioskowania wykorzystano procesory Xeon Platinum 8470Q.
W celu porównania z innymi maszynami, UL ogłosiło, że nie wszystkie wersje Procyon wcześniejsze niż 2.7 będą porównywalne ze względu na różnice w punktacji.
| Czasy wnioskowania Procyon | JetCool R760 (2x Xeon Platinum 8470Q, 768 GB DDR5) |
|---|---|
| Ogólna ocena | 141 |
| Sieć komórkowa V3 | 7.53 ms |
| ResNet50 | 9.14 ms |
| Incepcja V4 | 29.64 ms |
| DeepLab V3 | 26.52 ms |
| YOLO V3 | 31.51 ms |
| REAL-ESRGAN | 1,123.52 ms |
Wniosek
Dzięki opatentowanym konfiguracjom dysz JetCool, lokalnemu chłodzeniu i niższemu zapotrzebowaniu na ciśnienie, radiatory JetCool SmartPlates wykazują przewagę nad tradycyjnymi radiatorami. Co więcej, to rozwiązanie nie jest skomplikowane, a JetCool stosuje kilka ciekawych rozwiązań, takich jak opatentowane dysze w radiatorach SmartPlates, które wtłaczają chłodziwo do gorących punktów. Zasadniczo jednak, gdyby Twoja organizacja posiadała serwer R760 z systemem JetCool, nie zauważyłabyś tego z zewnątrz, gdybyś nie zauważyła cichszej pracy w porównaniu z serwerami chłodzonymi powietrzem.
Firma JetCool opublikowała w 2023 roku studium przypadku z Sabey Data Centers, aby ocenić różnice w wydajności, testując serwery Poweredge R740XD. „W ocenie Sabey, serwer chłodzony systemem SmartPlate odnotował 13.5% spadek zużycia energii w porównaniu z serwerami chłodzonymi powietrzem. Ponieważ płyn chłodzący systemu pochłania ciepło bezpośrednio z podzespołów elektronicznych za pośrednictwem płyt chłodzących, eliminuje to potrzebę intensywnego przepływu powietrza, co znacznie zmniejsza prędkość obrotową wentylatorów”. Sabey dostrzegł również wiele innych korzyści, w tym niższą temperaturę spalin i mniejsze obciążenie central wentylacyjnych. Dalszą część studium przypadku Sabey można znaleźć tutaj.
Centra danych już teraz muszą sprostać ogromnemu zapotrzebowaniu na energię nowoczesnych serwerów, wynikającemu z ogromnego poboru mocy przez procesory CPU i GPU. Chłodzenie cieczą to jedyne rozwiązanie, które może sprostać tym potrzebom. Na szczęście istnieje wiele opcji chłodzenia cieczą, ale nie każdy może lub chce zainstalować pełną pętlę chłodzenia cieczą z przyłączem wody użytkowej, zbiornikiem zanurzeniowym ani obsługiwać skomplikowanych chemikaliów. Dla tych, którzy chcą korzystać z zalet chłodzenia cieczą bez komplikacji, JetCool stanowi doskonałą alternatywę.
Amazon