Wraz ze skalowaniem obciążeń AI i HPC, rośnie również ich zapotrzebowanie na energię i chłodzenie. Nowoczesne procesory graficzne (GPU), w tym NVIDIA RTX PRO 6000 Blackwell Server Edition, mogą pobierać do 600 W, co powoduje ogromne obciążenie termiczne tradycyjnej infrastruktury centrów danych. O ile serwery chłodzone powietrzem mogą obsłużyć te procesory graficzne, utrzymanie stabilnej wydajności przy takim poziomie gęstości to zupełnie inna sprawa. Koszt przepływu powietrza przez szafy rack wypełnione procesorami graficznymi o dużej mocy gwałtownie rośnie, szczególnie w regionach o wysokich kosztach energii elektrycznej, takich jak północna Europa, północno-wschodnie Stany Zjednoczone i niektóre części Azji i Pacyfiku. Na tych rynkach chłodzenie zanurzeniowe zapewnia wymierne korzyści operacyjne i ekonomiczne.
Serwer Trident iGW610R-G6 firmy Hypertec został zaprojektowany z myślą o tej rzeczywistości. W przeciwieństwie do serwerów modernizowanych, które dostosowują konstrukcje chłodzone powietrzem do środowisk płynnych, rodzina serwerów Trident została zaprojektowana z myślą o zanurzeniu w cieczy dielektrycznej, począwszy od pierwszego układu PCB. Ta nowa platforma Hypertec o wysokości 1U obsługuje do czterech procesorów graficznych o pełnej wysokości i pełnej długości w 21-calowym układzie OCP, zapewniając równowagę między gęstością obliczeniową a stabilnością termiczną.
Przeprowadziliśmy testy Trident iGW610R-G6 w laboratorium Hypertec w Montrealu, początkowo przeprowadzając testy zdalne, a następnie przenosząc się na miejsce, aby zarejestrować i obserwować system w działaniu. Testowana konfiguracja składała się z pojedynczego procesora graficznego NVIDIA H100 i dysków SSD Solidigm, pracujących w zbiorniku zanurzeniowym Submer wypełnionym płynem dielektrycznym Castrol. Przy stałym obciążeniu Trident utrzymywał niezwykle stabilny profil temperaturowy, a różnice temperatur między komponentami utrzymywały się w wąskim zakresie. Ta spójność znacznie zmniejsza cykle termiczne, będące główną przyczyną wielu długoterminowych problemów z niezawodnością w systemach o wysokiej wydajności.
Korzyści z zanurzenia wykraczają poza kontrolę temperatury. Dzięki stabilnym warunkom termicznym, procesory graficzne mogą utrzymywać szczytowe taktowanie bez dławienia, procesory CPU działają z mniejszą zmiennością, a urządzenia pamięci masowej zapewniają spójną przepustowość wejścia/wyjścia. Ta jednorodność przekłada się na większą niezawodność, przewidywalną wydajność i bardziej efektywne wykorzystanie energii w przeliczeniu na jednostkę rack – kluczowe korzyści dla organizacji budujących środowiska AI i HPC na dużą skalę.
Niniejsza ocena opiera się na naszej wcześniejszej współpracy z Hypertec, szczegółowo opisanej w dokumencie „ Edge AI Anywhere: This Immersion-Cooled Mobile Data Center Makes It Possible” . Projekt ten pokazał potencjał mobilnej infrastruktury AI na brzegu sieci dzięki immersji. W tym przypadku uwaga skupia się na wdrożeniu w stacjonarnym centrum danych, pokazując, jak Trident iGW610R-G6 i otaczający go ekosystem firm Submer i Castrol zapewniają praktyczną wydajność w skali rack dla gęstych obliczeń GPU.
Projekt i budowa TRIDENT iGW610R-G6
TRIDENT iGW610R-G6 wyróżnia się zupełnie innym podejściem niż konwencjonalne serwery rack chłodzone powietrzem. Na pierwszy rzut oka widać, że nie ma tradycyjnej pokrywy górnej, przez co główne podzespoły są całkowicie odsłonięte od płynu immersyjnego. Ta otwarta konstrukcja obudowy maksymalizuje powierzchnię styku, zapewniając efektywny transfer ciepła w płynie dielektrycznym, eliminując potrzebę stosowania wewnętrznych wentylatorów i kanałów powietrznych. Każdy element systemu został zaprojektowany z myślą o jednofazowym chłodzeniu zanurzeniowym, w którym energia cieplna jest równomiernie pochłaniana i odprowadzana przez otaczający płyn, a nie przez przepływ powietrza. Rezultatem jest cicha, wolna od wibracji platforma zoptymalizowana pod kątem gęstych, wysokowydajnych środowisk obliczeniowych.
Pod względem fizycznym obudowa zachowuje format 1U, mierząc 33.46 × 21.06 × 1.75 cala i ważąc około 72 funtów (32.6 kilograma) po pełnym obciążeniu. Pomimo niskiego profilu, konstrukcja jest niezwykle praktyczna, z czterema dostępnymi od przodu zatokami E1.S NVMe i łatwo dostępnymi gniazdami PCIe, umieszczonymi w obudowie umożliwiając szybką wymianę podzespołów. Konstrukcja integruje się bezpośrednio z wiodącymi systemami zbiorników zanurzeniowych, zapewniając kompatybilność plug-and-play bez konieczności stosowania specjalistycznych obudów sprzętowych lub elementów sterujących przepływem powietrza.
Nasz egzemplarz testowy został skonfigurowany z dwoma procesorami Intel Xeon 6530, każdy z 32 rdzeniami i 160 MB pamięci podręcznej, o TDP do 350 W na gniazdo. Chłodzenie zapewniają specjalnie zaprojektowane, zoptymalizowane pod kątem zanurzenia radiatory z litej miedzi z indowo-foliowym materiałem termoprzewodzącym, zapewniającym efektywny transfer ciepła do cieczy. Zespół procesorów jest sparowany z 32 modułami DDR5 RDIMM (każdy o pojemności 32 GB) o przepustowości 4800 MT/s, co zapewnia wystarczającą przepustowość dla zadań związanych ze sztuczną inteligencją, obliczeniami HPC i analizą danych.
Konfiguracja pamięci masowej jest kluczowym atutem tego systemu. Oprócz dwóch dysków SSD M.2 NVMe o pojemności 1 TB dla systemu operacyjnego, system zawiera cztery dyski Solidigm D5-P5430 E1.S o pojemności 7.68 TB, stanowiące główną warstwę danych. Te dyski EDSFF zapewniają zarówno wysoką gęstość, jak i imponującą wydajność, wykorzystując wydajność PCIe 4.0 w kompaktowej obudowie. Format E1.S idealnie nadaje się do środowisk immersyjnych, gdzie tacki na dyski z przodu umożliwiają beznarzędziową wymianę bez opróżniania lub podnoszenia obudowy. Dyski Solidigm przyczyniają się również do ogólnej równowagi między szybkością, wytrzymałością i wydajnością termiczną serwera, dzięki czemu doskonale nadają się do przechowywania modeli AI, stagingu danych i wysokoprzepustowych potoków wnioskowania.
System obsługuje do czterech akceleratorów o podwójnej szerokości, umożliwiając użytkownikom skalowanie gęstości obliczeniowej w zależności od potrzeb. Obsługa sieci odbywa się za pomocą dwuportowego modułu 10GBase-T OCP 3.0 z obsługą 1 GbE, co zapewnia szeroką kompatybilność z istniejącymi strukturami centrów danych.
Zasilanie zapewniają redundantne zasilacze 1+1 80 PLUS Titanium CRPS o mocy 3000 W, zapewniające stabilną wydajność pod dużym obciążeniem, przy jednoczesnym zachowaniu wysokiej sprawności energetycznej. Ponieważ serwer jest całkowicie zanurzony, nie jest wymagany aktywny przepływ powietrza, co eliminuje hałas wentylatora i zapobiega gromadzeniu się kurzu. Taka konstrukcja nie tylko upraszcza konserwację, ale także wydłuża żywotność podzespołów i poprawia ogólną niezawodność.
Firma Hypertec szacuje, że wdrożenie systemu iGW610R-G6 w trybie immersyjnym może przynieść 95% redukcję kosztów chłodzenia i nawet 60% wydłużenie żywotności sprzętu, przy niezależnie certyfikowanym wskaźniku PUE na poziomie 1.03. W połączeniu z potencjałem ponownego wykorzystania energii wynikającym z wychwytywania do 99% ciepła odpadowego, system pokazuje, jak gęstość wydajności i zrównoważony rozwój mogą skutecznie współistnieć.
Przegląd zarządzania TRIDENT iGW610R-G6
Urządzenie TRIDENT iGW610R-G6 zostało zbudowane na płycie głównej z kontrolerem ASPEED AST2600 Baseboard Management Controller (BMC), zapewniającym pełną zgodność z IPMI 2.0, iKVM i obsługą nośników wirtualnych. Ta platforma zarządzania out-of-band umożliwia administratorom monitorowanie, konfigurowanie i zdalne zarządzanie systemem niezależnie od stanu systemu operacyjnego. Funkcje te są niezbędne w przypadku wdrożeń o dużej gęstości i chłodzeniu zanurzeniowym.
Interfejs internetowy jest przejrzysty i łatwy w obsłudze, a lewy panel zapewnia szybki dostęp do sekcji Pulpit nawigacyjny, Informacje o systemie, Czujniki, Dzienniki i raporty oraz Sterowanie zasilaniem. Każdy obszar zapewnia szczegółowy wgląd w stan systemu, dane czujników, poziomy oprogramowania układowego i stany zasilania. Pulpit nawigacyjny wyświetla informacje o czasie sprawności, dziennikach dostępu i komponentach na pierwszy rzut oka, zapewniając przejrzysty przegląd stanu systemu bez konieczności instalowania dodatkowego oprogramowania.
Podczas pracy w środowisku immersyjnym te możliwości zdalne są szczególnie cenne. Zamiast fizycznego wkładania nośników lub urządzeń peryferyjnych do zbiornika oleju, administratorzy mogą wdrażać systemy operacyjne, montować obrazy i przeprowadzać aktualizacje za pośrednictwem nośników wirtualnych. Skraca to czas konserwacji i zapewnia czystość, wydajność i bezpieczeństwo działania sprzętu pod wodą.
Przegląd systemu pulpitu nawigacyjnego
Główny panel wyświetla liczbę godzin pracy, wersje oprogramowania sprzętowego, szczegóły sieci i stan karty graficznej. Służy on jako centralny panel stanu platformy TRIDENT, a kontroler BMC zapewnia dane telemetryczne dotyczące temperatury, napięcia i czujników, dostępne za pośrednictwem poleceń IPMI lub narzędzi monitorujących SNMP.
Inwentarz procesorów
Strona „Procesor” zawiera listę każdego gniazda, w tym jego model, liczbę rdzeni i status. Ta jednostka jest wyposażona w dwa procesory Intel Xeon Gold 6530. Każdy procesor ma 32 rdzenie, wykorzystuje architekturę x86, jest zainstalowany w gniazdach CPU1 i CPU2 oraz jest włączony. Strona podaje maksymalną prędkość 4,000 MHz oraz potwierdza architekturę i rodzinę, ułatwiając sprawdzenie, czy oba procesory są obecne, sprawne i obsługują oczekiwany mikrokod.
Inwentaryzacja kontrolerów pamięci
Strona kontrolera pamięci wyświetla wszystkie moduły DIMM, w tym ich pojemność, producentów, numery seryjne, numery części, stany i prędkości operacyjne. W naszej konfiguracji każde gniazdo jest wyposażone w moduły Micron DDR5 RDIMM o pojemności 32 768 MiB (numer części MTC20F1045S1RC48BA22), które są włączone i działają z częstotliwością 4400 MHz, przy maksymalnej dozwolonej częstotliwości 4800 MHz. Widok tabeli ułatwia sprawdzanie zapełnienia kanałów i pomaga potwierdzić spójność taktowania we wszystkich bankach.
Inwentarz magazynowy
Karta Pamięć masowa wyświetla podłączone dyski i kontrolery. W naszym systemie widzimy, że dyski SSD Solidigm D5-P5430 E1.S NVMe służą jako pamięć podstawowa, a dyski Samsung 990 Pro 1 TB M.2 obsługują system operacyjny. Wyświetlana jest wersja oprogramowania układowego, prędkość interfejsu i status szyfrowania każdego dysku, co upraszcza weryfikację podsystemu pamięci masowej bez otwierania obudowy.
Wydajność termiczna TRIDENT iGW610R-G6
Zachowanie termiczne odgrywa kluczową rolę w długoterminowej niezawodności systemu, a Hypertec Trident iGW610R-G6 został zaprojektowany z myślą o pracy w zanurzeniu. Zamiast polegać na ruchu powietrza nad radiatorami w celu odprowadzania energii z komponentów o dużej gęstości, Trident pracuje całkowicie zanurzony w cieczy dielektrycznej, która przewodzi ciepło bezpośrednio z podzespołów do kontrolowanego obwodu chłodzenia. Taka konstrukcja eliminuje zagrożenia mechaniczne, powszechnie występujące w systemach chłodzonych powietrzem, takie jak awaria wentylatora, zanieczyszczenie pyłem i narażenie na wilgoć. Dzięki izolacji elektroniki od powietrza i wprowadzeniu ciągłej ścieżki cieplnej w cieczy, system utrzymuje wysoce kontrolowane i stabilne środowisko termiczne.
Podczas testów Trident iGW610R-G6 pracował w zbiorniku Submer SmartPod Exo skonfigurowanym do jednofazowego chłodzenia zanurzeniowego. W tej konfiguracji płyn dielektryczny stale krąży w obudowie, pochłaniając ciepło z procesora, karty graficznej i dysków NVMe, a następnie przepływając przez zintegrowane wymienniki ciepła. Przechwycone ciepło jest następnie przekazywane do obiegu wody lodowej w obiekcie, skąd odprowadzane jest do infrastruktury odprowadzania ciepła w budynku. Ta zamknięta konstrukcja utrzymuje stałą temperaturę w całej szafie, zapewniając równomierny przepływ chłodziwa i zapobiegając powstawaniu gorących punktów, które często występują w gęstych konfiguracjach obliczeniowych.
Płyn cyrkulacyjny działa jak zbiornik termiczny o wysokiej pojemności cieplnej. Wraz ze zmianą obciążenia cieplnego, płyn absorbuje i równomiernie rozprowadza energię w całym zbiorniku. Minimalizuje to gradienty temperatury i zapobiega wahaniom na poziomie komponentów, typowym dla centrów danych chłodzonych powietrzem. W tradycyjnych środowiskach zmiany temperatury otoczenia lub prędkości wentylatora mogą powodować wahania temperatury wrażliwych komponentów o kilka stopni. Z czasem te cykle powodują naprężenia fizyczne w połączeniach lutowanych i podłożach. W zanurzeniu efekt ten jest niemal całkowicie wyeliminowany, co zmniejsza zmęczenie mechaniczne i wydłuża żywotność sprzętu.
Aby zmierzyć zachowanie termiczne pod dużym obciążeniem, Trident iGW610R-G6 został poddany obciążeniu wszystkich głównych podsystemów. Zastosowano FIO do ciągłego obciążenia wejścia/wyjścia każdego dysku SSD, a testy obciążeniowe GPU i CPU przeprowadzono w celu podniesienia obciążenia poszczególnych komponentów do 100%. W trakcie testu temperatury komponentów były rejestrowane przez kilka godzin w celu oceny charakterystyki równowagi i fluktuacji.
Wyniki były bardzo spójne. Temperatura procesora ustabilizowała się na poziomie około 52°C, czyli około 13.7°C powyżej stanu spoczynku. Temperatura karty graficznej osiągnęła szczyt około 58°C, wykazując wzrost o 21.1°C. Każdy z czterech dysków SSD Solidigm NVMe wykazywał podobne trendy, utrzymując zakres temperatur od 29°C do 30°C pod obciążeniem, z różnicami od 8.8°C do 9.2°C. Po osiągnięciu stanu równowagi temperatura utrzymywała się na stałym poziomie przez cały czas trwania testu, z minimalnymi wahaniami, co wskazuje na równomierne rozprowadzenie cieczy i efektywne odprowadzanie ciepła przez pętlę energetyczną.
Dane szeregów czasowych potwierdzają tę wydajność. Po wstępnej fazie nagrzewania wszystkie czujniki wyświetlają stabilne, niemal poziome linie temperatury. Nie występują duże oscylacje ani zjawiska dryftu termicznego, co wskazuje, że chłodzenie zanurzeniowe utrzymuje stałą temperaturę, a obieg wody lodowej skutecznie odprowadza ciepło ze zbiornika. Profil termiczny Tridenta pozostał niezwykle przewidywalny nawet podczas długotrwałej pracy z pełnym obciążeniem.
Z punktu widzenia niezawodności, ta stabilność niesie ze sobą znaczące korzyści. Brak wentylatorów ogranicza konieczność konserwacji części ruchomych, a szczelne środowisko zapobiega przedostawaniu się kurzu i utlenianiu złączy. Z czasem te cechy przekładają się na niższy wskaźnik awaryjności i krótszy średni czas między przeglądami. Połączenie platformy Trident iGW610R-G6 z jednofazowym środowiskiem SmartPod Exo firmy Submer zapewnia powtarzalne i odporne rozwiązanie chłodzące, które dobrze skaluje się w przypadku gęstej zabudowy.
Podsumowując, dane termiczne zebrane z Trident iGW610R-G6 pokazują, jak chłodzenie zanurzeniowe z aktywną cyrkulacją cieczy zapewnia nie tylko doskonałe zarządzanie ciepłem, ale także wymierną przewagę w zakresie niezawodności. Dzięki utrzymywaniu stałej temperatury komponentów i eliminacji zależności od warunków otoczenia, system działa w optymalnych granicach niezależnie od obciążenia i czasu trwania, co czyni go idealnym rozwiązaniem dla obciążeń obliczeniowych i pamięci masowej o wysokiej dostępności.
Dlaczego organizacje wybierają immersję
Chłodzenie immersyjne nie jest już technologią eksperymentalną. Organizacje budujące środowiska AI i HPC na dużą skalę wdrażają je już dziś, aby osiągnąć stabilną wydajność termiczną, większą gęstość szaf oraz bardziej efektywne wykorzystanie energii i zasobów. Poniższe przykłady ilustrują, jak platformy oparte na immersji są wdrażane w środowiskach produkcyjnych na znaczącą skalę.
ADACEN
ADACEN wybrał infrastrukturę opartą na technologii immersyjnej, aby wesprzeć rozbudowę swojej platformy sztucznej inteligencji i HPC jako usługi. Dzięki temu organizacja może uruchamiać gęste konfiguracje GPU, upraszczając jednocześnie wymagania dotyczące chłodzenia obiektów i zwiększając długoterminową wydajność operacyjną.
„Współpracujemy z Hypertec, ponieważ ich technologia oparta na immersji daje nam przewagę operacyjną i w zakresie zrównoważonego rozwoju, której chłodzenie powietrzem lub cieczą bezpośrednio do układu scalonego po prostu nie jest w stanie zapewnić. Ich w pełni zaprojektowane platformy immersyjne pozwalają nam wdrażać zasoby CPU i GPU o wyższej gęstości, zmniejszać zużycie energii podczas chłodzenia o ponad 90% i eliminować mechaniczne punkty awarii. Systemy Hypertec umożliwiają nam efektywne skalowanie naszych obciążeń AI/HPC w modelu as-a-service, jednocześnie realizując nasze cele wydajnościowe i ESG – dlatego stanowią one kluczowy element naszej strategii AI”. – Bernard Westwood, Dyrektor ds. Operacji Przychodowych, ADACEN.
ADACEN reprezentuje jeden z modeli wdrażania o wysokiej gęstości w infrastrukturze hostowanej. Środowiska obliczeniowe wykorzystywane w badaniach wykazują podobne czynniki i wyniki.
Uniwersytet Waterloo
Uniwersytet Waterloo wdraża 700 węzłów w dziewięciu zbiornikach immersyjnych, aby wspierać obliczenia badawcze nowej generacji. Przejście na obliczenia immersyjne umożliwia tworzenie klastrów GPU o wysokiej gęstości, charakteryzujących się spójnym zachowaniem termicznym i zmniejszoną złożonością infrastruktury.
„W przypadku Nibi wybraliśmy chłodzenie zanurzeniowe, ponieważ oferuje ono wyjątkową wydajność i niezawodność, a jednocześnie upraszcza konstrukcję naszego centrum danych. Serwery Hypertec z chłodzeniem zanurzeniowym ułatwiły wdrożenie obliczeń o wysokiej gęstości bez złożoności tradycyjnych systemów chłodzenia powietrzem lub cieczą. To podejście poprawia wydajność i stabilność oraz wspiera nasz cel, jakim jest budowa bardzo zrównoważonego i energooszczędnego środowiska HPC”. – John Morton, Dyrektor ds. Technologii w SHARCNET, Uniwersytet Waterloo.
Wdrożenia te pokazują, że immersja jest już wykorzystywana do zapewniania przewidywalnej wydajności na dużą skalę. Stanowią one zaledwie dwa przykłady wielu organizacji przyjmujących to podejście.
Wniosek
Nasza ocena Hypertec Trident iGW610R-G6 wykazała, że chłodzenie immersyjne zapewnia stały wzrost wydajności w konfiguracjach z gęstą architekturą GPU i pamięci masowej. Przy stałym obciążeniu system utrzymywał wąskie, stabilne różnice temperatur, bez dryftu termicznego ani oscylacji. Procesory i karty graficzne utrzymywały stałe punkty pracy pod obciążeniem, a dyski Solidigm E1.S zapewniały stabilną przepustowość wejścia/wyjścia przy jedynie niewielkich wahaniach temperatury. Ten poziom stabilności termicznej bezpośrednio zmniejsza obciążenie komponentów i minimalizuje warunki, które zazwyczaj powodują przedwczesne zużycie.
Wyniki te są zgodne z tym, co zgłaszają duzi operatorzy w środowiskach produkcyjnych. ADACEN odnotowuje wymierną redukcję rocznego wskaźnika awaryjności (AFR) w instalacjach zanurzeniowych, dzięki zmniejszeniu cykli termicznych oraz wyeliminowaniu wibracji wentylatora i narażenia na zanieczyszczenia cząstkami stałymi. Rezultatem jest zwiększona niezawodność w dłuższej perspektywie, zmniejszona częstotliwość konserwacji i większa ciągłość usług na dużą skalę.
Wdrożenie 700 węzłów w dziewięciu zbiornikach zanurzeniowych na Uniwersytecie Waterloo dodatkowo potwierdza, że chłodzenie zanurzeniowe jest stosowane jako praktyczna strategia budowy i rozbudowy klastrów obliczeniowych o wysokiej gęstości. Efektywność operacyjna, stabilność działania i uproszczone wymagania dotyczące infrastruktury sprawiają, że rozwiązanie to doskonale nadaje się dla organizacji planujących uruchamianie obciążeń AI i HPC na dużą skalę.
Chłodzenie immersyjne już teraz zapewnia stabilną wydajność i efektywność operacyjną w środowiskach produkcyjnych. Wraz ze wzrostem gęstości obliczeniowej i zużycia energii, platformy zaprojektowane z myślą o immersji, takie jak Trident iGW610R-G6, oferują praktyczną i zrównoważoną drogę rozwoju dla wdrożeń AI i HPC na dużą skalę.
Niniejszy raport jest sponsorowany przez firmę Solidigm. Wszystkie poglądy i opinie wyrażone w niniejszym raporcie opierają się na naszej obiektywnej ocenie rozpatrywanego produktu/produktów.
Amazon