ASHRAE TC 9.9, komitet techniczny będący właścicielem większości wytycznych dotyczących termiki w branży centrów danych, opublikował bezpłatny biuletyn techniczny zatytułowany TCS Coolant Integrity and System Readiness Best Practices, który rozpoczyna się od ostrzeżenia bardziej szczegółowego niż w przypadku innych dokumentów organów normalizacyjnych: „Zbyt łatwo jest naruszyć wymagania operacyjne i gwarancyjne dotyczące systemu chłodzenia bezpośredniego na chipie”.
Wydany w maju i opublikowany na stronie komisji z dokumentami publicznymi, biuletyn kataloguje cztery obszary, w których system chłodzenia technologicznego (TCS) może odbiegać od założeń projektowych w sposób, który pozostaje niewidoczny podczas uruchomienia, a ujawnia się jako uszkodzenie wiele miesięcy później. Harmonogram śledzi falę wdrożeń chłodzenia cieczą bezpośrednio do układu scalonego, które gęstość procesorów klasy AI napędza w głównych centrach danych.
Sprzęt do dystrybucji chłodziwa, taki jak PowerCool CDU firmy Dell, funkcjonuje lub umiera w oparciu o zasady dotyczące płynów określone w nowym biuletynie.
Jeśli ten materiał brzmi znajomo, to tak powinno być. Tim Shedd z Della omówił dokładnie ten temat w zeszłym tygodniu w podcaście nr 152 , od chemii chłodziwa i filtracji po to, dlaczego skróty w uruchomieniu systemu okazują się awariami długo po odejściu ekipy instalacyjnej, i wspomniał o zbliżającym się wydaniu tego biuletynu. Jest on wymieniany wśród jego autorów, obok Meraja Mohebi z Della, Dustina Demetriou z IBM, Ashwina Siddartha z AMD, Chrisa Campbella z Vertiv, Valiego Sorella z Oracle oraz inżynierów z Fluid2Chip i DLB Associates – grupy obejmującej wielu dostawców, co odzwierciedla, jak bardzo ten problem stał się powszechny.
Tim Shedd przedstawił tematykę biuletynu w podcaście nr 152.
Cztery ścieżki porażki
Skład chłodziwa jest najważniejszy, ponieważ wszystkie elementy instalacji są dobierane pod jego kątem. Większość instalacji jednofazowych jest projektowana z wykorzystaniem nominalnej mieszanki glikolu propylenowego (PG25) o zawartości 25%, a biuletyn szczegółowo opisuje, jak odchylenie od składu bazowego projektu zmienia lepkość, gęstość, ciepło właściwe i przewodność cieplną, co prowadzi do zmiany spadku ciśnienia, przesunięcia punktu pracy pompy, obniżenia sprawności wymiennika ciepła, a nawet stabilności sterowania CDU. Glikol powinien spełniać minimalne wymagania jakościowe określone w TC 9.9 lub specyfikację producenta sprzętu IT, a mieszanie chłodziw bez potwierdzenia wpływu tych zmian jest jednym z wyraźnych powodów przeprowadzenia tego, co biuletyn nazywa ustrukturyzowanym przeglądem technicznym.
Zarządzanie powietrzem to podstawa. Uwięzione powietrze obniża efektywność wymiany ciepła, powoduje kawitację pomp, przyspiesza korozję i wydłuża harmonogramy uruchomień, a biuletyn szczegółowo opisuje mechanizm, który zaskakuje zespoły: odgazowywanie jest najskuteczniejsze w podwyższonych temperaturach, które pętla może osiągnąć tylko przy dużym obciążeniu, więc problemy z powietrzem mogą pojawić się tygodnie po uruchomieniu, gdy system ustabilizuje się w temperaturach. Wskazówki obejmują umieszczenie separatora na ciepłym, niskociśnieniowym powrocie w pobliżu wlotu CDU, odpowietrzanie w każdym punkcie wysokiego ciśnienia oraz unikanie geometrii pułapek, pionowych martwych odnóg, odwróconych kolanek w kształcie litery U i niewentylowanych przewodów elastycznych, które mogą utrzymywać powietrze przez nieskończoność.
Pasywacja stali nierdzewnej jest tematem biuletynu. Spawanie, szlifowanie i obróbka w terenie uszkadzają warstwę tlenku chromu, która nadaje stali nierdzewnej odporność na korozję. Bez odpowiedniego czyszczenia i ponownej pasywacji, zgodnie z procedurami ASTM A380/A967, wolne żelazo przedostaje się do chłodziwa i zanieczyszcza powierzchnie mikrokanalików, od których zależą płyty chłodzące – te same struktury turbulatorów, które badaliśmy z bliska podczas naszego dogłębnego badania płyt chłodzących Chilldyne , gdzie jakość płynu decyduje o tym, czy te drobne struktury będą nadal odprowadzać ciepło, czy się zablokują. Zasada, na której opiera się biuletyn, jest bezwzględna: „Pojedynczy zainstalowany komponent, który NIE jest pasywowany, może zagrozić działaniu systemu”.
Wartości ciśnienia w systemie uzupełniają cztery. Komitet zaleca pełny hydrauliczny model kaskady ciśnieniowej, obejmujący nie tylko pracę w stanie ustalonym, ale także ciśnienia przepłukiwania i napełniania, wysokość statyczną, ustawienia zaworów bezpieczeństwa, wstępne napełnienie zbiornika wyrównawczego oraz stany przejściowe związane z podłączaniem i odłączaniem urządzeń. Komitet wskazuje również na wymóg normy IEC 62368-1 dotyczący hydrostatycznego testu bezpieczeństwa przy ciśnieniu 1.5-krotnie wyższym od maksymalnego ciśnienia roboczego, z zaworami bezpieczeństwa ustawionymi poniżej maksymalnego ciśnienia znamionowego podanego przez producenta sprzętu IT w jego szablonie termicznym. Projektowany tryb awarii jest kosztowny: nadmierne ciśnienie w samym sprzęcie IT.
Od wskazówek do listy kontrolnej w terenie
Tylna część biuletynu staje się operacyjna i najwyraźniej została napisana przez osoby, które uległy poparzeniom. Stężenie i jakość płynu chłodzącego powinny być weryfikowane laboratoryjnie przy pierwszym napełnieniu, po każdym znaczącym dodaniu płynu uzupełniającego oraz w regularnych odstępach czasu, przy czym specyfikacja płynu bazowego dla projektu powinna być udokumentowana w dokumentach dostawy. Napełnianie próżniowe, coraz popularniejsza technika usuwania uwięzionego powietrza, ma pewne zastrzeżenie, którego nie widzieliśmy nigdzie indziej: mieszaniny glikolu mogą częściowo rozdzielić się pod wpływem próżni, dlatego komisja zaleca pobranie próbek i przeprowadzenie badań laboratoryjnych po napełnieniu próżniowym, aby potwierdzić, że mieszanina pozostaje jednorodna. Istnieje praktyczne rozstrzygnięcie sporu o automatyczny lub ręczny odpowietrznik (zatkać automatyczne odpowietrzniki lub odizolować je zaworem po potwierdzeniu braku powietrza w obiegu, zamiast wymieniać osprzęt), a cały dokument kończy się listą kontrolną weryfikacji terenowej, która mapuje każdy obszar ryzyka na to, co należy zweryfikować, akceptowalne dowody i dlaczego jest to ważne – strona, którą agenci ds. uruchomień mogą bezpośrednio włączyć do swoich planów zapewnienia jakości.
Biuletyn jest uzupełnieniem dokumentu TC 9.9 „Chłodzenie cieczą: Wskazówki dotyczące odporności wdrożeń płyt chłodzących” z 2024 roku i zawiera standardowe zastrzeżenie: ma charakter informacyjny i nie zastępuje wymagań producentów sprzętu IT ani przepisów lokalnych. Godzinny odcinek podcastu Shedda stanowi dobry dodatek do rozmowy o tym, dlaczego ta dziedzina hydrauliczna jest ważna.
Amazon