Подкаст № 152: Теплодинамика и архитектуры охлаждения центров обработки данных. С Тимом Шеддом.

Недавно Брайан пообщался с Тимом Шеддом, экспертом по управлению тепловыми процессами и пионером в области технологий жидкостного охлаждения. В подкасте обсуждаются некоторые исторические аспекты жидкостного охлаждения центров обработки данных, начиная с работы Тима с компанией Cray и распыления жидкости по трубкам и заканчивая его недавним опытом работы с Dell PowerEdge XE9680.

Тим Шедд — эксперт отрасли и инженер-механик, специализирующийся на управлении тепловыми процессами, жидкостном охлаждении и инфраструктуре центров обработки данных. За свою карьеру, включающую академические исследования в качестве профессора в Университете Висконсин-Мэдисон, работу на ключевых инженерных должностях в Motivair и руководящие технические должности в организации CTO компании Dell Technologies, он находится на переднем крае разработки высокоплотных систем охлаждения. Его работа сосредоточена на объединении передовой термодинамики и технологичности гипермасштабного производства, установлении стандартов для блоков распределения охлаждения и оптимизации энергоэффективности центров обработки данных в системах с воздушным и жидкостным охлаждением оборудования.

Этот подкаст дает ценное представление об эволюции тепловых характеристик мэйнфреймов, высокопроизводительных вычислительных платформ и современных серверных технологий. Менее чем за час вы получите более глубокое понимание того, как это влияет на многие аспекты обеспечения эффективной работы наших технологий.

Если у вас нет времени посмотреть всё от начала до конца, мы разбили видео на пятиминутные фрагменты, чтобы вы могли выбрать то, что для вас наиболее важно.

[00:00] Эволюция жидкостного охлаждения от высокопроизводительных вычислений до корпоративного ИИ

В начальном разделе описывается историческое развитие жидкостного охлаждения от специализированных суперкомпьютерных установок до высокопроизводительных коммерческих корпоративных приложений, с акцентом на ранних решениях в области теплового проектирования.

• Ранние вычислительные среды полагались на испарительное охлаждение и базовую принудительную конвекцию воздуха, прежде чем достигли пределов, налагаемых высокопроизводительными вычислениями высокой плотности и ускоренными вычислительными нагрузками.
• Первоначальные академические эксперименты с архитектурами Cray включали прямое распыление жидкости на трубки, что оказалось технически осуществимым, но коммерчески слишком дорогостоящим.
• Изменение удельной мощности стоек после 2015 года подтолкнуло производителей оборудования к разработке стандартизированных корпоративных решений на основе жидкостных технологий, что в конечном итоге привело к появлению серийных моделей стоек высокой плотности к 2019 году.
• В цепочках поставок OEM-производителей произошел переход от выпуска нескольких тысяч узлов с жидкостным охлаждением в год к масштабированию поставок до тысяч производственных систем еженедельно.
• Надежные корпоративные платформы, такие как PowerEdge XE9680, самый быстрорастущий сервер в истории Dell, на ранних этапах компенсировали тепловые нагрузки, связанные с ИИ, с помощью плотных воздушных радиаторов в сочетании с теплообменниками на задней дверце, еще до того, как стало обязательным полное внедрение технологии прямой интеграции с чипом.

[05:00] Тестирование температурных порогов и физики жидкости в масштабе

В этом разделе рассматривается лабораторная оценка конкурирующих тепловых технологий, подробно объясняется, почему однофазные контуры прямого подключения к чипу стали доминирующей архитектурой по сравнению с системами погружения.

• Лаборатории по валидации OEM-производителей провели обширные испытания контуров с охлаждающими пластинами, сетей с отрицательным давлением, погружных конфигураций и двухфазных систем для установления базовых показателей развертывания.
• Исторически сложилось так, что тепловые нагрузки на кремниевые кристаллы постепенно возрастали с каждым поколением, что позволяло использовать стандартные методы воздушного и жидкостного охлаждения до тех пор, пока тепловая мощность не превысила диапазон 500–1000 Вт.
• Иммерсионное охлаждение обеспечивает эксплуатационные преимущества для широко распределенных тепловых профилей, таких как криптофермы, но испытывает трудности с локализованными, сильно концентрированными тепловыми потоками, характерными для современных ускорителей.
• Вода, смешанная с 25% пропиленгликоля (PG25), подается через микроканальные холодные пластиныБлагодаря предсказуемому масштабированию, доступности поставок и доказанным теплопередающим свойствам, этот материал стал основным стандартом.
• Стандарты открытой экосистемы остаются критически важными для закупки охлаждающих пластин, коллекторов и быстроразъемных соединений у различных поставщиков без снижения производительности.

[10:00] Стандартизация, совместимость с продукцией разных производителей и механическая надежность

Далее обсуждение переходит к операционным реалиям развертывания жидкостного оборудования, уделяя особое внимание интеграции компонентов от разных производителей, разграничению ответственности и целостности материалов.

• Использование компонентов системы охлаждения от разных производителей создает значительные проблемы с механической совместимостью и строгие ограничения гарантии в случае утечки жидкости.
• Юридическая ответственность и соглашения об уровне обслуживания остаются основными препятствиями в отрасли, мешающими использованию смешанных архитектур подключения от разных поставщиков на производственных площадках с серверами.
• Устаревшие системы обнаружения утечек с тросовым механизмом уступают место интегрированным сенсорным топологиям с автоматическим отключением насосов и клапанов.
• Усовершенствования в производстве шлангов из EPDM, отверждаемых перекисью водорода, значительно снизили частоту отказов компонентов в системах трубопроводов, подключаемых непосредственно к очистным сооружениям.
• Ненадежность системы в полевых условиях в основном обусловлена ​​производственными отходами и неадекватной первоначальной промывкой трубопровода, а не усталостью самих компонентов.

[15:00] Управление мусором, пределы теплового потока и физика отрицательного давления

В этом временном промежутке рассматриваются вопросы динамики жидкости в системах с высокоточным охлаждением пластин, катастрофические последствия загрязнения микроскопическими частицами, а также физические явления в атмосфере, ограничивающие работу контуров охлаждения с отрицательным давлением.

• Частицы размером от 100 до 200 микрон, даже одно волокно от проволочной щетки, попавшее в быстроразъемное соединение, могут закупорить микроканальные ребра и вывести из строя стойку из-за термического дросселирования.
• Современные вычислительные модели гидродинамики (CFD) позволяют современным охлаждающим пластинам рассеивать нагрузку мощностью 1500 Вт, сохраняя при этом незначительное снижение температуры на 30 °C.
• Системы охлаждения с отрицательным давлением Они по своей природе ограничены атмосферным давлением, оставляя лишь от 7 до 9 PSI полезного перепада давления, прежде чем жидкость достигнет точки кипения при комнатной температуре.
• Ограниченный диапазон допустимых давлений затрудняет прокладку контуров отрицательного давления через длинные коллекторы установки, установки первичной переработки нефти и микроканальные охлаждающие пластины с высоким сопротивлением.
• Тщательный анализ химического состава воды и постоянный химический мониторинг необходимы для предотвращения коррозии, биологического разрастания и деградации материалов.

[20:00] Экологические переменные, химия жидкостей и усовершенствованные методы обнаружения утечек

В рамках обсуждения рассматриваются региональные климатические факторы, влияющие на работу центров обработки данных, риски образования конденсата и технологическая эволюция датчиков быстрого обнаружения утечек.

• Региональная влажность, высота над уровнем моря и условия окружающей среды определяют температуру воды во вторичном контуре и эффективность охлаждения объекта.
• В условиях высокой влажности окружающей среды низкие температуры в контуре управления создают риск образования конденсата на компонентах серверного шасси и требуют использования специальных систем контроля точки росы.
• Традиционные тросовые системы обнаружения утечек страдают от проблем с цепочкой поставок и высоких пороговых значений срабатывания, требуя значительного объема жидкости для активации сигнализации.
• Технология обнаружения утечек нового поколения использует гибкие полимерные сенсорные дорожки, оптическое обнаружение с помощью красителей и детекторы паров для выявления микроутечек до того, как произойдет катастрофический отказ.
• Интеллектуальные контроллеры стоек активно регулируют давление в контуре CDU при обнаружении ранней утечки жидкости, чтобы минимизировать объем утечек и обеспечить бесперебойную работу.

[25:00] Оценка потенциала двухфазного прямого подключения к чипу и химии хладагента

В этом разделе рассматриваются термодинамические преимущества испарения скрытой теплоты в двухфазном охлаждении, а также вопросы, связанные с цепочкой поставок и химическими свойствами хладагентов с низким потенциалом глобального потепления.

• Двухфазное охлаждение непосредственно на чипе устраняет потери на тепловое воздействие, характерные для однофазных контуров, обычно не менее 5 °C, поддерживая постоянную температуру кипения независимо от того, рассеивает ли чип 10 Вт или 1,000 Вт.
• Двухфазное охлаждение сводит к минимуму коррозию, вызванную водой, и риск короткого замыкания в стойке, представляя собой привлекательную модель развертывания для корпоративных центров обработки данных.
• Для масштабирования двухфазных контуров необходимо решить проблему совместимости компонентов разных производителей, включая коллекторы с фазовым переходом, установки первичной переработки нефти и сложные пароконденсаторы.
• Появление новых, негорючих диэлектрических жидкостей с низким потенциалом глобального потепления (таких как R-515B и R-1233zd) позволяет преодолеть нормативные ограничения, связанные с традиционными соединениями ПФАС.
• Современные поставщики инфраструктуры центров обработки данных приобретают специализированных поставщиков систем охлаждения для формирования единых, готовых к использованию портфелей решений на основе жидкостного теплоснабжения.

[31:33] Архитектуры CDU, динамическое управление потоком и снижение радиуса взрыва

В этом разделе, посвященном основной насосной инфраструктуре, анализируются стандартизированные методы испытаний, переходные тепловые характеристики и инженерные компромиссы между централизованными и распределенными установками первичной переработки нефти.

• Стандарт ASHRAE 127 установил стандартизированные методы тестирования для обеспечения точного и сопоставимого сравнения тепловой эффективности установок первичной переработки нефти и производительности насосов.
• Незначительные изменения потока охлаждающей жидкости немедленно приводят к колебаниям температуры на холодной пластине; изменение потока на 10 процентов может вызвать дросселирование, требующее сверхбыстрых алгоритмов управления.
• Централизованные установки первичной переработки нефти мощностью в несколько мегаватт работают с огромными объемами жидкостей и имеют большой радиус поражения взрывной волной, так что одно загрязнение или утечка могут вывести из строя весь цех.
• Из-за химической несовместимости присадок смешивание фирменных охлаждающих жидкостей от разных производителей опасно, поскольку может привести к образованию осадка и засорению.
• Распределенные блоки распределения питания на уровне рядов и внутри стоек позволяют изолировать области механических отказов, сократить количество трубопроводов для транспортировки жидкостей и ускорить сроки монтажа.

[37:00] Внутристоечные блоки управления питанием (CDU) против централизованных контуров и целесообразность использования систем вывода с воздушным охлаждением

В этой части оцениваются профили производительности высокопроизводительных стоечных блоков распределения питания (CDU) и объясняется, почему воздушное охлаждение остается доминирующим в распределенных кластерах корпоративного уровня для выполнения задач машинного обучения.

• Специально разработанные для установки в стойку блоки распределения тепла способны выдерживать тепловые нагрузки до 220 кВт при температуре приближения 4 °C, преобразуя воду с температурой 41 °C в хладагент с температурой 45 °C для стоек Vera Rubin со скоростью 1.5 литра на киловатт.
• Резервирование двух насосов внутри стоечных блоков распределения питания обеспечивает непрерывную работу системы охлаждения даже во время технического обслуживания одного насоса.
• На долю систем воздушного охлаждения приходится примерно 90 процентов всех мировых поставок серверов, и они обеспечивают работу значительной части корпоративных систем вывода данных.
• Оборудование для обработки данных на периферии сети и в масштабах предприятия должно развертываться непосредственно в устаревших, построенных 10-15 лет назад, центрах обработки данных с воздушным охлаждением, где генерируются данные.
• Модернизация старых объектов с помощью теплообменников с задней дверью и испарительных градирен позволяет преобразовать потребляемую мощность охлаждения в вычислительные киловатты для локальных блоков обработки данных искусственного интеллекта.

[45:20] Граница внутренней аэродинамики шасси и эффективности вентилятора

В заключительном разделе рассматриваются механические компромиссы замкнутых систем охлаждения «все в одном» и анализируется, как оптимизация аэродинамики шасси позволяет довести возможности воздушного охлаждения до физического предела.

• Внутренние системы жидкостного охлаждения серверного уровня создают точки отказа механических систем и усложняют компоновку корпуса, обеспечивая при этом лишь незначительные преимущества по сравнению с оптимизированными радиаторами с испарительной камерой.
• Теплообменники типа «жидкость-воздух» с боковым расположением теплообменника обеспечивают более чистый и удобный в обслуживании способ локального жидкостного охлаждения стеллажей на объектах, где отсутствует водоснабжение.
• Эффективность вентиляторов корпоративных серверов выросла с 15-20 процентов десять лет назад до современных показателей преобразования электрической энергии в механическую, составляющих 50-60 процентов.
• Оптимизация аэродинамики шасси в пределах расчетного значения 100 CFM на киловатт, при котором каждый поток всасываемого воздуха равномерно нагревается на 18°C, максимизирует теплоотдачу на киловатт.
• Воздух обладает благоприятными свойствами теплопроводности, которые в сочетании с прецизионными воздуховодами и современными радиаторами обеспечивают надежную основу для оборудования корпоративного класса следующего поколения.

Чтобы быть в курсе всего, что касается жидкостного охлаждения и эффективного проектирования центров обработки данных, подписывайтесь на Тима Шедда в LinkedIn.