팟캐스트 #152: 데이터 센터 열역학 및 냉각 아키텍처 (팀 셰드와 함께)

최근 브라이언은 열 관리 전문가이자 액체 냉각 기술의 선구자인 팀 셰드와 인터뷰를 진행했습니다. 이번 팟캐스트에서는 팀이 크레이(Cray)에서 근무하며 튜브에 액체를 분사하던 시절부터 최근 델(Dell)의 파워엣지 XE9680 프로젝트 에 참여하기까지, 데이터 센터 액체 냉각의 역사적 측면들을 다룹니다.

팀 셰드는 열 관리, 액체 냉각 및 데이터 센터 인프라를 전문으로 하는 업계 전문가이자 기계 엔지니어입니다. 위스콘신-매디슨 대학교 교수로 재직하며 학술 연구를 수행했고, 모티베어(Motivair)에서 기초 엔지니어링 업무를 담당했으며, 델 테크놀로지스(Dell Technologies) CTO 조직에서 고위 기술 리더십을 발휘하는 등 폭넓은 경력을 쌓아왔습니다. 그는 고밀도 냉각 아키텍처 분야의 선두 주자입니다. 그의 연구는 고급 열 물리학과 초고속 제조 가능성을 결합하고, 냉각 분배 장치 표준을 수립하며, 공랭식 및 액체 냉각 하드웨어 토폴로지 전반에 걸쳐 데이터 센터의 전력 효율을 최적화하는 데 중점을 두고 있습니다.

이 팟캐스트는 메인프레임, HPC 플랫폼, 그리고 최신 서버 기술에 이르기까지 열 관리의 진화에 대한 심도 있는 통찰력을 제공합니다. 한 시간도 채 안 되는 시간 동안, 열 관리가 기술을 효율적으로 운영하는 데 있어 여러 측면에 어떤 영향을 미치는지 더 잘 이해하게 될 것입니다.

이 영상을 처음부터 끝까지 시청할 시간이 없으시다면, 5분 단위로 나누어져 있으니 가장 중요한 부분만 선택해서 시청하세요.

[00:00] HPC에서 엔터프라이즈 AI까지 액체 냉각의 진화

첫 번째 부분에서는 특수 슈퍼컴퓨팅 설비에서 고밀도 상업용 기업 애플리케이션에 이르기까지 액체 냉각의 역사적 발전 과정을 개괄적으로 설명하고 초기 열 설계 선택 사항을 중점적으로 다룹니다.

• 초창기 컴퓨팅 환경은 고밀도 HPC 및 가속 컴퓨팅 워크로드로 인해 발생하는 한계에 도달하기 전까지 증발 냉각과 기본적인 강제 공기 대류 방식에 의존했습니다.
• 크레이 아키텍처를 이용한 초기 학술 실험에서는 튜브에 직접 액체를 분사하는 방식을 사용했는데, 기술적으로는 가능했지만 상업적으로는 비용이 너무 많이 드는 것으로 나타났습니다.
• 2015년 이후 랙 전력 밀도의 변곡점은 OEM 업체들이 표준화된 엔터프라이즈용 유동형 배포 솔루션을 설계하도록 촉진했으며, 이는 2019년까지 고밀도 랙 생산 모델로 이어졌습니다.
• OEM 공급망은 연간 수천 개의 액체 냉각 노드를 생산하는 것에서 매주 수천 개의 생산 시스템을 공급하는 규모로 전환했습니다.
• 델 역사상 가장 빠르게 성장하는 서버인 PowerEdge XE9680과 같은 핵심 엔터프라이즈 플랫폼은 초기 AI 열 부하를 분산하기 위해 칩에 직접 열을 공급하는 방식이 의무화되기 전에 고밀도 공기 방열판과 후면 도어 열 교환기를 함께 사용했습니다.

[05:00] 대규모 열 파괴점 및 유체 물리학 테스트

이 섹션에서는 경쟁 열 기술에 대한 실험실 평가를 살펴보고, 단상 직접 칩 루프가 침지 시스템보다 지배적인 아키텍처로 부상한 이유를 자세히 설명합니다.

• OEM 검증 연구소는 냉각판 루프, 음압 네트워크, 침수 구성 및 2상 시스템 전반에 걸쳐 광범위한 테스트를 수행하여 배포 기준을 설정했습니다.
• 실리콘의 열 부하는 세대가 거듭될수록 점진적으로 증가해 왔기 때문에 TDP가 500W~1000W 범위를 넘어서기 전까지는 표준 공랭식 및 기본적인 수랭식 냉각 방식으로도 충분했습니다.
• 침수 냉각은 암호화폐 채굴장과 같이 열 분포가 넓게 퍼져 있는 환경에서는 운영상의 이점을 제공하지만, 최신 가속기에서 발견되는 국부적으로 고도로 집중된 열 흐름에는 어려움을 겪습니다.
• 25% 프로필렌 글리콜(PG25)이 혼합된 물을 통해 공급됩니다. 마이크로채널 냉각판이는 예측 가능한 확장성, 공급 용이성 및 확립된 열 전달 특성으로 인해 주요 표준이 되었습니다.
• 성능 저하 없이 여러 공급업체에서 콜드 플레이트, 매니폴드 및 퀵 커넥터를 조달하려면 개방형 생태계 표준이 여전히 중요합니다.

[10:00] 표준화, 다중 공급업체 상호 운용성 및 기계적 신뢰성

논의는 액체 하드웨어 배포의 운영적 현실로 전환되며, 여러 공급업체의 구성 요소 통합, 책임 분담 및 재료 무결성에 중점을 둡니다.

• 서로 다른 제조사의 냉각 부품을 혼합하여 사용하면 기계적 호환성 문제가 심각해지고, 유체 누출 발생 시 엄격한 보증 제한이 적용됩니다.
• 법적 책임과 서비스 수준 계약은 여전히 ​​업계에서 주요 장애물로 남아 있으며, 이는 운영 서버 환경 전반에 걸쳐 다양한 공급업체의 인프라 아키텍처를 도입하는 것을 막고 있습니다.
• 기존의 로프 방식 누출 감지 시스템은 자동 펌프 정지 및 밸브 차단 기능을 갖춘 통합 센서 시스템으로 대체되고 있습니다.
• 과산화물 경화 EPDM 호스 제조 기술의 발전으로 칩 직접 접합 배관의 부품 수준 고장률이 크게 감소했습니다.
• 현장에서의 시스템 신뢰성 저하는 주로 제조 과정에서 발생하는 잔여물과 초기 배관 세척 불량에서 비롯되며, 부품 자체의 피로 때문은 아닙니다.

[15:00] 잔해 관리, 열유속 한계 및 음압의 물리학

이 기간 동안에는 정밀 냉각판 유체 역학, 미세 입자 오염의 파괴적인 영향, 그리고 음압 냉각 루프를 제한하는 대기 물리학을 살펴봅니다.

• 100~200미크론 크기의 미세 입자, 심지어 퀵 커넥터에 걸린 단 하나의 와이어 브러시 섬유조차도 마이크로채널 핀을 막아 열 스로틀링을 통해 랙을 고장낼 수 있습니다.
• 첨단 전산 유체 역학(CFD) 모델링을 통해 최신 냉각판은 30°C의 좁은 온도차(delta T) 제한을 유지하면서 1500W의 부하를 방출할 수 있습니다.
• 음압 냉각 시스템 본질적으로 대기압의 제약을 받기 때문에 유체가 실온에서 끓는점에 도달하기 전까지 사용 가능한 차압은 7~9 PSI에 불과합니다.
• 제한된 압력 예산으로 인해 긴 설비 매니폴드, CDU 및 저항이 높은 마이크로채널 냉각판을 통해 음압 루프를 설치하기 어렵습니다.
• 부식, 미생물 증식 및 재료 열화를 방지하려면 전문적인 수질 분석과 지속적인 화학적 모니터링이 필수적입니다.

[20:00] 환경 변수, 유체 화학 및 고급 누출 감지

이 대화에서는 지역 기후가 데이터 센터 운영에 미치는 영향, 결로 위험, 그리고 신속 대응 누출 감지 센서의 기술 발전에 대해 다룹니다.

• 지역 습도, 고도 및 주변 환경 조건은 2차 순환수 온도와 시설 냉각 효율에 영향을 미칩니다.
• 습도가 높은 환경에서 주변 온도보다 낮은 루프 온도는 서버 섀시 구성 요소에 결로 현상을 일으킬 위험이 있으므로 별도의 이슬점 제어가 필요합니다.
• 기존의 누출 감지 로프는 공급망 병목 현상과 높은 경보 임계값이라는 문제점을 안고 있는데, 경보를 작동시키려면 상당한 양의 유체가 필요합니다.
• 차세대 누출 감지 기술은 유연한 고분자 인쇄 센서 트레이스, 광학 염료 감지 및 증기 감지기를 활용하여 치명적인 고장이 발생하기 전에 미세 누출을 식별합니다.
• 지능형 랙 컨트롤러는 초기 유체 손실을 감지하면 CDU 루프 압력을 능동적으로 조절하여 누출량을 최소화하고 가동 시간을 유지합니다.

[25:00] 2상 직접 칩 소자의 잠재력 및 냉매 화학 평가

이 부분에서는 2상 냉각에서 잠열 기화의 열역학적 이점과 저GWP 냉매를 둘러싼 공급망 및 화학적 고려 사항을 살펴봅니다.

• 2상 직접 칩 냉각 방식은 단상 루프의 현열 손실(일반적으로 최소 5°C)을 제거하여 칩이 10W를 소모하든 1,000W를 소모하든 일정한 비등점을 유지합니다.
• 2단계 냉각 방식은 물로 인한 부식과 랙 내부의 전기 단락 위험을 최소화하여 기업 데이터 센터에 매우 적합한 구축 모델을 제시합니다.
• 2상 루프의 확장을 위해서는 상변화 매니폴드, CDU 및 복잡한 증기 응축기에 대한 여러 공급업체의 상호 운용성 문제를 해결해야 합니다.
• R-515B 및 R-1233zd와 같은 저GWP, 비가연성 절연유체는 기존 PFAS 화합물과 관련된 규제 제약을 극복하고 있습니다.
• 최신 데이터센터 인프라 제공업체들은 통합된 턴키 방식의 액체 열 솔루션 포트폴리오를 구축하기 위해 전문 냉각 업체들을 인수하고 있습니다.

[31:33] CDU 아키텍처, 동적 흐름 제어 및 폭발 반경 완화

이 섹션에서는 핵심 펌핑 인프라에 초점을 맞춰 표준화된 테스트 방법, 과도 열 응답, 그리고 중앙 집중식 및 분산식 CDU 간의 엔지니어링 절충점을 분석합니다.

• ASHRAE 표준 127은 CDU의 열효율과 펌핑 성능을 정확하고 공정하게 비교할 수 있도록 표준화된 테스트 방법을 확립했습니다.
• 냉각수 유량의 미미한 변화도 냉각판의 온도 변동으로 즉시 이어지며, 유량이 10%만 변해도 스로틀링 현상이 발생할 수 있으므로 매우 민감한 제어 알고리즘이 필요합니다.
• 수 메가와트급의 중앙 집중식 CDU는 막대한 양의 유체를 처리하고 넓은 작동 폭발 반경을 가지므로, 단 한 번의 오염이나 누출 사고로도 시설 전체가 마비될 수 있습니다.
• 첨가제의 화학적 비호환성으로 인해 서로 다른 공급업체의 특수 냉각제를 혼합하는 것은 위험하며, 침전 및 막힘 현상이 발생할 수 있습니다.
• 분산형 행 수준 및 랙 내 CDU는 기계적 고장 영역을 격리하고 유체 이송 배관을 줄이며 설치 기간을 단축합니다.

[37:00] 랙 내 CDU와 중앙 집중식 루프 비교 및 ​​공랭식 추론의 실현 가능성

이 부분에서는 고성능 인랙 CDU 성능 프로파일을 평가하고 분산형 엔터프라이즈 추론 클러스터에서 공랭식이 여전히 지배적인 이유를 설명합니다.

• 특수 설계된 랙 내장형 CDU는 4°C의 접근 온도로 220kW의 열 부하를 지원할 수 있으며, 41°C의 설비수를 킬로와트당 1.5리터의 비용으로 45°C의 냉각수로 변환하여 Vera Rubin 랙에 공급합니다.
• 랙 내장형 CDU 내부에 있는 이중 펌프 시스템은 단일 펌프 유지 보수 중에도 지속적인 냉각 작동을 유지합니다.
• 공랭식 냉각은 전 세계 서버 출하량의 약 90%를 차지하며 기업 추론 시스템 구축에 상당한 비중을 차지합니다.
• 엣지 및 엔터프라이즈 추론 하드웨어는 데이터가 생성되는 10~15년 된 공랭식 데이터 센터 내부에 직접 설치해야 합니다.
• 기존 시설에 후면 도어 열교환기와 증발식 냉각탑을 설치하면 냉각에 소모되는 에너지를 로컬 AI 추론 박스에서 사용할 수 있는 컴퓨팅 전력으로 전환할 수 있습니다.

[45:20] 섀시 내부 공기역학 및 팬 효율의 한계

마지막 부분에서는 폐쇄형 일체형 쿨러의 기계적 장단점을 분석하고 섀시의 공기역학적 최적화가 공랭 성능을 물리적 한계까지 끌어올리는 방식을 살펴봅니다.

• 서버급 내부 일체형 액체 냉각 시스템은 기계적 고장 지점과 섀시 패키징 복잡성을 야기하는 반면, 최적화된 증기 챔버 방열판에 비해 성능 향상은 미미합니다.
• 측면 액체-공기 열교환기는 시설 내 용수가 부족한 시설에서 국소 액체 냉각 랙에 더욱 깨끗하고 유지보수가 용이한 냉각 경로를 제공합니다.
• 기업용 서버 팬의 효율은 10년 전 15~20%에서 현대의 전기-기계 변환율 50~60%로 향상되었습니다.
• 킬로와트당 100 CFM의 설계 지점을 기준으로 섀시 공기역학을 최적화하고, 흡입되는 모든 공기를 18°C로 균일하게 가열함으로써 킬로와트당 열 방출을 극대화합니다.
• 공기는 우수한 열 확산 특성을 가지고 있으며, 정밀한 덕트 및 첨단 방열판과 결합될 경우 차세대 기업용 하드웨어에 견고한 기반을 제공합니다.

액체 냉각 및 효율적인 데이터 센터 설계에 관한 모든 최신 정보를 얻으려면 LinkedIn에서 Tim Shedd를 팔로우하세요.