CoolIT 직접 액체 냉각 – 액체 냉각 서버의 원활한 효율성

우리는 실험실에 액체 냉각을 도입하기 위해 CoolIT Systems와 제휴했습니다. 이러한 노력의 일환으로 우리는 미니 수냉식 장비를 구성하고 Dell PowerEdge R760을 개조하여 공냉식에서 수냉식으로 전환했습니다. 우리는 이제 막 액체 냉각 여정을 시작했지만 직접 액체 냉각(DLC)이 제공하는 이점에 대해 이미 중요한 발견을 했습니다.

최신 워크로드를 지원하려면 어떤 형태로든 액체 냉각이 필요합니다. 대규모 CPU 및 GPU TDP(열 설계 성능)를 갖춘 공랭식 서버에서는 이 계산이 더 이상 작동하지 않습니다. 냉각판을 통해 제공되는 DLC는 가장 일반적인 솔루션이며, 모든 서버 공급업체에는 최소한 하나의 옵션이 있습니다. Dell은 CoolIT Systems와 제휴하여 PowerEdge 포트폴리오 전체에 액체 냉각 기능을 제공합니다.

대부분의 데이터 센터와 마찬가지로 우리 연구실은 처음부터 액체 냉각을 활용하도록 설계되지 않았습니다. 그러나 많은 데이터 센터와 마찬가지로 최고 전력 서버에도 어떤 형태로든 액체 냉각이 필요하며 이러한 시스템을 활용하려면 적응해야 합니다. 데이터 센터가 AI에 투자하고 있으며 이러한 시스템의 대부분이 곧 작동을 위해 일종의 유동 루프를 필요로 하기 때문에 요즘 기업에서 많이 듣는 이야기입니다.

우리의 경우 연구실에서 Dell PowerEdge R760 서버 중 하나를 개조하는 것부터 시작하기로 결정했습니다. 분명히 말하면 고객이 수냉식 서버를 원하는 경우 Dell에서 그런 방식으로 주문합니다. Dell은 CoolIT와의 통합을 처리하며 고객은 냉각판이 설치되고 액체 냉각용 호스가 배관된 서버를 받습니다. DLC PowerEdge 시스템에는 공냉식 서버와 다른 몇 가지 차이점이 있습니다. 우리는 이 작업을 통해 상대적으로 미지의 영역으로 들어갔습니다. 예를 들어 iDRAC 카드는 다릅니다. 예를 들어 DLC 버전에는 누출 감지를 위한 리드가 있습니다. 변환 프로세스에 성공했지만 자체 냉각판을 설치하는 것은 지원되는 활동이 아닙니다.

CoolIT DLC 키트

CoolIT는 고객이 데이터 센터에 액체 냉각을 추가하는 과정을 진행하는 동안 작은 개념 증명에 일반적으로 사용되는 미니 시스템을 제공했습니다. 즉, 이 시스템은 10kW까지 확장할 수 있으므로 액체 냉각을 처음 접하는 사람들이 랙 절반 정도의 경험을 얻을 수 있는 좋은 방법입니다. 이 설정에는 냉각판, 랙 매니폴드, 냉각수 분배 장치(CDU)라는 세 가지 주요 구성 요소가 있습니다.

냉각판은 특정 TDP 사용 사례에 맞춰 설계되었으며 냉각 대상 CPU 또는 GPU에 완벽하게 맞습니다. 겉보기에는 단순해 보이지만, 냉각판 자체에는 펌프나 움직이는 부품이 없더라도 점점 높아지는 TDP를 고려하면 설계 과정은 결코 간단하지 않습니다. 예를 들어, CoolIT는 최근 최대 1500W를 지원하는 새로운 냉각판 라인을 출시했습니다 . 저희가 테스트한 R760에 탑재된 Intel Xeon 8580 CPU는 상대적으로 평범한 수준인 350W의 TDP를 가지고 있습니다.

냉각판 설치는 매우 간단하며 블록에는 열 페이스트가 미리 도포되어 있어 매우 간단한 드롭인 키트입니다. 앞서 언급한 것처럼 냉각판에서 이어지는 누출 감지 케이블용 연결 지점이 있는 DLC 시스템용 다른 iDRAC 카드가 있습니다. 호스는 DLC iDRAC 키트와 함께 제공되는 다른 브래킷을 통해 R760 후면 밖으로 라우팅됩니다.

냉각판은 라벨이 붙은 따뜻한/차가운 연결을 통해 매니폴드에 연결됩니다. 매니폴드 자체는 스테인리스 스틸로 제작되었으며 피팅은 물이 흘러내리지 않는 신속 분리 장치입니다. 서버를 미리 채워져 있는 매니폴드에 연결하는 데 몇 초가 걸립니다. 참고로 우리의 매니폴드는 랙 뒤쪽에 있었지만 필요하다면 앞쪽에 구성할 수도 있습니다. 이 사용 사례를 위한 미니 매니폴드가 있습니다. 보다 전통적인 DLC 랙에는 전체 랙을 덮는 매니폴드가 있습니다. 매니폴드는 CDU에 직접 연결됩니다.

이 시스템에서 핵심적인 역할을 하는 것은 CDU(냉각 분배 장치)이며, 저희는 CoolIT AHx10 을 사용하고 있습니다 . 이 제품은 5U 크기의 액체-공기 열교환기 CDU로, 주변 온도 25°C에서 7kW의 부하를 처리할 수 있습니다. CoolIT는 이 장치의 용량을 10kW까지 확장할 수 있는 확장 키트를 제공합니다. 섀시 내부에는 액체-공기 열교환기와 이중화된 펌프가 내장되어 있습니다. 매니폴드와 마찬가지로 CDU는 냉매가 미리 채워진 상태로 제공됩니다. 저희는 랙의 비교적 낮은 위치에 설치했지만, 랙 구성에 따라 CDU의 위치는 어디든 가능합니다.

AHx10의 최대 전력 소비량은 750W로, 이는 절전에 관한 전반적인 경제 논의에 도움이 됩니다. 이 시스템에는 원격 액세스 지원을 제공하는 직관적인 터치스크린 디스플레이가 있습니다. 처음에 펌프 압력을 설정하는 것 외에는 CDU로 수행해야 할 작업이 거의 없습니다. 설정만 하고 잊어버리면 됩니다. 우리는 추가 개입 없이 몇 주 동안 작동해 왔습니다.

이 CoolIT 장비를 사용한다고 해서 열 자체를 해결하는 것은 아니라는 점에 유의해야 합니다. 사실상 R760 CPU에서 발생하는 열을 CDU 내부의 열교환기로 이동시키는 것입니다. 실험실 외부로 열을 전달할 수 있는 시설 냉각수가 없기 때문에 이전과 마찬가지로 실험실 전체를 냉각해야 합니다. 그렇지만 이와 같은 소형 시스템은 수랭식 서버 몇 대에 적합하며, 소규모 AI 구축 환경을 가진 기업에 이상적일 수 있습니다. 예를 들어 Dell PowerEdge XE9640 과 같은 제품이 잘 어울릴 것입니다.

우리 연구실에서는 여전히 DLC R760의 열과 싸워야 하지만 액체 냉각으로 전환하면 몇 가지 이점이 있습니다.

DLC의 장점

공냉식에서 수냉식으로 전환할 때 가장 크고 분명한 이점은 팬 사용량 감소입니다. R760에는 DRAM 및 스토리지와 같은 시스템 구성 요소에 대한 공기 흐름이 여전히 필요하지만 빠르게 회전할 필요는 없습니다. 이로 인해 서버가 더 조용해지지만 DLC 루프의 가장 좋은 부분은 전력 소비를 줄이는 것입니다. 우리가 발견한 또 다른 점은 DLC R760이 공냉식일 때보다 약간 더 나은 성능을 발휘한다는 점이었습니다.

R760의 전력 소비량을 더 자세히 살펴보기 위해 Quarch QTL2843 메인 전력 분석 모듈을 설치했습니다 . 서버는 기본 제공되는 공랭식 방열판과 CoolIT 냉각판을 모두 사용하여 작동시켰습니다. CPU에 극한의 부하를 주기 위해 50억 자리까지의 파이(π) 계산을 실행했는데, 이는 CPU와 DRAM에 매우 높은 부하를 주는 작업입니다. 팬이 최대 속도로 작동하도록 CPU에 최대한의 부하를 주는 것이 목표였습니다.

DLC 구현의 영향은 즉시 명백해졌습니다. 공냉식 구성에서 R760을 실행할 때 예상대로 작업 부하 중에 팬이 100% 회전합니다. DLC 구성에서 R760은 팬 회전 속도를 32%로 선택했는데, 이는 급격한 감소입니다. 이는 단일 서버에서 200와트를 절약하는 것과 같습니다. 눈에 띄는 것은 팬 속도뿐만 아니라 CPU 자체의 온도도 공랭식의 41/42C에 비해 DLC의 온도는 88/89C의 대략 절반 수준이라고 보고했습니다.

하지만 액체 냉각으로 전환할 때 반대편으로 나오는 것은 전력 절감뿐만이 아닙니다. 우리는 기대하지 않았던 약간의 성능 향상을 보았습니다. 더 나은 냉각 기능을 제공하는 냉각판을 사용하면 CPU가 최대한으로 작동할 수 있습니다. 공냉식 구성에서 R760은 50초 만에 369억 Pi 계산을 완료했습니다. DLC 구성에서는 R760이 조금 더 빨라져 347초 만에 계산을 수행했습니다. 이는 약 6%의 성능 향상으로 Intel CPU를 조금 더 활용할 수 있습니다.

최종 생각

우리는 이제 막 실험실에서 액체 냉각을 시작하고 있으며 이러한 초기 노력에 CoolIT와 협력하게 되어 매우 기쁩니다. 냉각판은 PowerEdge R760에서 완벽하게 작동하며 매니폴드와 CDU가 함께 결합되어 아무런 걱정이나 지속적인 수정 없이 "제대로 작동"합니다. 데이터 센터에 액체를 가져오는 것을 우려하는 사람들에게는 지속적인 단순성이 중요합니다. 우리는 또한 누출이나 기타 더 치명적인 사건이 없었으며 이는 예상대로 고장률이 매우 낮은 기업용 장비입니다.

고성능 AI 시스템을 데이터 센터에 도입하려는 기업의 경우 액체 냉각은 포기할 수 있는 결론입니다. 8방향 GPU 서버는 공랭식을 포기하고 이와 같은 DLC 루프를 선택하거나 최소한 폐쇄 루프와 라디에이터를 선택할 예정입니다. 어느 쪽이든 일정량의 액체가 데이터 센터로 유입됩니다. 상당한 전력 절감과 약간의 성능 향상을 통해 기업이 DLC 서버를 채택해야 하는 많은 이유가 있습니다.

CoolIT는 이 분야의 확실한 리더이며 Dell과의 관계를 통해 걱정할 필요가 거의 없는 다양한 액체 냉각 솔루션을 쉽게 사용할 수 있는 방식으로 시장에 출시하고 있습니다. 우리는 작은 루프를 더 탐구하기를 기대하고 있으며 연구실에서 더 많은 수냉식 서버를 볼 수 있기를 기대합니다.

CoolIT 시스템