CoolIT에는 기업이 전력 소모가 많은 서버에 액체 냉각을 채택할 수 있도록 설계된 냉각판, 매니폴드 및 냉각 분배 장치가 있습니다.
우리는 실험실에 액체 냉각을 도입하기 위해 CoolIT Systems와 제휴했습니다. 이러한 노력의 일환으로 우리는 미니 수냉식 장비를 구성하고 Dell PowerEdge R760을 개조하여 공냉식에서 수냉식으로 전환했습니다. 우리는 이제 막 액체 냉각 여정을 시작했지만 직접 액체 냉각(DLC)이 제공하는 이점에 대해 이미 중요한 발견을 했습니다.
DLC 변환 후 Dell PowerEdge R760
최신 워크로드를 지원하려면 어떤 형태로든 액체 냉각이 필요합니다. 대규모 CPU 및 GPU TDP(열 설계 성능)를 갖춘 공랭식 서버에서는 이 계산이 더 이상 작동하지 않습니다. 냉각판을 통해 제공되는 DLC는 가장 일반적인 솔루션이며, 모든 서버 공급업체에는 최소한 하나의 옵션이 있습니다. Dell은 CoolIT Systems와 제휴하여 PowerEdge 포트폴리오 전체에 액체 냉각 기능을 제공합니다.
대부분의 데이터 센터와 마찬가지로 우리 연구실은 처음부터 액체 냉각을 활용하도록 설계되지 않았습니다. 그러나 많은 데이터 센터와 마찬가지로 최고 전력 서버에도 어떤 형태로든 액체 냉각이 필요하며 이러한 시스템을 활용하려면 적응해야 합니다. 데이터 센터가 AI에 투자하고 있으며 이러한 시스템의 대부분이 곧 작동을 위해 일종의 유동 루프를 필요로 하기 때문에 요즘 기업에서 많이 듣는 이야기입니다.
우리의 경우 연구실에서 Dell PowerEdge R760 서버 중 하나를 개조하는 것부터 시작하기로 결정했습니다. 분명히 말하면 고객이 수냉식 서버를 원하는 경우 Dell에서 그런 방식으로 주문합니다. Dell은 CoolIT와의 통합을 처리하며 고객은 냉각판이 설치되고 액체 냉각용 호스가 배관된 서버를 받습니다. DLC PowerEdge 시스템에는 공냉식 서버와 다른 몇 가지 차이점이 있습니다. 우리는 이 작업을 통해 상대적으로 미지의 영역으로 들어갔습니다. 예를 들어 iDRAC 카드는 다릅니다. 예를 들어 DLC 버전에는 누출 감지를 위한 리드가 있습니다. 변환 프로세스에 성공했지만 자체 냉각판을 설치하는 것은 지원되는 활동이 아닙니다.
CoolIT DLC 키트
CoolIT는 고객이 데이터 센터에 액체 냉각을 추가하는 과정을 진행하는 동안 작은 개념 증명에 일반적으로 사용되는 미니 시스템을 제공했습니다. 즉, 이 시스템은 10kW까지 확장할 수 있으므로 액체 냉각을 처음 접하는 사람들이 랙 절반 정도의 경험을 얻을 수 있는 좋은 방법입니다. 이 설정에는 냉각판, 랙 매니폴드, 냉각수 분배 장치(CDU)라는 세 가지 주요 구성 요소가 있습니다.
CoolIT R760 냉각판
냉각판은 특정 TDP 사용 사례에 맞게 설계되었으며 냉각되는 CPU 또는 GPU에 완벽하게 맞습니다. 믿을 수 없을 만큼 단순해 보이며, 플레이트 자체에 펌프나 움직이는 부품이 없음에도 불구하고 TDP가 높아져 엔지니어링이 사소한 것이 아닙니다. 관점에서 볼 때 CoolIT는 최근 새로운 냉각판 라인 최대 1500W를 지원할 수 있습니다. R760의 CPU는 이에 비해 약간 보행자적인 반면, Intel Xeon 8580 CPU는 각각 350W의 TDP를 "그냥" 갖습니다.
CoolIT 냉각판을 탑재한 Dell R760
냉각판 설치는 매우 간단하며 블록에는 열 페이스트가 미리 도포되어 있어 매우 간단한 드롭인 키트입니다. 앞서 언급한 것처럼 냉각판에서 이어지는 누출 감지 케이블용 연결 지점이 있는 DLC 시스템용 다른 iDRAC 카드가 있습니다. 호스는 DLC iDRAC 키트와 함께 제공되는 다른 브래킷을 통해 R760 후면 밖으로 라우팅됩니다.
CoolIT 매니폴드
냉각판은 라벨이 붙은 따뜻한/차가운 연결을 통해 매니폴드에 연결됩니다. 매니폴드 자체는 스테인리스 스틸로 제작되었으며 피팅은 물이 흘러내리지 않는 신속 분리 장치입니다. 서버를 미리 채워져 있는 매니폴드에 연결하는 데 몇 초가 걸립니다. 참고로 우리의 매니폴드는 랙 뒤쪽에 있었지만 필요하다면 앞쪽에 구성할 수도 있습니다. 이 사용 사례를 위한 미니 매니폴드가 있습니다. 보다 전통적인 DLC 랙에는 전체 랙을 덮는 매니폴드가 있습니다. 매니폴드는 CDU에 직접 연결됩니다.
CoolIT AHx10 CDU
CDU는 이 루프에서 무거운 작업을 수행합니다. 우리는 CoolIT AHx10. 이는 5C 주변 온도에서 7kW의 부하를 처리할 수 있는 25U 액체-공기 CDU입니다. CoolIT는 이 장치를 10kW까지 확장할 수 있는 확장 키트를 제공합니다. 섀시 내부에는 액체-공기 열 교환기와 중복 펌프가 있습니다. 매니폴드와 마찬가지로 CDU도 미리 채워져 있습니다. 우리는 랙에서 상대적으로 낮은 위치에 배치했지만 CDU는 랙 설정 방법에 따라 어디든 갈 수 있습니다.
CoolIT AHx10 인터페이스
AHx10의 최대 전력 소비량은 750W로, 이는 절전에 관한 전반적인 경제 논의에 도움이 됩니다. 이 시스템에는 원격 액세스 지원을 제공하는 직관적인 터치스크린 디스플레이가 있습니다. 처음에 펌프 압력을 설정하는 것 외에는 CDU로 수행해야 할 작업이 거의 없습니다. 설정만 하고 잊어버리면 됩니다. 우리는 추가 개입 없이 몇 주 동안 작동해 왔습니다.
이 CoolIT 장비를 사용하면 열 자체를 해결하는 것이 아니라는 점은 주목할 가치가 있습니다. 실제로 우리는 R760의 CPU에서 CDU 내의 열교환기로 열을 이동시키고 있습니다. 열을 연구실 외부로 전달할 수 있는 시설용수가 없기 때문에 이전과 동일하게 연구실을 냉각해야 합니다. 즉, 이와 같은 소규모 시스템은 몇 대의 수냉식 서버에 적합하며 다음과 같이 소규모 AI 배포를 수행하는 기업에 이상적일 수 있습니다. 델 파워에지 XE9640 잘 어울릴 거예요.
수냉식 Dell PowerEdge XE9640
우리 연구실에서는 여전히 DLC R760의 열과 싸워야 하지만 액체 냉각으로 전환하면 몇 가지 이점이 있습니다.
DLC의 장점
공냉식에서 수냉식으로 전환할 때 가장 크고 분명한 이점은 팬 사용량 감소입니다. R760에는 DRAM 및 스토리지와 같은 시스템 구성 요소에 대한 공기 흐름이 여전히 필요하지만 빠르게 회전할 필요는 없습니다. 이로 인해 서버가 더 조용해지지만 DLC 루프의 가장 좋은 부분은 전력 소비를 줄이는 것입니다. 우리가 발견한 또 다른 점은 DLC R760이 공냉식일 때보다 약간 더 나은 성능을 발휘한다는 점이었습니다.
R760의 전력 소비량을 더 자세히 살펴보기 위해 우리는 Quarch QTL2843 주전원 분석 모듈. 우리는 공장에서 공냉식 방열판을 사용하고 CoolIT 냉각판을 사용하여 서버를 실행했습니다. CPU에 압력을 가하기 위해 Pi 계산을 50억 자릿수까지 실행했는데, 이는 CPU와 DRAM에 매우 큰 부하를 줍니다. 우리의 의도는 팬이 요구되는 최대 성능을 발휘할 수 있도록 CPU를 최대한 세게 밀어붙이는 것이었습니다.
R760 iDRAC DLC 구성
DLC 구현의 영향은 즉시 명백해졌습니다. 공냉식 구성에서 R760을 실행할 때 예상대로 작업 부하 중에 팬이 100% 회전합니다. DLC 구성에서 R760은 팬 회전 속도를 32%로 선택했는데, 이는 급격한 감소입니다. 이는 단일 서버에서 200와트를 절약하는 것과 같습니다. 눈에 띄는 것은 팬 속도뿐만 아니라 CPU 자체의 온도도 공랭식의 41/42C에 비해 DLC의 온도는 88/89C의 대략 절반 수준이라고 보고했습니다.
R760 iDRAC 공냉식 구성
하지만 액체 냉각으로 전환할 때 반대편으로 나오는 것은 전력 절감뿐만이 아닙니다. 우리는 기대하지 않았던 약간의 성능 향상을 보았습니다. 더 나은 냉각 기능을 제공하는 냉각판을 사용하면 CPU가 최대한으로 작동할 수 있습니다. 공냉식 구성에서 R760은 50초 만에 369억 Pi 계산을 완료했습니다. DLC 구성에서는 R760이 조금 더 빨라져 347초 만에 계산을 수행했습니다. 이는 약 6%의 성능 향상으로 Intel CPU를 조금 더 활용할 수 있습니다.
최종 생각
우리는 이제 막 실험실에서 액체 냉각을 시작하고 있으며 이러한 초기 노력에 CoolIT와 협력하게 되어 매우 기쁩니다. 냉각판은 PowerEdge R760에서 완벽하게 작동하며 매니폴드와 CDU가 함께 결합되어 아무런 걱정이나 지속적인 수정 없이 "제대로 작동"합니다. 데이터 센터에 액체를 가져오는 것을 우려하는 사람들에게는 지속적인 단순성이 중요합니다. 우리는 또한 누출이나 기타 더 치명적인 사건이 없었으며 이는 예상대로 고장률이 매우 낮은 기업용 장비입니다.
Dell R760 후면(DLC 호스 포함)
고성능 AI 시스템을 데이터 센터에 도입하려는 기업의 경우 액체 냉각은 포기할 수 있는 결론입니다. 8방향 GPU 서버는 공랭식을 포기하고 이와 같은 DLC 루프를 선택하거나 최소한 폐쇄 루프와 라디에이터를 선택할 예정입니다. 어느 쪽이든 일정량의 액체가 데이터 센터로 유입됩니다. 상당한 전력 절감과 약간의 성능 향상을 통해 기업이 DLC 서버를 채택해야 하는 많은 이유가 있습니다.
CoolIT는 이 분야의 확실한 리더이며 Dell과의 관계를 통해 걱정할 필요가 거의 없는 다양한 액체 냉각 솔루션을 쉽게 사용할 수 있는 방식으로 시장에 출시하고 있습니다. 우리는 작은 루프를 더 탐구하기를 기대하고 있으며 연구실에서 더 많은 수냉식 서버를 볼 수 있기를 기대합니다.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드
