ZutaCore는 NVIDIA 6000 Blackwell Server Edition GPU가 탑재된 단일 슬롯 PCIe 폼팩터 서버를 위한 무수 2단계 냉각 방식의 콜드 플레이트인 OmniTherm을 출시했습니다. 이 솔루션은 특수 서버 플랫폼이나 온디맨드 시스템으로 전환하지 않고도 표준 엔터프라이즈 및 AI 클라우드 서버 설계에서 이러한 가속기를 최대 성능으로 실행하고자 하는 OEM 및 대규모 운영자를 대상으로 합니다.
PCIe GPU 서버는 배포, 확장 및 기존 랙 및 전력 인프라와의 통합이 용이하기 때문에 AI 추론 및 혼합 워크로드에 여전히 가장 적합한 선택입니다. GPU 전력 밀도가 높아짐에 따라 기존 공랭식 냉각 방식으로는 성능 저하가 발생하기 시작합니다. 운영자는 종종 팬 속도를 높여야 하는데, 이는 전력 소비와 소음을 증가시키고 고강도 AI 워크로드 실행 시 시스템 과열 문제를 야기할 수 있습니다.
OmniTherm은 서버 섀시에 물을 사용하지 않고 2단계 액체 냉각 방식으로 전환하여 이 문제를 해결하고자 합니다. 콜드 플레이트는 열원에서 끓고 별도의 루프에서 응축되는 밀폐형 유전체 유체를 사용합니다. ZutaCore는 단일 슬롯 PCIe 프로파일을 유지함으로써 시스템 구축자가 표준 서버 아키텍처에서 가속기 밀도를 유지하거나 높이는 동시에 대부분의 열을 액체 냉각 루프로 전달할 수 있도록 합니다. 이는 고속 회전 팬의 필요성을 줄이고 전력 소비를 낮추며 랙 수준에서 열 및 소음 부담을 완화합니다.
ZutaCore의 CTO인 My D. Truong은 데이터 센터의 랙 단위 전력 예산이 증가함에 따라 유연성과 고밀도를 모두 제공하는 PCIe GPU의 중요성이 커지고 있다고 강조했습니다. 그는 무수 2단계 냉각 방식과 단일 슬롯 폼 팩터의 조합이 데이터 센터가 서버당 가속기 수를 늘리는 동시에 지속적인 AI 워크로드에 필요한 안정적인 열 성능을 유지하는 데 도움이 될 것이라고 언급했습니다. 특히 배포 규모가 확장됨에 따라 이러한 이점이 더욱 두드러질 것이라고 덧붙였습니다.
상시 가동 및 가변적인 AI 워크로드에 맞게 설계되었습니다.
실제 운영 환경의 AI 작업량은 거의 일정하지 않습니다. 추론 작업은 사용량과 전력 소비량이 트래픽 패턴과 모델 동작에 따라 크게 변동하는 등 변동성이 매우 큽니다. 이러한 변동은 급격한 온도 변화를 초래하여 공랭식 냉각 시스템에 부담을 주고 성능 안정성을 저해할 수 있습니다.
OmniTherm의 2단계 열 설계는 이러한 변화에 신속하게 대응합니다. GPU 부하가 증가하면 냉각판에서 더 많은 절연 유체가 기화되어 팬 속도를 높이지 않고도 열 전달 효율을 향상시킵니다. 부하가 감소하면 기화 유체가 응축되면서 시스템이 자연스럽게 안정화됩니다. 이 기능은 운영자가 다양한 작업 부하에서 더욱 일관된 온도를 유지하는 데 도움이 됩니다. 또한 안정적인 성능을 지원하고 고밀도 PCIe GPU 서버에서 일시적인 성능 저하(스로틀링) 위험을 줄여줍니다.
장기 인프라 투자 보호
운영자에게 있어 시간 경과에 따른 안정성과 성능은 최고 처리량만큼이나 중요합니다. ZutaCore는 OmniTherm이 GPU 다이뿐만 아니라 CPU 및 차세대 고대역폭 메모리와 같은 주변의 고가치 부품까지 냉각한다고 주장합니다. 메인 가속기 ASIC뿐만 아니라 더 넓은 영역을 커버함으로써, 이 시스템은 멀티칩 및 HBM 중심 설계에서 더욱 중요한 발열 지점을 집중적으로 냉각합니다.
이처럼 광범위한 열 관리 기능은 컴퓨팅 및 메모리 시스템 모두에 부담을 주는 장시간의 대역폭 집약적인 AI 작업을 지원합니다. 이러한 구성 요소에 가해지는 열 스트레스를 줄이면 장기적인 안정성을 향상시키고 성능 저하를 방지하며 GPU 및 메모리 기술이 발전함에 따라 고성능 PCIe 플랫폼에 대한 투자를 보호할 수 있습니다.
랙 스케일 운영 시 고려 사항
랙의 전력 밀도가 점점 높아짐에 따라 공랭식 냉각에만 의존하는 데 드는 비용과 복잡성이 급격히 증가합니다. 팬 전력 증가, 소음 증가, 그리고 더욱 엄격해진 HVAC(냉난방 공조) 요구사항은 모두 운영 비용 증가로 이어지고 데이터 센터의 작업 환경에도 영향을 미칠 수 있습니다.
옴니썸(OmniTherm)의 밀폐형 비전도성 유전체 유체 루프는 서버에서 발생하는 대부분의 열을 흡수하여 섀시에 물을 주입하지 않고 시설 측 액체 루프로 전달하도록 설계되었습니다. 이러한 구조는 극단적인 팬 속도에 대한 의존도를 줄이고 냉각 에너지 소비를 절감하며 운영자가 소음 수준을 관리하는 데 도움을 줍니다. 또한, 이 시스템은 공기 흐름에만 의존하는 대신 액체 냉각 시스템으로 냉각 수요를 전환함으로써 기존 공간에서 PCIe 기반 AI 배포를 확장할 수 있도록 지원합니다.
하이퍼쿨 클라우드
ZutaCore는 OmniTherm과 함께 분산된 환경에서 액체 냉각 시스템을 관리하는 클라우드 기반 운영 플랫폼인 HyperCool Cloud를 출시합니다. 이 플랫폼은 보안성과 원격 측정 기능을 기반으로 설계되어 냉각수 분배 장치(CDU) 및 관련 냉각 장비에 대한 거의 실시간 정보를 제공합니다.
HyperCool Cloud는 CDU(콜드 디바이스 유닛)에 대한 원격 측정 데이터를 제공하고, 전체 서버 모니터링을 지원하며, 알람 발생부터 문제 해결까지 워크플로우를 구현합니다. 운영자 입장에서는 액체 냉각 시스템이 다른 인프라 구성 요소처럼 관리되고 모니터링 가능한 서비스로 작동하게 됩니다. 목표는 액체 냉각 시스템이 여러 사이트와 더 큰 규모의 PCIe GPU 서버로 확장됨에 따라 서비스 응답 속도를 향상시키고, 장애 관리를 간소화하며, 가동 시간을 지원하는 것입니다.
OmniTherm과 HyperCool Cloud를 함께 사용하면 ZutaCore는 무수 2상 액체 냉각을 통해 PCIe 기반 AI 플랫폼 확장에 따른 하드웨어 및 운영상의 문제를 모두 해결할 수 있습니다.
아마존