Dell PowerEdge XE9640 수냉식 GPU 서버 심층 분석

델 파워엣지 XE9640은 액체 냉각 시스템 덕분에 전력 효율이 뛰어나면서도 AI 성능을 강력하게 구현할 수 있는 4개의 GPU 가속 랙 마운트 서버입니다. XE9640은 SC22 에서 XE8640 및 저희가 특히 주목했던 8-way GPU 서버인 XE9680 과 함께 발표되었습니다 . 오늘 XE9640이 정식 출시되었으며, 저희는 이 제품의 핵심 하드웨어를 자세히 살펴보겠습니다.

Dell GPU 가속 서버 제품군

PowerEdge XE 서버 제품군은 성능과 안정성이 요구되는 복잡한 AI 및 HPC 워크로드에 특화되어 설계되었습니다. 이 서버들은 고성능, 인사이트 중심의 지능형 솔루션을 제공하도록 설계되었습니다. 현재 XE 서버 제품군은 XE9680 (조던이 특히 선호하는 모델이라는 점을 말씀드렸나요?), XE9640, XE8640, XE8545로 구성되어 있습니다. 이 모든 서버의 공통점은 다양한 AI 프로젝트를 지원하도록 설계되었으며, 고객의 요구에 맞는 냉각 옵션을 제공한다는 것입니다.

제품	목적	장점	고객 사례
헥스 눔스	최적의 성능과 가장 빠른 가치 실현 시간을 위해 설계된 AI 가속화로 통찰력을 높이도록 설계되었습니다.	8x NVIDIA H100 또는 A100 Tensor Core SXM GPU로 AI 및 HPC를 위한 최고의 성능을 활용하세요.	LLM 대규모 언어 모델
		스마트 공냉식 작동(최대 35C)으로 데이터 변환을 결과로 극대화	자연어 처리
		스마트 공냉식 작동(최대 35C)으로 데이터 변환을 결과로 극대화	대규모 추천 엔진 교육
			통합 클라우드 플랫폼
			디지털 트윈 및 제조
헥스 눔스	고집적 2U 스마트 수냉식 서버에서 AI 이니셔티브를 추진하기 위해 특별히 제작되었습니다.	4x NVIDIA H100 Tensor Core GPU 또는 4x Intel Data Center Max OAM GPU로 AI를 위한 더 나은 성과 창출	자연어 처리
		스마트 수냉식 CPU 및 GPU로 성능 극대화	대규모 추천 엔진 교육
		최적화된 전력 활용 효율성으로 TCO 절감	통합 클라우드 플랫폼
			객체 인식을 위한 인공지능, ML/DL 학습
헥스 눔스	탁월한 성능으로 AI, HPC 및 분석 워크로드를 추진하세요.	다양한 애플리케이션을 위한 4x NVIDIA H100 GPU를 사용하여 인사이트 분석을 자동화하세요.	중간 데이터 세트 언어 모델
		전력 효율성을 높이기 위해 공냉식(최대 35C) 실행	자연어 처리
		지능형 확장 옵션으로 운영 확장	통합 클라우드 플랫폼
			인공지능, ML/DL 훈련 및 추론, 이미지 인식
헥스 눔스	주류 AI 및 그래픽 애플리케이션 성능	4x NVIDIA A100 GPU로 훈련 및 추론 성능 향상	지진 분석을 포함한 모델링 및 시뮬레이션
		공냉식 작동(최대 35C)으로 효율적인 작동이 가능합니다.	인공지능, ML/DL 훈련 및 추론, 이미지 인식, 챗봇
		균형 잡힌 성능/와트 솔루션으로 TCO 절감

Dell PowerEdge XE9640 – GPU 다양성 및 액체 냉각

PowerEdge XE9640은 CoolIT과의 긴밀한 협력을 통해 GPU와 CPU에 직접 액체 냉각(DLC) 방식을 적용했습니다. 서버에는 DRAM, 스토리지 및 PCIe 확장 카드에 충분한 공기 흐름과 냉각을 제공하기 위한 팬이 장착되어 있습니다. 하지만 이 팬들은 최대 RPM으로 작동할 필요가 없어 전력 소모를 크게 줄여줍니다.

PowerEdge XE9640은 다양한 GPU 옵션을 제공하여 4개의 NVIDIA NVLink 로 연결된 H100 SXM5 GPU 700W 모듈 또는 4개의 Intel XeLink로 연결된 Intel Data Center GPU Max 1550 600W Open Compute Platform(OCP) 가속기 모듈(OAM) 중에서 선택할 수 있습니다 .

NVIDIA NVLink 및 Intel Xelink와 같은 기술 덕분에 이러한 GPU는 원활하게 통신하여 메모리와 코어를 효과적으로 풀링합니다. 이는 LLM(대형 언어 모델)과 같은 메모리 일관성 워크로드를 처리하는 데 특히 유용합니다. 이러한 다양성으로 인해 다양한 AI 워크로드에 적합합니다. 물론, 당연한 질문은 “AMD Instinct는 어떻습니까?”입니다. Dell은 추가 GPU 지원을 지속적으로 평가하고 있지만 출시 시점에는 이 서버에 AMD 솔루션을 제공하지 않습니다.

이러한 GPU 다양성을 통해 사용자는 생성형 AI, 산업 시뮬레이션 모델링 및 최첨단 과학 연구의 증가하는 요구 사항을 충족할 수 있습니다. 예를 들어, PowerEdge XE9640의 Intel Data Center GPU Max 가속기 기능은 텍사스 첨단 컴퓨팅 센터(TACC)의 Stampede3 슈퍼컴퓨터 에 활용되고 있습니다.

밀도와 냉각 측면에서 PowerEdge XE9640은 랙 공간을 효율적으로 사용하는 동시에 성능을 높이도록 설계되었습니다. 컴팩트한 2RU 프로필을 갖춘 이 서버는 랙당 인상적인 GPU 용량을 제공하여 귀중한 데이터 센터 공간을 극대화합니다. DLC를 채택한 PowerEdge XE9640은 효율성과 비용 효율성 측면에서 기존 공랭식 시스템보다 성능이 뛰어납니다.

Dell PowerEdge XE9640 – 나머지 하드웨어

단순히 GPU 성능뿐만 아니라, XE 시리즈의 엔지니어링은 최고 수준입니다. 최근 XE9640과 XE8640에 대한 영상 리뷰를 게시했습니다 . 이 영상에서는 XE9640의 드라이브 접근 방식과 DLC 파이프 배선부터 XE8640의 폐쇄형 GPU 수랭 쿨링 시스템, 그리고 모든 XE 서버의 향후 개선 방향까지 설계에 대한 자세한 내용을 확인할 수 있습니다. 영상은 아래에 첨부되어 있습니다.

XE9640 외에도 베젤을 제거하면 NVMe 드라이브에 쉽게 접근할 수 있습니다. 섀시 오른쪽에 있는 두 개의 슬롯은 NVMe BOSS(부팅 최적화 스토리지 하위 시스템) 드라이브를 지원하고 1개의 M.2 SSD를 통해 HWRAID 2을 포함합니다. 현재 기본 스토리지는 4x U.2 Gen4 NVMe 드라이브를 통해 제공됩니다. 8x E3.S Gen5 NVMe 드라이브를 지원하는 SSD 트레이 옵션 덕분에 향후 릴리스에서는 이 수치가 두 배로 늘어날 것입니다. 플랫폼은 U.2 NVMe 베이에 대한 HW RAID를 지원하지 않지만 대부분은 필요하지 않습니다. 이러한 GPU 상자 중 다수는 외부에서 대규모 데이터 세트를 활용합니다. 이 경우 로컬 스토리지는 이러한 대규모 데이터 세트의 기본 소스가 아닙니다.

물론 대규모 스토리지 어레이를 활용해야 하는 AI 전문가를 위해 서버 후면에는 좋은 확장 옵션이 있습니다. XE9640은 5개의 PCIe Gen3 슬롯(절반 높이 XNUMX개, 전체 높이 XNUMX개)을 지원합니다. 또한 PCIe GenXNUMX OCP NIC 슬롯이 있습니다.

누출에 대한 두려움을 진정시키기 위해 수냉식 서버에는 iDRAC의 누출 감지 보고 기능이 포함되어 있습니다. 누출을 감지하는 Dell의 방법은 섀시의 여러 부분을 뚫어보면 매우 놀랍습니다. 예를 들어, 아래 CPU 냉각판 사진에서는 전체 워터 블록 주위에 비스듬한 패턴으로 미세한 구리 흔적을 확인할 수 있습니다. 이러한 연결부에 물이 떨어지면 개방형 배선 루프가 작은 단락을 감지하고 시스템은 누출이 발생한 것을 알게 됩니다. 브레이드 와이어 로프는 섀시의 다른 부분에서도 유사한 감지 방법으로 사용됩니다. 이는 섀시 전면에 수많은 호스가 있는 주 액체 분배 블록 사진에서 볼 수 있습니다. 또한 CoolIT CDU와 루프의 나머지 부분에도 여러 지점에서 누출 감지 보고 기능이 있습니다.

덧붙여서, 공냉식 XE8640 및 XE9680에는 iDRAC를 통한 동일한 누출 감지 기능을 갖춘 폐쇄 루프 GPU 액체 냉각도 포함되어 있습니다.

랙당 전력 최적화

PowerEdge XE9640은 고객에게 랙당 전력 활용도를 미세 조정할 수 있는 기회를 제공합니다. 랙당 41개의 서버가 있는 경우 가속화된 컴퓨팅의 최대 로드에는 약 12kW의 전력이 필요할 수 있으며 균형 잡힌 성능을 위해 18단계 전력 분배를 활용합니다. 확장을 위해 데이터 센터는 21개, 9640개 또는 54개의 PowerEdge XE81 서버를 수용하는 랙을 배포하여 각각 약 95kW, XNUMXkW 및 XNUMXkW의 전력 수준을 달성할 수 있습니다. 이러한 적응성을 통해 데이터 센터는 특정 요구 사항에 따라 랙 전력 사용량을 최적화할 수 있습니다.

Dell은 고객에게 PowerEdge XE9640에 대한 포괄적인 통찰력을 제공하기 위해 다양한 리소스를 편집했습니다. 여기에는 언박싱 동영상과 자세한 제품 리뷰가 포함됩니다. 언박싱 비디오는 서버의 디자인과 기능을 보여주며 고객에게 서버의 기능을 시각적으로 둘러볼 수 있는 기회를 제공합니다.

PowerEdge XE9640의 장점을 더욱 강조하기 위해 Dell은 공랭식 모델인 PowerEdge XE8640 과 비교하는 인포그래픽을 제작했습니다 . 이 인포그래픽은 PowerEdge XE9640의 주요 차이점, 특히 액체 냉각의 효율성과 랙당 뛰어난 GPU 용량을 부각합니다.

최종 생각

PowerEdge XE9640은 AI 워크로드를 혁신하고 혁신을 촉진하도록 설계된 Dell의 확장되는 생성적 AI 솔루션의 핵심입니다. Dell의 Generative AI 솔루션은 Dell Technologies가 제공하는 최첨단 기술, 혁신 및 서비스를 결합하여 보다 지능적이고 신속한 결과를 제공합니다. 생성적 AI의 기능을 활용함으로써 조직은 새로운 통찰력을 얻고, 혁신 노력을 가속화하며, 인력 효율성을 향상시킬 수 있습니다.

XE9680은 Dell GPU 서버 중 우리가 가장 좋아하는 서버로 남아 있지만 XE9640은 순전히 효율성과 디자인 관점에서 우리의 마음을 사로잡았습니다. 2U 섀시에는 엄청난 양의 엔지니어링이 필요합니다. 액체 냉각을 사용하는 데이터 센터는 확실히 이러한 전력 효율적인 상자에 끌릴 것입니다. 2800개의 NVIDIA 모듈은 자체적으로 XNUMXW를 사용하므로 데이터 센터의 랙 및 전력 효율성을 높이기 위해 Dell이 할 수 있는 모든 일은 큰 도약입니다.

인포 그래픽