Western Digital OpenFlex Data24 – GPUDirect 성능 분석

이 세부 기사에서는 Western Digital OpenFlex™ Data100에 대한 실제 NVIDIA® H24 GPU 성능 분석을 제공합니다. OpenFlex Data24는 GPU 메모리와 스토리지 간의 직접적인 데이터 경로를 활성화함으로써 대기 시간을 크게 줄이고 대역폭을 최대화합니다.

본 보고서는 Western Digital의 후원을 받아 작성되었습니다. 이 보고서에 표현된 모든 견해와 의견은 고려 중인 제품에 대한 당사의 편견 없는 관점을 기반으로 합니다.

AI는 요즘 화두입니다. 일부 하이퍼스케일 업체가 AI 데이터 문제에 대한 맞춤형 솔루션을 만드는 동안 Western Digital(WD)은 나머지 사람들을 위한 답을 가지고 있습니다. Western Digital OpenFlex™ Data24™ AI 및 기타 GPU 가속 워크로드의 높은 처리량 요구를 충족할 수 있는 강력하고 확장 가능한 스토리지 솔루션을 제공합니다. OpenFlex Data24는 GPU 메모리와 스토리지 간의 직접 데이터 경로를 활성화함으로써 대기 시간을 크게 줄입니다. 또한 대역폭을 최대화하여 효율적인 데이터 처리와 최적의 GPU 활용을 보장하여 대규모 데이터 세트를 보다 빠르고 효과적으로 처리합니다.

Western Digital은 NVMe-oF™를 활용하여 여러 서버에서 분리된 고속 스토리지를 공유하여 신속한 데이터 액세스 및 전송을 보장할 수 있습니다. OpenFlex Data24는 고성능 GPU와 원활하게 통합되어 AI 교육 및 추론에 필요한 엄청난 처리량을 제공하여 차세대 데이터 센터 운영의 핵심 원동력으로 자리매김합니다. 이러한 기능을 통해 OpenFlex Data24는 AI 및 기타 고급 컴퓨팅 워크로드의 잠재력을 최대한 활용하려는 모든 조직을 위한 강력한 도구가 됩니다.

웨스턴 디지털 오픈플렉스 데이터24 4000

Western Digital의 OpenFlex Data24 4000 시리즈 NVMe-oF 스토리지 플랫폼은 공유 스토리지 환경에 탁월한 성능을 제공합니다. 이 고성능 플랫폼은 NVMe™ 플래시의 기능을 확장하여 이더넷 패브릭을 통해 짧은 대기 시간 공유를 제공합니다. Data24 4000 시리즈는 2000개의 Western Digital RapidFlex™ A100 패브릭 브리지 장치를 활용하여 최대 XNUMX개의 XNUMXGbE 포트를 사용하여 원활한 네트워크 연결을 제공합니다. 이 인터페이스는 두 가지 모두를 지원합니다. RoCEv2 및 TCP 프로토콜을 통해 데이터 전송을 위한 다양한 옵션을 제공합니다.

섀시는 2U 폼 팩터 내에서 설계되었으며 최대 24개의 듀얼 포트 U.2 NVMe SSD를 수용합니다. PCIe® Gen4를 지원하는 이 플랫폼은 각 SSD의 성능을 완전히 활용하고 섀시 전체에 높은 대역폭을 유지하도록 설계되었습니다. NVMe SSD는 총 원시 용량 655TB15.36에 대해 최대 368TB 용량을 갖춘 Ultrastar® DC SNXNUMX SSD를 포함하여 다양한 용량 및 내구성 옵션으로 제공됩니다.

플랫폼 설계는 초과 구독을 제거하여 NVMe 성능을 유지하는 균형 잡힌 액세스를 보장합니다. Data24 4000 시리즈는 또한 능률적인 관리를 위한 RESTful API 지원을 통합하여 사용 용이성과 기존 IT 인프라와의 통합을 향상시킵니다.

고가용성과 엔터프라이즈급 안정성은 Data24 4000 시리즈의 중요한 특성입니다. 듀얼 I/O 모듈 및 N+2 팬 이중화와 같은 터치 기능은 예상치 못한 구성 요소 오류가 발생하는 경우에도 지속적인 작동을 보장하여 마음의 평화를 제공합니다. SSD를 포함한 전체 플랫폼에는 5년 제한 보증이 제공됩니다.

Western Digital OpenFlex Data24 주요 사양

OpenFlex 데이터 테스트24

OpenFlex Data24의 성능을 확장하기 위해 NVIDIA GPUDirect™, NVIDIA IndeX® 및 무려 5.9TB의 Tornado 시뮬레이션 데이터 등 몇 가지 핵심 요소를 통합해야 했습니다. NVIDIA GPUDirect를 활용하여 GPU 메모리와 OpenFlex Data24 간의 직접 통신을 활성화하여 대기 시간을 대폭 줄이고 데이터 처리량을 최대화했습니다. NVIDIA의 IndeX를 활용하여 대규모 토네이도 데이터 세트를 보다 효율적으로 시각화하고 상호 작용할 수 있었으며 시스템의 실시간 처리 기능을 선보였습니다. 이 설정은 집약적인 AI 워크로드와 대규모 데이터 처리를 놀라운 속도와 효율성으로 처리하는 OpenFlex Data24의 능력을 입증하기 위한 완벽한 테스트베드를 제공했습니다.

엔비디아 GPU다이렉트

엔비디아 GPU다이렉트 기술은 고성능 GPU 컴퓨팅 환경 내에서 데이터 전송 효율성을 크게 향상시킵니다. 이 기술 제품군은 GPU와 기타 시스템 구성 요소 간의 데이터 이동을 최적화합니다. 지연 시간과 오버헤드를 줄여 GPUDirect는 GPU와 네트워크 어댑터, 저장 장치, 기타 GPU와 같은 주변 장치 간의 보다 직접적인 통신을 가능하게 합니다. 기존의 데이터 전송 프로세스에는 CPU와 시스템 메모리를 통한 데이터 라우팅이 포함되어 성능을 저해하는 병목 현상이 발생합니다. GPUDirect는 GPU 메모리에 대한 직접 메모리 액세스(DMA)를 허용하고 CPU 및 시스템 메모리를 우회하여 전체 처리량을 향상시킴으로써 이러한 병목 현상을 완화합니다.

NVIDIA의 수석 기술 마케팅 관리자인 Harry Petty에 따르면:

“NVIDIA의 기술은 스토리지에서 낮은 대기 시간과 빠른 데이터 전송을 제공하여 GPU 유휴 시간을 줄여 AI 워크로드의 성능을 최적화합니다. 이를 통해 더 빠른 모델 훈련 시간과 더 정확한 결과를 제공하여 더 빠른 발견과 더 효율적인 워크플로우를 가능하게 합니다.”

GPUDirect는 GPU와 RDMA 지원 네트워크 어댑터 간의 직접 데이터 전송을 용이하게 하는 GPUDirect RDMA를 포함한 여러 가지 중요한 기능으로 구성됩니다. 이러한 직접적인 통신은 과학 시뮬레이션 및 대규모 데이터 분석과 같이 신속한 데이터 교환이 필요한 애플리케이션에 매우 중요합니다. 더 빠른 데이터 전송을 가능하게 함으로써 GPUDirect RDMA는 대기 시간을 줄이고 GPU 클러스터의 효율성을 높입니다. 또한 GPUDirect 스토리지는 GPU를 고속 스토리지 시스템과 더욱 긴밀하게 통합하여 데이터 집약적인 애플리케이션이 최신 NVMe 스토리지의 최대 대역폭을 활용할 수 있도록 합니다. 이러한 통합은 데이터 액세스를 가속화하고 데이터가 GPU 메모리에 로드될 때까지 기다리는 시간을 줄여줍니다. 이는 실시간 분석 및 대규모 기계 학습 워크로드에 매우 중요합니다.

GPUDirect의 기능은 딥 러닝 훈련 클러스터와 같이 여러 GPU가 동시에 작동하는 환경에서 특히 효과적입니다. GPU 간의 직접 통신을 촉진함으로써 GPUDirect는 병렬 처리를 최적화하고 GPU 간 데이터 전송과 관련된 오버헤드를 크게 줄입니다. 이러한 향상된 기능은 대량의 데이터를 여러 GPU에서 빠르게 교환해야 하는 복잡한 신경망을 훈련하는 데 특히 유용합니다. GPUDirect의 효율성 향상은 더 빠른 결과를 얻기 위해 계산 작업 부하가 수많은 GPU에 분산되는 분자 역학 시뮬레이션 및 유체 역학과 같은 응용 프로그램에서도 분명하게 나타납니다.

엔비디아 인덱스

엔비디아 인덱스 높은 충실도로 대규모 데이터세트를 처리하도록 설계된 고급 체적 시각화 도구입니다. IndeX는 GPU 가속을 활용하여 3D 체적 데이터의 실시간 대화형 시각화를 제공하므로 석유 및 가스 탐사, 의료 영상, 과학 연구와 같은 산업에 없어서는 안될 요소입니다. 기존 시각화 도구는 최신 데이터 세트의 엄청난 크기와 복잡성으로 인해 어려움을 겪는 경우가 많으며, 이로 인해 렌더링 시간이 느려지고 대화형 사용자 경험이 저하됩니다. IndeX는 NVIDIA의 GPU 기술을 활용하여 고성능 렌더링 및 데이터 처리를 제공함으로써 이러한 한계를 극복하고 사용자가 실시간으로 데이터와 상호 작용할 수 있도록 보장합니다.

IndeX의 기능은 GPU의 병렬 처리 능력을 활용하여 대규모 볼륨 데이터를 효율적으로 관리하고 렌더링할 수 있는 능력에 의해 주도됩니다. 이 기능은 석유 및 가스 부문의 지진 해석 및 저수지 시뮬레이션과 같이 고해상도 시각화가 필요한 응용 분야에서 유용합니다. IndeX는 지하 구조에 대한 상세하고 정확한 시각적 표현을 제공함으로써 지구과학자가 더 많은 정보를 바탕으로 결정을 내릴 수 있도록 도와줍니다. 의료 분야에서 IndeX는 MRI 및 CT 스캔과 같은 영상 기법을 통해 복잡한 해부학적 구조의 시각화를 용이하게 하여 진단 및 치료 계획을 돕습니다.

IndeX의 실시간 렌더링 기능은 시뮬레이션 및 실험의 대규모 데이터 세트를 즉시 시각화하고 분석해야 하는 과학 연구에도 중요합니다. 연구자는 데이터를 대화형으로 조작하고 탐색할 수 있으므로 더 빠른 가설 테스트 및 발견이 가능합니다. IndeX의 확장성은 고급 과학 기기 및 시뮬레이션으로 생성되는 증가하는 데이터 볼륨을 처리할 수 있도록 보장하여 연구자에게 데이터를 효과적으로 시각화하고 해석할 수 있는 도구를 제공합니다. IndeX는 기존 워크플로와 원활하게 통합되고 다양한 데이터 형식을 지원함으로써 생산성을 향상하고 여러 분야에 걸쳐 검색 속도를 가속화합니다.

모든 것을 하나로 묶기

Data24 4000 시리즈를 NVIDIA GPUDirect 기술과 통합하면 GPU와 스토리지 간의 데이터 전송을 간소화하여 GPU 집약적 애플리케이션의 성능이 크게 향상됩니다. GPUDirect는 직접 메모리 액세스를 촉진하여 데이터 이동이 CPU 및 시스템 메모리를 우회하여 대기 시간을 줄이고 처리량을 늘릴 수 있도록 합니다. Data24 4000 시리즈의 고성능 NVMe-oF 기능과 결합된 GPUDirect는 GPU가 NVMe SSD에 저장된 대규모 데이터 세트에 빠르게 액세스할 수 있도록 보장합니다.

이러한 통합은 딥 러닝 및 과학 시뮬레이션과 같이 GPU와 스토리지 간의 고속 데이터 교환이 중요한 환경에서 특히 유용합니다. Data24 4000 시리즈의 낮은 대기 시간과 높은 대역폭은 GPUDirect가 지원하는 직접 데이터 경로와 결합되어 데이터 전송 시간을 최소화하고 보다 효율적인 GPU 활용을 가능하게 합니다. 이러한 시너지 효과는 여러 GPU가 공유 데이터에 빠르고 빈번하게 액세스해야 하는 병렬 처리 작업의 성능을 최적화합니다.

이 테스트를 위해 OpenFlex Data24 4000 및 GPU 서버는 MTU가 200으로 일치하는 NVMe-oF RoCEv2 프로토콜을 사용하는 5000GbE 스위치를 통해 연결됩니다. GPU 서버는 RNIC당 3x 7GbE가 포함된 2개의 Mellanox® CX200 RNIC를 사용합니다. OpenFlex Data24 4000은 12x 100GbE 포트와 함께 사용할 수 있습니다. 각 CX7 포트에는 2개의 IP 주소가 있으므로 단일 CX7을 Data24의 4개 포트에 매핑할 수 있습니다. 이는 각 듀얼 포트 드라이브에 있는 6개의 PCIe 레인 모두에 대한 연결을 제공합니다. 200x 12GbE 링크는 비차단 네트워크 아키텍처에 대한 100x XNUMXGbE 링크의 대역폭 잠재력과 동일합니다.

각 NVIDIA H100은 이론적으로 양방향으로 5GB/s의 대역폭을 달성할 수 있는 PCIe Gen16 x64 슬롯을 통해 연결됩니다. 각 200GbE 및 100GbE RNIC 포트는 이론적으로 각각 25GB/s 및 12.5GB/s에 도달할 수 있습니다. 중요한 설계 고려 사항은 비차단 아키텍처를 보장하는 것입니다. 이를 위해서는 GPU, RNIC 및 NVMe-oF 드라이브가 모두 동일한 CPU, NUMA 및 PLX 스위치에 물리적으로 매핑되어야 합니다. 이를 통해 구성에서 GPUDirect를 최대한 활용할 수 있습니다. 이 구현에서 볼 수 있듯이 두 번째 CPU, NUMA 및 PLX 스위치의 미러링 구성을 통해 예측 가능한 컴퓨팅 규모와 이론적으로 두 배의 성능을 얻을 수 있습니다.

AI 훈련 클러스터에서 Data24 4000과 GPUDirect를 결합하면 데이터 로딩과 관련된 병목 현상을 줄여 훈련 시간을 단축할 수 있습니다. 효율적인 데이터 경로는 GPU가 중단 없이 지속적으로 데이터를 수신하여 높은 처리 속도를 유지하고 전반적인 시스템 효율성을 향상시킬 수 있도록 보장합니다. 이 설정은 빠른 데이터 액세스 및 처리가 필요한 실시간 분석 및 기타 애플리케이션에도 유리하여 다양한 계산 작업 부하에 상당한 성능 향상을 제공합니다.

NVIDIA Index 서버 구성

NVIDIA IndeX 테스트를 위해 우리는 스위치형 PCIe 백플레인, 한 쌍의 NVIDIA H521 및 100개의 NVIDIA ConnectX-7 네트워크 카드가 장착된 Supermicro XNUMXGE-TNRT를 사용했습니다.

GDSIO 합성 테스트

이러한 목적으로 사용되는 벤치마킹 도구는 GDS(GPU 직접 스토리지) 환경에서 스토리지 성능을 측정하도록 설계된 특수 독점 NVIDIA 유틸리티인 GDSIO입니다. 이번 테스트에서는 몇 가지 구성, 즉 12개 드라이브와 24개 드라이브가 있는 단일 GPU와 24개 드라이브가 있는 XNUMX개의 GPU를 살펴보았습니다.

NVIDIA H24 GPU와 결합된 GDSIO 성능 테스트에서 Western Digital OpenFlex Data100의 성능은 드라이브의 원시 성능에 대한 통찰력을 보여줍니다. 12개의 드라이브와 단일 GPU로 구성된 경우 시스템은 44.14GB/s의 쓰기 대역폭을 달성했습니다. 24개의 GPU를 활용하면서 드라이브 수를 54.15개로 늘렸을 때 쓰기 성능이 24GB/s에 도달하는 등 약간의 개선이 나타났습니다. 87.91개 드라이브 설정에 두 번째 GPU를 도입하면 쓰기 대역폭이 XNUMXGB/s로 향상되어 상당한 성능 향상이 이루어졌습니다.

읽기 성능도 비슷한 추세를 따릅니다. 12개 드라이브, 53.47개 GPU 구성은 24GB/s의 읽기 대역폭을 제공했습니다. 하나의 GPU로 54.75개의 드라이브로 확장하면 101.14GB/s로 약간 증가합니다. 그러나 가장 극적인 개선은 듀얼 GPU 설정에서 이루어졌으며 시스템은 인상적인 24GB/s 읽기 대역폭을 달성했습니다. 이러한 결과는 OpenFlex DataXNUMX가 드라이브 수 증가에 따라 예측 가능하게 확장할 수 있다는 점을 강조합니다.

GPU 추가는 성능 극대화에 중요한 역할을 합니다. 24개의 드라이브와 24개의 GPU로 구성된 구성이 최적의 설정으로 등장하여 읽기 및 쓰기 작업에 가장 높은 대역폭을 제공했습니다. 이 테스트는 GDSIO 프레임워크의 잠재력을 최대한 활용하는 데 있어 GPU 가속의 중요성을 강조합니다. OpenFlex Data100는 NVIDIA HXNUMX GPU와 함께 사용하면 탁월한 성능을 발휘하여 까다로운 스토리지 환경을 위한 강력한 솔루션이 됩니다.

신속한 데이터 수집 및 처리가 가장 중요한 AI 워크로드의 경우 OpenFlex Data24로 관찰된 성능은 훈련 시간을 크게 단축하고 대규모 데이터 세트를 보다 효율적으로 처리할 수 있습니다. 데이터를 스토리지에서 GPU 메모리로 신속하게 이동하는 기능은 강력한 GPU의 계산 리소스를 완전히 활용하여 더 빠르고 효율적인 모델 교육 및 추론을 촉진합니다.

OpenFlex Data24를 사용하여 H100의 토네이도 공급

기후 연구자들은 세계에서 가장 격렬하고 위험한 토네이도를 일으키는 대기 현상인 슈퍼셀 뇌우를 오랫동안 연구해 왔습니다. 이러한 폭풍은 역동적이고 복잡하므로 정확한 시뮬레이션에 시간이 많이 걸리고 데이터 집약적입니다. 이러한 데이터를 탐색하는 것은 느리고 번거로운 프로세스였으며 새로운 시각화를 렌더링하는 데 종종 몇 시간이 걸렸습니다.

NVIDIA GPU와 NVIDIA IndeX의 사용은 이 분야에 혁명을 일으켰습니다. 이제 과학자들은 실시간으로 체적 시각화를 수행할 수 있습니다. H100을 사용하여 Supermicro 시스템에서 실행한 시뮬레이션(OpenFlex Data24에서 데이터 제공)은 Leigh Orf 교수가 시뮬레이션한 2011년 오클라호마 폭풍을 보여줍니다. 토네이도가 형성되기 직전의 초기 조건에서 수학적으로 파생된 이 시뮬레이션에는 250억 개의 그리드 포인트가 포함되어 있으며 각 포인트에는 비, 우박, 기압, 풍속 등 6000가지가 넘는 속성이 포함되어 있습니다. XNUMX개의 시뮬레이션 단계를 보여주는 이 상세한 시각화는 토네이도의 역학에 대한 전례 없는 통찰력을 제공합니다.

이 시뮬레이션의 핵심은 데이터를 GPU 메모리에 직접 매핑하여 데이터 세트 크기와 메모리 공간을 줄이는 소형 ​​희소 볼륨 데이터 구조인 NanoVDB입니다. GPUDirect 스토리지 기술 및 OpenFlex Data24와 결합하여 최대 89GB/s를 달성했으며 초당 13프레임 이상의 속도로 결과를 볼 수 있습니다. 이는 5.9초마다 수집되는 약 66TB의 데이터 세트에 해당합니다. 이 조합을 사용하면 대화형 탐색, 즉석 매개변수 조정 및 시뮬레이션을 통한 스크러빙이 쉽게 가능합니다.

GPUDirect가 비활성화되면(따라서 이제 데이터가 CPU 컴플렉스를 통과함) 대역폭은 약 15GB/s로 줄어들고 프레임 속도는 초당 4프레임으로 크게 떨어집니다.

속도는 중요하지만 시뮬레이션의 정확성을 검증하려면 사실적인 품질도 필수적입니다. 시뮬레이션과 현실이 일치하지 않으면 모델을 수정해야 합니다. 물리적으로 정확한 빛 전송을 렌더링하는 GPU 기반 경로 추적기인 NVIDIA Iray는 NVIDIA IndeX 볼륨 데이터와 함께 사용되어 이 시각화를 강화합니다. 토네이도의 깔대기, 지면 접촉, 청회색 기공으로 표현되는 구름-물 비율 및 비와 같은 세부 요소가 선명하게 보입니다.

결론

잘 구성된 비차단 아키텍처가 GPU 가속 워크로드를 제공할 수 있는 성능, 시간 및 비용 이점이 이 프로젝트에서 잘 입증되었습니다. 간단히 말해서, GPU를 최대 처리량 또는 처리 능력으로 구동하면 보다 효율적인 결과와 투자 수익을 얻을 수 있습니다.

Western Digital의 아키텍처는 OCI(Open Composable Infrastructure)를 지원하며 OpenFlex Data24 4000 플랫폼은 NVMe-oF(NVMe-over-Fabrics)를 사용하여 데이터 스토리지를 분리하여 이 OCI 접근 방식을 활용합니다. GPU 서버에서 스토리지 리소스를 분리하면 서버 리소스를 확보하는 데 도움이 될 뿐만 아니라(기존 잠금 단계 업그레이드에서 해당 리소스를 해제) 이를 통해 GPU에 대한 NVMe 드라이브 매핑을 미세 조정할 수도 있습니다. GPU 요구 사항과 정확하게 일치하는 이 드라이브를 통해 GPU 기능, 성능 및 데이터 용량 요구 사항을 면밀히 처리할 수 있으며, 결과적으로 해당 리소스에 필요한 예측 가능한 규모와 유연성을 제공할 수 있습니다.

데이터가 더 이상 사일로화되지 않으므로 필요에 따라 여러 GPU 서버 간에 공유할 수 있는 액세스 가능한 네트워크 스토리지 리소스가 되어 유연성이 더욱 향상됩니다.

NVIDIA GPUDirect 기술과 결합된 Western Digital OpenFlex Data24는 AI 및 기타 GPU 가속 워크로드를 처리하는 데 있어 강력한 성능을 보여줍니다. Data24는 GPU 메모리와 NVMe 스토리지 간의 직접적인 데이터 경로를 활성화함으로써 대기 시간을 크게 줄이고 대역폭을 최대화하여 효율적인 데이터 처리와 최적의 GPU 활용을 보장합니다. 이러한 통합을 통해 대규모 데이터 세트를 더 빠르고 효과적으로 처리할 수 있으므로 Data24는 현대 데이터 집약적 환경에서 귀중한 자산이 됩니다.

상당한 토네이도 시뮬레이션 데이터 세트를 포함하는 실제 테스트에서는 이 설정을 통해 달성된 놀라운 성능 향상을 보여주었습니다. 높은 처리량과 낮은 지연 시간의 데이터 전송을 제공하는 OpenFlex Data24의 기능은 NVIDIA IndeX의 실시간 시각화 기능과 결합되어 AI 교육, 과학 시뮬레이션, 실시간 분석과 같은 까다로운 애플리케이션에서 잠재력을 강조합니다.

AI 훈련 클러스터에 Data24 시리즈와 GPUDirect 기술을 활용하면 스토리지에서 GPU로의 원활한 데이터 흐름을 보장하여 훈련 시간을 크게 줄일 수 있습니다. 이 설정은 병목 현상을 최소화하고 전반적인 시스템 효율성을 향상시켜 더 빠르고 정확한 AI 모델을 추구하는 데 중요한 구성 요소가 됩니다.

AI 외에도 OpenFlex Data24의 이점은 고성능 컴퓨팅 및 실시간 데이터 분석을 포함한 다른 GPU 가속 워크로드로 확장됩니다. 이 플랫폼을 통해 지연 시간이 줄어들고 처리량이 증가하므로 빠른 데이터 액세스 및 처리가 필요한 애플리케이션이 최고 성능으로 작동하여 적시에 정확한 결과를 제공할 수 있습니다.

6년 8월 2024~2024일 FMS 607 부스 #XNUMX에서 진행되는 이 데모를 확인하세요.

웨스턴 디지털 OpenFlex 플랫폼

[1] XNUMX테라바이트(TB)는 XNUMX조 바이트와 같습니다. 실제 사용자 용량은 운영 환경에 따라 더 적을 수 있습니다.

StorageReview에 참여

뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드