리뷰를 게시하면서 Dell PowerEdge R760 R760에는 초기 검토가 너무 길어질 수 있는 많은 스토리지 구성 옵션이 있다는 점을 지적하면서 의도적으로 스토리지 수를 보류했습니다. 이 리뷰에서는 Gen4 NVMe SSD에 대해 Dell PowerEdge가 지원하는 스토리지 옵션과 Dell이 다이렉트 드라이브라고 부르는 것과 PERC 12 하드웨어 RAID 카드의 성능 프로필을 자세히 살펴봅니다.
리뷰를 게시하면서 Dell PowerEdge R760 R760에는 초기 검토가 너무 길어질 수 있는 많은 스토리지 구성 옵션이 있다는 점을 지적하면서 의도적으로 스토리지 수를 보류했습니다. 이 리뷰에서는 Gen4 NVMe SSD에 대해 Dell PowerEdge가 지원하는 스토리지 옵션과 Dell이 다이렉트 드라이브라고 부르는 것과 PERC 12 하드웨어 RAID 카드의 성능 프로필을 자세히 살펴봅니다.
Dell PowerEdge NVMe 백플레인 옵션
Dell은 16G PowerEdge 서버에서 다양한 스토리지 백플레인을 제공합니다. R760을 구성할 때 거의 50개의 드라이브 섀시 옵션이 있습니다. 이 중 일부는 레거시 지원(예: PERC 11)이지만 중요한 것은 섀시 결정이 중요하다는 것입니다. 이것은 PowerEdge 서버에서 Gen3 SSD를 얻을 수 있는 유일한 방법인 E5.S NVMe SSD 지원을 고려하지도 않습니다. 우리는 보았다 Dell PowerEdge R3의 E660.S Gen5 및 EDSFF 폼 팩터의 이점에 대해 자세히 알아보려면
당면한 작업으로 돌아갑니다. 이 검토에서는 PERC 12 HWRAID 카드 옵션과 비교하여 Dell의 다이렉트 드라이브 옵션 선택의 의미를 이해하고자 합니다. 언급했듯이 여기에서 명시적인 초점은 Gen4 U.2/U.3 NVMe SSD를 고려하는 것입니다. 지금은 SATA/SAS 및 3.5″ HDD용 섀시 옵션을 무시합니다. 이러한 구성은 훨씬 더 간단합니다.
R760에서 Dell은 Gen4 NVMe 드라이브를 탑재할 수 있는 몇 가지 섀시 옵션을 제공합니다. 다이렉트 드라이브 옵션은 8개 또는 16개 드라이브를 지원하도록 구성할 수 있습니다. HWRAID 구성의 경우 Dell은 동일한 방식으로 PERC 12 HWRAID 카드를 제공하며 8개 SSD의 각 배치에 대해 하나의 RAID 카드를 제공합니다. 이 결정은 760개의 NVMe SSD로 완전히 채워진 R16이 가능한 최상의 성능을 얻도록 하는 데 기본이 되기 때문에 중요합니다.
Dell PERC 12 개요
Dell PowerEdge RAID 컨트롤러(PERC) 12는 Broadcom SAS4116W 실리콘을 기반으로 합니다. 제품 이름에 SAS가 있음에도 불구하고 컨트롤러는 XNUMX중 모드 ROC(RAID-on-Chip) 장치입니다. 동일한 RAID 컨트롤러가 Broadcom MegaRAID 라인에서 사용됩니다. 우리는 최근에 메가레이드 9670W 핵심 능력 강조. 그러나 Dell PERC 12에서는 관심 있는 Dell 서버 및 스토리지 제품군에 따라 본질적인 디자인 차이가 발생합니다.
PowerEdge와 관련하여 대부분의 구성은 "H965i 전면" PERC 12 카드를 활용합니다. HWRAID가 포함된 R760 시스템에 대한 검토에서 시스템에 이러한 H965i 전면 카드 8개가 있으며 각 5520x Solidigm P8 SSD 세트에 하나씩 있습니다. 이 카드는 애드인 카드보다 훨씬 작다는 점을 언급할 가치가 있습니다. PCB 디자인과 열 관리는 정말 인상적입니다. 이 카드는 8-드라이브 NVMe 백플레인에 직접 장착되며 XNUMX개의 xXNUMX PCIe 케이블로 마더보드에 연결됩니다. 이렇게 하면 다른 장치를 위해 서버의 읽기 측에 있는 PCIe 슬롯을 확보할 수 있습니다.
애드인 카드에 대해 말하자면, 표준 PERC 12 H965i는 온보드 팬을 포함하는 절반 높이, 절반 길이 카드입니다. 이 버전의 PERC 12는 일부 PowerEdge 구성에 표시되며 일부 새로운 구성에서도 찾을 수 있습니다. Dell PowerVault MD JBOD. 마지막으로 MX965 모듈식 섀시와 같은 것을 위해 설계된 길고 좁은 PCB인 H7000i MX가 있습니다.
Dell PERC 11과 PERC 12 비교
Dell PERC 11 카드는 NVMe SSD를 지원했지만 불행히도 하드웨어 RAID의 이점은 막대한 성능 비용을 초래했습니다. 그 히트는 바로 업계가 새로운 Broadcom 실리콘과 Dell의 해당 카드 버전인 PERC에 그토록 열광하는 이유입니다. Dell은 몇 가지 수치를 발표했습니다. PERC 11과 PERC 12의 차이점에 대해 알아보십시오.
PERC 12의 대기 시간 이점은 분명합니다. 그러나 최악의 조건에서 성능을 살펴보십시오. 재구축 중 성능입니다. PERC 12는 수천 퍼센트의 개선을 보였고 RAID 재구축 시간도 상당한 이점을 보였습니다.
Dell이 인용한 대역폭 및 IOPS 수치를 보면 PERC 12과 비교하여 PERC 11가 취하는 엄청난 발전을 다시 한 번 볼 수 있습니다. 전반적으로 이러한 모든 워크로드는 PERC 2 카드에서 최소 12배 개선된 것을 볼 수 있습니다. 물론 PERC 12 성능을 확인하기 위해 테스트를 수행했으며 이에 도달할 것입니다.
Dell 다이렉트 드라이브와 Dell PERC 12 성능 비교
다이렉트 드라이브와 PERC 12의 스토리지 성능을 비교하기 위해 R760 서버 "사촌"을 다음과 같이 구성했습니다. Solidigm P5520 7.68TB SSD. 다이렉트 드라이브가 있는 Dell R760에는 8x NVMe 베이가 있습니다. PERC 760가 탑재된 R12에는 16개의 H965i 전면 RAID 카드가 있는 XNUMXx NVMe 베이가 있습니다.
액면가로 보면 양쪽에 특정 성능 제한이 있는지 명확하지 않을 수 있습니다. 다이렉트 드라이브 접근 방식을 시작으로 각 SSD에는 자체 x4 PCIe 연결이 있습니다. 즉, 32개의 SSD에 전용 PCIe 레인이 XNUMX개 있습니다.
이것은 각 Gen52 드라이브가 4GB/s 연결을 포화시킬 수 있는 경우 일반적으로 6.5GB/s 이상의 놀라운 대역폭을 가능하게 합니다. PERC 12 H965i 설정과 비교할 때 16개의 SSD로 구성된 각 그룹은 xXNUMX PCIe 연결로 마더보드에 다시 연결되는 RAID 카드와 직접 인터페이스합니다. 이렇게 하면 다이렉트 드라이브 구성이 지원하는 대역폭이 절반으로 줄어듭니다. 당연히 기본 NVMe 연결이 승리합니까? 정확히.
다중 CPU 시스템에서 여러 NVMe 장치를 처리할 때 드라이브와 CPU 간의 NUMA 매핑과 시스템 인터럽트가 작용합니다. 이것은 최적화할 수 있지만 상당한 조정이 필요합니다. 모든 애플리케이션이 이를 고려하는 것은 아닙니다.
가상화는 할당된 PCIe 리소스에 직접 액세스할 수 없는 CPU에 대해 공유 리소스가 실시간으로 균형을 이루기 때문에 NUMA 매핑을 관리하기 어려운 분야입니다. 하드웨어 RAID 카드는 이러한 많은 문제를 완화하고 시스템 인터럽트 및 컨텍스트 전환을 최적화하여 CPU 리소스를 확보합니다. NUMA 매핑도 덜 복잡해집니다. 16개의 개별 SSD를 두 개의 CPU에 분할하는 대신 관리할 CPU당 하나의 스토리지 카드만 있기 때문입니다.
테스트 계획은 두 가지 영역에 중점을 둡니다. 첫 번째는 R760에 전달된 760개의 SSD로 JBOD 성능을 측정하는 Vdbench 워크로드입니다. 다이렉트 드라이브 R760에는 12개의 기본 SSD가 있고 HWRAID R2에는 PERC 12가 XNUMX개의 원시 스토리지 장치를 통과합니다. 둘 다 최적화 없이 있는 그대로 테스트됩니다. 테스트의 두 번째 단계에서는 단일에서 최적화된 듀얼 카드 설정까지 PERC XNUMX 솔루션의 확장된 성능을 보여줍니다.
다이렉트 드라이브 PowerEdge R760 검토 장치의 구성은 다음과 같습니다.
- 듀얼 Intel Xeon Gold 6430(32코어/64스레드, 1.9GHz 베이스)
- 1TB DDR5 RAM
- 8 Solidigm P5520 7.68TB Gen4 SSD
- RHEL 9
HWRAID NVMe PowerEdge R760 검토 장치의 구성은 다음과 같습니다.
- 듀얼 Intel Xeon Gold 6430(32코어/64스레드, 1.9GHz 베이스)
- 1TB DDR5 RAM
- 16 Solidigm P5520 7.68TB Gen4 SSD
- 듀얼 PERC 12 H965i
- RHEL 9
Vdbench 워크로드 분석
저장 장치를 벤치마킹할 때 응용 프로그램 테스트가 가장 좋으며 합성 테스트가 뒤따릅니다. 실제 워크로드를 완벽하게 나타내지는 못하지만 종합 테스트는 경쟁 솔루션 간의 비교를 쉽게 해주는 반복성 요소를 통해 저장 장치의 기준선을 만드는 데 도움이 됩니다. 이러한 워크로드는 "포 코너" 테스트 및 일반적인 데이터베이스 전송 크기 테스트에서 다양한 VDI 환경의 트레이스 캡처에 이르는 다양한 테스트 프로필을 제공합니다.
이러한 테스트는 스크립팅 엔진과 함께 일반적인 Vdbench 워크로드 생성기를 활용하여 대규모 컴퓨팅 테스트 클러스터에서 결과를 자동화하고 캡처합니다. 이를 통해 플래시 어레이 및 개별 저장 장치를 비롯한 다양한 저장 장치에서 동일한 작업 부하를 반복할 수 있습니다. 이러한 벤치마크에 대한 테스트 프로세스는 전체 드라이브 표면을 데이터로 채운 다음 드라이브 용량의 25%에 해당하는 드라이브 섹션을 분할하여 드라이브가 애플리케이션 작업 부하에 어떻게 반응하는지 시뮬레이션합니다. 이것은 드라이브의 100%를 사용하고 정상 상태로 만드는 완전한 엔트로피 테스트와 다릅니다. 결과적으로 이러한 수치는 더 높은 지속 쓰기 속도를 반영합니다.
프로필 :
- 4K 임의 읽기 및 쓰기: 100% 읽기 또는 쓰기, 128개 스레드, 0-120% 속도
- 64K 순차 읽기: 100% 읽기, 32개 스레드, 0-120% 속도
- 64K 순차 쓰기: 쓰기 100%, 스레드 16개, 속도 0-120%
- 4K 70R/30W 및 90R/10W 랜덤 믹스, 64 스레드, 0-120% 요레이트
읽기 전송 대역폭에 초점을 맞춘 첫 번째 테스트를 보면 32개 레인이 있는 단일 PERC 12보다 16개 PCIe 레인이 있는 다이렉트 드라이브 접근 방식의 PCIe 채널 이점을 볼 수 있습니다. 이는 JBOD 모드에서 PERC 41.6의 28GB/s에 비해 다이렉트 드라이브에서 12GB/s로 작동합니다.
읽기에서 쓰기 대역폭으로 전환하면 Solidigm P5520의 쓰기 속도가 읽기 속도보다 낮기 때문에 추가 PCIe 레인의 이점이 줄어듭니다. 여기서 다이렉트 드라이브 구성은 PERC 18.3의 20.3GB/s와 비교하여 12GB/s로 측정되었습니다.
무작위 4K 읽기 워크로드에서 Direct Drive PowerEdge R8의 5520개 Solidigm P760 SSD는 PERC 5.55 설정의 4.34M IOPS와 비교하여 최대 12만 IOPS를 측정했습니다.
4K 임의 쓰기에서는 다이렉트 드라이브가 3.96만 IOPS를 측정하고 PERC 4.15에서 12만 IOPS를 측정하면서 그 차이가 다시 좁혀집니다.
두 가지 혼합 작업 부하 중 첫 번째 작업에서는 4/70 읽기/쓰기 스프레드가 있는 30K 임의 전송을 살펴봅니다. 여기에서 Direct Drives PowerEdge R760 구성은 PERC 4.47의 12만 IOPS에 비해 최대 3.66만 IOPS를 측정했습니다.
동일한 90K 전송 테스트에서 읽기 비율을 4%로 증가시키면 다이렉트 드라이브 서버의 5.04만 IOPS와 PERC 3.62 시스템의 12만 IOPS를 측정했습니다.
FIO 워크로드 분석
Dell의 다이렉트 드라이브 및 PERC 12 HWRAID 제품의 드라이브 성능을 측정하기 위해 벤치마크를 다음 구성으로 분할했습니다. 첫 번째는 RAID, RAID10, RAID5 구성 외부의 각 드라이브를 측정하는 JBOD 구성을 포함했습니다.
다이렉트 드라이브 접근 방식의 경우 SSD는 OS에 정상적으로 표시됩니다. PERC 12의 경우 HBA를 통해 원시 스토리지 장치로 전달됩니다. 이러한 구성은 스크립팅 프로세스를 통해 플래시를 사전 조정하고, 조정된 테스트를 실행하고, 다음 사전 조정/작업 부하 조합으로 이동했습니다.
- 순차 사전 조건화
- JBOD, 8DR10, 8DR5(단일 및 이중 PERC)에 대한 순차 테스트
- 무작위 전제조건
- JBOD, 8DR10, 8DR5(단일 및 이중 PERC)에 대한 무작위 최적 테스트
- 8DR10, 8DR5(단일 및 이중 PERC)에 대한 무작위 재구축 테스트
- 8DR5(단일 PERC)에 대한 최적 및 재구축을 위한 임의 쓰기 대기 시간
x12 PCIe Gen965 슬롯이 있는 PERC 16 H4i를 사용하면 최대 성능은 한 방향으로 약 28GB/s이며 Gen4 슬롯이 최고입니다. Dell은 PowerEdge R12에 이중 PERC 760 구성을 제공하여 이 대역폭 제한에 고유한 접근 방식을 취했습니다. 16개의 SSD 베이가 모두 단일 카드에 연결되는 대신 로드가 분할되어 각 PERC 12가 자체 8개의 SSD 세트를 제어합니다. 이 접근 방식은 까다로운 워크로드에서 사용 가능한 최대 처리량을 극적으로 증가시키면서 대역폭 제한을 우회합니다.
순차 전송 성능을 먼저 살펴보면 단일 PERC 54.4가 12GB/s인 것에 비해 읽기 속도가 28.1GB/s인 다이렉트 드라이브 구성의 대역폭 이점을 확인할 수 있습니다. 기본 쓰기 속도는 33.4개의 드라이브가 있는 단일 PERC 28.3에서 12GB/s에 비해 XNUMXGB/s를 측정하는 이점도 있습니다. 일반적으로 이 등급의 SSD는 읽기 속도가 쓰기 속도보다 훨씬 빠르기 때문에 일반적으로 쓰기 속도에는 큰 차이가 없습니다.
| 작업량 | JBOD 다이렉트 드라이브(MB/s) | JBOD 1 x PERC 12(MB/s) | JBOD 2 x PERC 12(MB/s) | RAID 10 1 x PERC 12- 최적(MB/s) | RAID 10 2 x PERC 12- 최적(MB/s) | RAID 5 1 x PERC 12 – 최적(MB/s) | RAID 5 2 x PERC 12 – 최적(MB/s) |
|---|---|---|---|---|---|---|---|
| 최대 순차 읽기 | 54,396 | 28,076 | 56,114 | 27,450 | 55,482 | 24,049 | 56,107 |
| 최대 순차 쓰기 | 33,367 | 28,284 | 56,541 | 11,037 | 22,120 | 12,269 | 24,351 |
| 최대 50:50 시퀀스 읽기:쓰기 | 33,569 | 28,286 | 56,541 | 11,011 | 21,875 | 12,269 | 24,360 |
무작위 전송 성능으로 초점을 전환하면 NUMA 밸런싱과 관련하여 RAID 카드의 장점이 나타날 수 있는 위치가 바뀌기 시작합니다. 읽기 성능에서 Solidigm 7.68TB P5520 SSD는 7.96K 읽기 테스트에서 4만 IOPS를 측정했으며 PERC 12 JBOD 구성은 7만 IOPS를 측정했습니다. 다이렉트 드라이브 구성을 통한 쓰기 속도는 3.4만 IOPS로 떨어졌고 PERC 12는 5.97만 IOPS를 유지했습니다. 4K OLTP 워크로드의 경우 PERC 3.6의 10.2M IOPS에 비해 12만 IOPS를 측정하는 다이렉트 드라이브로 인해 더욱 두드러집니다.
전통적인 생각은 하드웨어 RAID가 최신 SSD에서 가치가 없다는 것이었지만 더 이상 그렇지 않다는 것을 알 수 있습니다. 예, 다이렉트 드라이브 NVMe 설정은 조정할 수 있지만 XNUMX개의 CPU에서 균형을 이루는 여러 SSD에서 움직이는 대상입니다.
이것은 모든 복잡성을 관리하고 단 하나의 CPU에만 연결하는 PERC 12 HWRAID 카드와 정반대입니다. 확장을 위해 Dell PowerEdge R2의 두 번째 PERC 카드는 다른 CPU에 연결되어 이 두 디스크 그룹에 분할된 더 큰 워크로드에 대한 균형을 제공합니다. 약 760만 IOPS에서 시스템이 CPU를 포화시키기 시작했고, 이것이 추가 PERC 10 카드를 사용하여 일부 영역에서 선형 확장을 보지 못한 이유입니다.
| 작업량 | JBOD 다이렉트 드라이브(MB/s) | JBOD 1 x PERC 12(MB/s) | JBOD 2 x PERC 12(MB/s) | RAID 10 1 x PERC 12 – 최적(MB/s) | RAID 10 2 x PERC 12 – 최적(MB/s) | RAID 5 1 x PERC 12 – 최적(MB/s) | RAID 5 2 x PERC 12 – 최적(MB/s) |
|---|---|---|---|---|---|---|---|
| 4KB 임의 읽기(IOP) | 7,958,204 | 7,003,556 | 12,447,020 | 6,757,498 | 13,067,852 | 6,974,826 | 13,205,656 |
| 4KB 임의 쓰기(IOP) | 3,473,446 | 5,974,265 | 11,323,633 | 2,204,738 | 4,684,333 | 862,769 | 1,725,198 |
| 4KB OLTP(IOP) | 3,553,974 | 10,195,618 | 11,967,984 | 6,441,868 | 12,288,219 | 2,635,711 | 5,279,999 |
Direct Drives PowerEdge R760 구성에서 소프트웨어 RAID 옵션을 살펴보지는 않았지만 성능이 저하된 상태의 PERC 12에서 RAID 구성이 얼마나 잘 수행되는지 확인할 기회가 있었습니다. 최적의 성능에 비해 성능이 크게 떨어졌지만 RAID10과 RAID5 모두 RAID 그룹을 재구축하는 동안 강력한 성능을 제공했습니다.
| 작업량 | RAID 10 1 x PERC 12 – 재구축(MB/s) | RAID 10 2 x PERC 12 – 재구축(MB/s) | RAID 5 1 x PERC 12 – 재구축(MB/s) | RAID 5 2 x PERC 12 – 재구축(MB/s) |
|---|---|---|---|---|
| 4KB 임의 읽기(IOP) | 1,345,175 | 2,692,738 | 2,350,889 | 4,676,748 |
| 4KB 임의 쓰기(IOP) | 1,666,967 | 3,174,430 | 242,802 | 479,144 |
| 4KB OLTP(IOP) | 1,618,209 | 3,253,603 | 243,349 | 486,251 |
최적의 RAID 성능은 스토리지 솔루션을 선택하는 데 중요한 측면이지만 최적이 아닌 조건에서 성능을 확인하는 것도 마찬가지로 중요할 수 있습니다. 이를 위해 최적의 조건에서 RAID4의 5K 쓰기 대기 시간을 측정했으며 실패한 드라이브로 재구축 성능을 보였습니다. 성능이나 대기 시간이 크게 저하되면 애플리케이션 응답성이 문제가 될 수 있습니다. 재구축 성능은 최적에 비해 감소하지만 성능의 대기 시간은 기준선 이상으로 증가하지 않습니다.
최종 생각
Dell의 새로운 PERC12 NVMe RAID 카드는 PowerEdge 서버의 NVMe 스토리지 옵션에 대한 판도를 바꿉니다. 과거에는 일부 고객이 SAS SSD에서 전환하는 것을 주저하거나 다양한 SDS 또는 하이퍼바이저에 연결된 NVMe 드라이브를 선택했습니다. 그러나 PERC 12 카드의 도입으로 PowerEdge의 방정식이 변경되어 보다 실행 가능한 옵션이 되었습니다.
PERC 12의 성능이 뛰어난 이유는 PowerEdge 서버의 레이아웃 때문이기도 합니다. R760에는 각각 x12 레인이 있는 965개의 PERC 16(H8i 전면) 카드가 있습니다. 이를 통해 카드당 28개의 Solidigm SSD를 활용하여 카드당 최대 16GB/s의 최대 대역폭을 제공할 수 있습니다. XNUMX개의 SSD를 모두 단일 RAID 카드에 연결하면 잠재적 성능의 절반이 손실됩니다.
"HWRAID를 지원하는 24개의 SSD가 아닌 이유는 무엇입니까?"라고 물을 수 있습니다. 모든 시스템에는 어딘가에 병목 현상이 있다는 점을 기억하십시오. 이 경우 CPU를 꽤 쉽게 포화시킬 수 있으므로 서버 내의 x86이 게이팅 요소가 됩니다. 클러스터 솔루션에 대해 이야기하는 경우 네트워크도 고정됩니다. 소수의 SSD는 200GbE 또는 400GbE까지 쉽게 채울 수 있습니다. 이제 SSD 용량이 30.72TB를 넘어섰기 때문에 시스템 용량 문제로 인해 서버에 드라이브를 가득 채울 필요가 없습니다.
우리를 읽는다면 Broadcom 9600 시리즈 RAID 카드 검토, 우리는 새로운 실리콘이 NVMe SSD 성능 프로파일을 손상시키지 않으면서 HWRAID의 모든 데이터 복원력과 재구축 이점을 현실적으로 제공할 것이라는 데 꽤 회의적이었습니다. 우리는 그 검토 결과에 매우 놀랐고 여기서는 PERC 12가 R760에서 두 배로 향상되어 두 배의 최고의 성능을 얻을 수 있었습니다. Dell 다이렉트 드라이브는 소프트웨어 정의 스토리지와 같은 많은 사용 사례에서 여전히 선호될 수 있지만 PERC 12 옵션은 대부분의 엔터프라이즈 사용 사례에서 매우 인기가 있습니다.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드
