델 파워엣지 R760 서버 리뷰를 작성하면서 스토리지 관련 수치는 의도적으로 언급하지 않았습니다. R760에는 다양한 스토리지 구성 옵션이 있어 초기 리뷰가 너무 길어질 것을 우려했기 때문입니다. 이번 리뷰에서는 델 파워엣지가 지원하는 Gen4 NVMe SSD 스토리지 옵션과 델이 '다이렉트 드라이브'라고 부르는 방식과 PERC 12 하드웨어 RAID 카드의 성능 프로필을 자세히 살펴보겠습니다.
Dell PowerEdge NVMe 백플레인 옵션
Dell은 16G PowerEdge 서버에 다양한 스토리지 백플레인을 제공합니다. R760을 구성할 때 거의 50가지에 달하는 드라이브 섀시 옵션이 있습니다. 이 중 일부는 레거시(예: PERC 11)를 지원하지만, 중요한 것은 섀시 선택이 매우 중요하다는 점입니다. 이는 PowerEdge 서버에서 Gen5 SSD를 사용할 수 있는 유일한 방법인 E3.S NVMe SSD 지원은 고려하지 않은 것입니다. Gen5 및 EDSFF 폼 팩터의 이점에 대해 더 자세히 알아보려면 Dell PowerEdge R660의 E3.S 관련 내용을 참조하십시오.
당면한 작업으로 돌아갑니다. 이 검토에서는 PERC 12 HWRAID 카드 옵션과 비교하여 Dell의 다이렉트 드라이브 옵션 선택의 의미를 이해하고자 합니다. 언급했듯이 여기에서 명시적인 초점은 Gen4 U.2/U.3 NVMe SSD를 고려하는 것입니다. 지금은 SATA/SAS 및 3.5″ HDD용 섀시 옵션을 무시합니다. 이러한 구성은 훨씬 더 간단합니다.
R760에서 Dell은 Gen4 NVMe 드라이브를 탑재할 수 있는 몇 가지 섀시 옵션을 제공합니다. 다이렉트 드라이브 옵션은 8개 또는 16개 드라이브를 지원하도록 구성할 수 있습니다. HWRAID 구성의 경우 Dell은 동일한 방식으로 PERC 12 HWRAID 카드를 제공하며 8개 SSD의 각 배치에 대해 하나의 RAID 카드를 제공합니다. 이 결정은 760개의 NVMe SSD로 완전히 채워진 R16이 가능한 최상의 성능을 얻도록 하는 데 기본이 되기 때문에 중요합니다.
Dell PERC 12 개요
델 파워엣지 RAID 컨트롤러(PERC) 12는 브로드컴 SAS4116W 칩셋을 기반으로 합니다. 제품명에 SAS가 포함되어 있지만, 이 컨트롤러는 트라이모드 RAID 온칩(ROC) 장치입니다. 동일한 RAID 컨트롤러가 브로드컴 메가RAID 제품군에도 사용됩니다. 저희는 최근 메가RAID 9670W를 리뷰하면서 주요 기능을 중점적으로 다룬 바 있습니다. 하지만 델 PERC 12의 경우, 사용하려는 델 서버 및 스토리지 제품군에 따라 설계상의 중요한 차이점이 있습니다.
PowerEdge와 관련하여 대부분의 구성은 "H965i 전면" PERC 12 카드를 활용합니다. HWRAID가 포함된 R760 시스템에 대한 검토에서 시스템에 이러한 H965i 전면 카드 8개가 있으며 각 5520x Solidigm P8 SSD 세트에 하나씩 있습니다. 이 카드는 애드인 카드보다 훨씬 작다는 점을 언급할 가치가 있습니다. PCB 디자인과 열 관리는 정말 인상적입니다. 이 카드는 8-드라이브 NVMe 백플레인에 직접 장착되며 XNUMX개의 xXNUMX PCIe 케이블로 마더보드에 연결됩니다. 이렇게 하면 다른 장치를 위해 서버의 읽기 측에 있는 PCIe 슬롯을 확보할 수 있습니다.
추가 카드에 대해 이야기하자면, 표준 PERC 12 H965i는 온보드 팬이 포함된 하프 하이트, 하프 랭스 카드입니다. 이 PERC 12 버전은 일부 PowerEdge 구성에 사용되며, 새로운 Dell PowerVault MD JBOD 에서도 찾아볼 수 있습니다 . 마지막으로, MX7000 모듈형 섀시와 같은 곳에 적합하도록 설계된 길고 좁은 PCB인 H965i MX가 있습니다.
Dell PERC 11과 PERC 12 비교
델 PERC 11 카드는 NVMe SSD를 지원했지만, 하드웨어 RAID의 이점은 상당한 성능 저하를 초래했습니다. 바로 이러한 성능 저하 때문에 업계에서는 새로운 브로드컴 칩셋과 델의 PERC 카드 버전에 큰 기대를 걸고 있습니다. 델은 PERC 11과 PERC 12의 성능 차이에 대한 수치를 공개했는데 , 그 결과는 놀라울 정도입니다.
PERC 12의 대기 시간 이점은 분명합니다. 그러나 최악의 조건에서 성능을 살펴보십시오. 재구축 중 성능입니다. PERC 12는 수천 퍼센트의 개선을 보였고 RAID 재구축 시간도 상당한 이점을 보였습니다.
Dell이 인용한 대역폭 및 IOPS 수치를 보면 PERC 12과 비교하여 PERC 11가 취하는 엄청난 발전을 다시 한 번 볼 수 있습니다. 전반적으로 이러한 모든 워크로드는 PERC 2 카드에서 최소 12배 개선된 것을 볼 수 있습니다. 물론 PERC 12 성능을 확인하기 위해 테스트를 수행했으며 이에 도달할 것입니다.
Dell 다이렉트 드라이브와 Dell PERC 12 성능 비교
Direct Drives와 PERC 12의 스토리지 성능을 비교하기 위해, R760 서버 두 대에 Solidigm P5520 7.68TB SSD를 장착했습니다 . Direct Drives가 장착된 Dell R760은 NVMe 베이가 8개이고, PERC 12가 장착된 R760은 H965i Front RAID 카드 두 개를 포함하여 NVMe 베이가 16개입니다.
액면가로 보면 양쪽에 특정 성능 제한이 있는지 명확하지 않을 수 있습니다. 다이렉트 드라이브 접근 방식을 시작으로 각 SSD에는 자체 x4 PCIe 연결이 있습니다. 즉, 32개의 SSD에 전용 PCIe 레인이 XNUMX개 있습니다.
이것은 각 Gen52 드라이브가 4GB/s 연결을 포화시킬 수 있는 경우 일반적으로 6.5GB/s 이상의 놀라운 대역폭을 가능하게 합니다. PERC 12 H965i 설정과 비교할 때 16개의 SSD로 구성된 각 그룹은 xXNUMX PCIe 연결로 마더보드에 다시 연결되는 RAID 카드와 직접 인터페이스합니다. 이렇게 하면 다이렉트 드라이브 구성이 지원하는 대역폭이 절반으로 줄어듭니다. 당연히 기본 NVMe 연결이 승리합니까? 정확히.
다중 CPU 시스템에서 여러 NVMe 장치를 처리할 때 드라이브와 CPU 간의 NUMA 매핑과 시스템 인터럽트가 작용합니다. 이것은 최적화할 수 있지만 상당한 조정이 필요합니다. 모든 애플리케이션이 이를 고려하는 것은 아닙니다.
가상화는 할당된 PCIe 리소스에 직접 액세스할 수 없는 CPU에 대해 공유 리소스가 실시간으로 균형을 이루기 때문에 NUMA 매핑을 관리하기 어려운 분야입니다. 하드웨어 RAID 카드는 이러한 많은 문제를 완화하고 시스템 인터럽트 및 컨텍스트 전환을 최적화하여 CPU 리소스를 확보합니다. NUMA 매핑도 덜 복잡해집니다. 16개의 개별 SSD를 두 개의 CPU에 분할하는 대신 관리할 CPU당 하나의 스토리지 카드만 있기 때문입니다.
테스트 계획은 두 가지 영역에 중점을 둡니다. 첫 번째는 R760에 전달된 760개의 SSD로 JBOD 성능을 측정하는 Vdbench 워크로드입니다. 다이렉트 드라이브 R760에는 12개의 기본 SSD가 있고 HWRAID R2에는 PERC 12가 XNUMX개의 원시 스토리지 장치를 통과합니다. 둘 다 최적화 없이 있는 그대로 테스트됩니다. 테스트의 두 번째 단계에서는 단일에서 최적화된 듀얼 카드 설정까지 PERC XNUMX 솔루션의 확장된 성능을 보여줍니다.
다이렉트 드라이브 PowerEdge R760 검토 장치의 구성은 다음과 같습니다.
- 듀얼 Intel Xeon Gold 6430(32코어/64스레드, 1.9GHz 베이스)
- 1TB DDR5 RAM
- 8 Solidigm P5520 7.68TB Gen4 SSD
- RHEL 9
HWRAID NVMe PowerEdge R760 검토 장치의 구성은 다음과 같습니다.
- 듀얼 Intel Xeon Gold 6430(32코어/64스레드, 1.9GHz 베이스)
- 1TB DDR5 RAM
- 16 Solidigm P5520 7.68TB Gen4 SSD
- 듀얼 PERC 12 H965i
- RHEL 9
Vdbench 워크로드 분석
저장 장치를 벤치마킹할 때 응용 프로그램 테스트가 가장 좋으며 합성 테스트가 뒤따릅니다. 실제 워크로드를 완벽하게 나타내지는 못하지만 종합 테스트는 경쟁 솔루션 간의 비교를 쉽게 해주는 반복성 요소를 통해 저장 장치의 기준선을 만드는 데 도움이 됩니다. 이러한 워크로드는 "포 코너" 테스트 및 일반적인 데이터베이스 전송 크기 테스트에서 다양한 VDI 환경의 트레이스 캡처에 이르는 다양한 테스트 프로필을 제공합니다.
이러한 테스트는 스크립팅 엔진과 함께 일반적인 Vdbench 워크로드 생성기를 활용하여 대규모 컴퓨팅 테스트 클러스터에서 결과를 자동화하고 캡처합니다. 이를 통해 플래시 어레이 및 개별 저장 장치를 비롯한 다양한 저장 장치에서 동일한 작업 부하를 반복할 수 있습니다. 이러한 벤치마크에 대한 테스트 프로세스는 전체 드라이브 표면을 데이터로 채운 다음 드라이브 용량의 25%에 해당하는 드라이브 섹션을 분할하여 드라이브가 애플리케이션 작업 부하에 어떻게 반응하는지 시뮬레이션합니다. 이것은 드라이브의 100%를 사용하고 정상 상태로 만드는 완전한 엔트로피 테스트와 다릅니다. 결과적으로 이러한 수치는 더 높은 지속 쓰기 속도를 반영합니다.
프로필 :
- 4K 임의 읽기 및 쓰기: 100% 읽기 또는 쓰기, 128개 스레드, 0-120% 속도
- 64K 순차 읽기: 100% 읽기, 32개 스레드, 0-120% 속도
- 64K 순차 쓰기: 쓰기 100%, 스레드 16개, 속도 0-120%
- 4K 70R/30W 및 90R/10W 랜덤 믹스, 64 스레드, 0-120% 요레이트
읽기 전송 대역폭에 초점을 맞춘 첫 번째 테스트를 보면 32개 레인이 있는 단일 PERC 12보다 16개 PCIe 레인이 있는 다이렉트 드라이브 접근 방식의 PCIe 채널 이점을 볼 수 있습니다. 이는 JBOD 모드에서 PERC 41.6의 28GB/s에 비해 다이렉트 드라이브에서 12GB/s로 작동합니다.
읽기에서 쓰기 대역폭으로 전환하면 Solidigm P5520의 쓰기 속도가 읽기 속도보다 낮기 때문에 추가 PCIe 레인의 이점이 줄어듭니다. 여기서 다이렉트 드라이브 구성은 PERC 18.3의 20.3GB/s와 비교하여 12GB/s로 측정되었습니다.
무작위 4K 읽기 워크로드에서 Direct Drive PowerEdge R8의 5520개 Solidigm P760 SSD는 PERC 5.55 설정의 4.34M IOPS와 비교하여 최대 12만 IOPS를 측정했습니다.
4K 임의 쓰기에서는 다이렉트 드라이브가 3.96만 IOPS를 측정하고 PERC 4.15에서 12만 IOPS를 측정하면서 그 차이가 다시 좁혀집니다.
두 가지 혼합 작업 부하 중 첫 번째 작업에서는 4/70 읽기/쓰기 스프레드가 있는 30K 임의 전송을 살펴봅니다. 여기에서 Direct Drives PowerEdge R760 구성은 PERC 4.47의 12만 IOPS에 비해 최대 3.66만 IOPS를 측정했습니다.
동일한 90K 전송 테스트에서 읽기 비율을 4%로 증가시키면 다이렉트 드라이브 서버의 5.04만 IOPS와 PERC 3.62 시스템의 12만 IOPS를 측정했습니다.
FIO 워크로드 분석
Dell의 다이렉트 드라이브 및 PERC 12 HWRAID 제품의 드라이브 성능을 측정하기 위해 벤치마크를 다음 구성으로 분할했습니다. 첫 번째는 RAID, RAID10, RAID5 구성 외부의 각 드라이브를 측정하는 JBOD 구성을 포함했습니다.
다이렉트 드라이브 접근 방식의 경우 SSD는 OS에 정상적으로 표시됩니다. PERC 12의 경우 HBA를 통해 원시 스토리지 장치로 전달됩니다. 이러한 구성은 스크립팅 프로세스를 통해 플래시를 사전 조정하고, 조정된 테스트를 실행하고, 다음 사전 조정/작업 부하 조합으로 이동했습니다.
- 순차 사전 조건화
- JBOD, 8DR10, 8DR5(단일 및 이중 PERC)에 대한 순차 테스트
- 무작위 전제조건
- JBOD, 8DR10, 8DR5(단일 및 이중 PERC)에 대한 무작위 최적 테스트
- 8DR10, 8DR5(단일 및 이중 PERC)에 대한 무작위 재구축 테스트
- 8DR5(단일 PERC)에 대한 최적 및 재구축을 위한 임의 쓰기 대기 시간
x12 PCIe Gen965 슬롯이 있는 PERC 16 H4i를 사용하면 최대 성능은 한 방향으로 약 28GB/s이며 Gen4 슬롯이 최고입니다. Dell은 PowerEdge R12에 이중 PERC 760 구성을 제공하여 이 대역폭 제한에 고유한 접근 방식을 취했습니다. 16개의 SSD 베이가 모두 단일 카드에 연결되는 대신 로드가 분할되어 각 PERC 12가 자체 8개의 SSD 세트를 제어합니다. 이 접근 방식은 까다로운 워크로드에서 사용 가능한 최대 처리량을 극적으로 증가시키면서 대역폭 제한을 우회합니다.
순차 전송 성능을 먼저 살펴보면 단일 PERC 54.4가 12GB/s인 것에 비해 읽기 속도가 28.1GB/s인 다이렉트 드라이브 구성의 대역폭 이점을 확인할 수 있습니다. 기본 쓰기 속도는 33.4개의 드라이브가 있는 단일 PERC 28.3에서 12GB/s에 비해 XNUMXGB/s를 측정하는 이점도 있습니다. 일반적으로 이 등급의 SSD는 읽기 속도가 쓰기 속도보다 훨씬 빠르기 때문에 일반적으로 쓰기 속도에는 큰 차이가 없습니다.
| 작업량 | JBOD 다이렉트 드라이브(MB/s) | JBOD 1 x PERC 12(MB/s) | JBOD 2 x PERC 12(MB/s) | RAID 10 1 x PERC 12- 최적(MB/s) | RAID 10 2 x PERC 12- 최적(MB/s) | RAID 5 1 x PERC 12 – 최적(MB/s) | RAID 5 2 x PERC 12 – 최적(MB/s) |
|---|---|---|---|---|---|---|---|
| 최대 순차 읽기 | 54,396 | 28,076 | 56,114 | 27,450 | 55,482 | 24,049 | 56,107 |
| 최대 순차 쓰기 | 33,367 | 28,284 | 56,541 | 11,037 | 22,120 | 12,269 | 24,351 |
| 최대 50:50 시퀀스 읽기:쓰기 | 33,569 | 28,286 | 56,541 | 11,011 | 21,875 | 12,269 | 24,360 |
무작위 전송 성능으로 초점을 전환하면 NUMA 밸런싱과 관련하여 RAID 카드의 장점이 나타날 수 있는 위치가 바뀌기 시작합니다. 읽기 성능에서 Solidigm 7.68TB P5520 SSD는 7.96K 읽기 테스트에서 4만 IOPS를 측정했으며 PERC 12 JBOD 구성은 7만 IOPS를 측정했습니다. 다이렉트 드라이브 구성을 통한 쓰기 속도는 3.4만 IOPS로 떨어졌고 PERC 12는 5.97만 IOPS를 유지했습니다. 4K OLTP 워크로드의 경우 PERC 3.6의 10.2M IOPS에 비해 12만 IOPS를 측정하는 다이렉트 드라이브로 인해 더욱 두드러집니다.
전통적인 생각은 하드웨어 RAID가 최신 SSD에서 가치가 없다는 것이었지만 더 이상 그렇지 않다는 것을 알 수 있습니다. 예, 다이렉트 드라이브 NVMe 설정은 조정할 수 있지만 XNUMX개의 CPU에서 균형을 이루는 여러 SSD에서 움직이는 대상입니다.
이것은 모든 복잡성을 관리하고 단 하나의 CPU에만 연결하는 PERC 12 HWRAID 카드와 정반대입니다. 확장을 위해 Dell PowerEdge R2의 두 번째 PERC 카드는 다른 CPU에 연결되어 이 두 디스크 그룹에 분할된 더 큰 워크로드에 대한 균형을 제공합니다. 약 760만 IOPS에서 시스템이 CPU를 포화시키기 시작했고, 이것이 추가 PERC 10 카드를 사용하여 일부 영역에서 선형 확장을 보지 못한 이유입니다.
| 작업량 | JBOD 다이렉트 드라이브(MB/s) | JBOD 1 x PERC 12(MB/s) | JBOD 2 x PERC 12(MB/s) | RAID 10 1 x PERC 12 – 최적(MB/s) | RAID 10 2 x PERC 12 – 최적(MB/s) | RAID 5 1 x PERC 12 – 최적(MB/s) | RAID 5 2 x PERC 12 – 최적(MB/s) |
|---|---|---|---|---|---|---|---|
| 4KB 임의 읽기(IOP) | 7,958,204 | 7,003,556 | 12,447,020 | 6,757,498 | 13,067,852 | 6,974,826 | 13,205,656 |
| 4KB 임의 쓰기(IOP) | 3,473,446 | 5,974,265 | 11,323,633 | 2,204,738 | 4,684,333 | 862,769 | 1,725,198 |
| 4KB OLTP(IOP) | 3,553,974 | 10,195,618 | 11,967,984 | 6,441,868 | 12,288,219 | 2,635,711 | 5,279,999 |
Direct Drives PowerEdge R760 구성에서 소프트웨어 RAID 옵션을 살펴보지는 않았지만 성능이 저하된 상태의 PERC 12에서 RAID 구성이 얼마나 잘 수행되는지 확인할 기회가 있었습니다. 최적의 성능에 비해 성능이 크게 떨어졌지만 RAID10과 RAID5 모두 RAID 그룹을 재구축하는 동안 강력한 성능을 제공했습니다.
| 작업량 | RAID 10 1 x PERC 12 – 재구축(MB/s) | RAID 10 2 x PERC 12 – 재구축(MB/s) | RAID 5 1 x PERC 12 – 재구축(MB/s) | RAID 5 2 x PERC 12 – 재구축(MB/s) |
|---|---|---|---|---|
| 4KB 임의 읽기(IOP) | 1,345,175 | 2,692,738 | 2,350,889 | 4,676,748 |
| 4KB 임의 쓰기(IOP) | 1,666,967 | 3,174,430 | 242,802 | 479,144 |
| 4KB OLTP(IOP) | 1,618,209 | 3,253,603 | 243,349 | 486,251 |
최적의 RAID 성능은 스토리지 솔루션을 선택하는 데 중요한 측면이지만 최적이 아닌 조건에서 성능을 확인하는 것도 마찬가지로 중요할 수 있습니다. 이를 위해 최적의 조건에서 RAID4의 5K 쓰기 대기 시간을 측정했으며 실패한 드라이브로 재구축 성능을 보였습니다. 성능이나 대기 시간이 크게 저하되면 애플리케이션 응답성이 문제가 될 수 있습니다. 재구축 성능은 최적에 비해 감소하지만 성능의 대기 시간은 기준선 이상으로 증가하지 않습니다.
최종 생각
Dell의 새로운 PERC12 NVMe RAID 카드는 PowerEdge 서버의 NVMe 스토리지 옵션에 대한 판도를 바꿉니다. 과거에는 일부 고객이 SAS SSD에서 전환하는 것을 주저하거나 다양한 SDS 또는 하이퍼바이저에 연결된 NVMe 드라이브를 선택했습니다. 그러나 PERC 12 카드의 도입으로 PowerEdge의 방정식이 변경되어 보다 실행 가능한 옵션이 되었습니다.
PERC 12의 성능이 뛰어난 이유는 PowerEdge 서버의 레이아웃 때문이기도 합니다. R760에는 각각 x12 레인이 있는 965개의 PERC 16(H8i 전면) 카드가 있습니다. 이를 통해 카드당 28개의 Solidigm SSD를 활용하여 카드당 최대 16GB/s의 최대 대역폭을 제공할 수 있습니다. XNUMX개의 SSD를 모두 단일 RAID 카드에 연결하면 잠재적 성능의 절반이 손실됩니다.
"HWRAID를 지원하는 24개의 SSD가 아닌 이유는 무엇입니까?"라고 물을 수 있습니다. 모든 시스템에는 어딘가에 병목 현상이 있다는 점을 기억하십시오. 이 경우 CPU를 꽤 쉽게 포화시킬 수 있으므로 서버 내의 x86이 게이팅 요소가 됩니다. 클러스터 솔루션에 대해 이야기하는 경우 네트워크도 고정됩니다. 소수의 SSD는 200GbE 또는 400GbE까지 쉽게 채울 수 있습니다. 이제 SSD 용량이 30.72TB를 넘어섰기 때문에 시스템 용량 문제로 인해 서버에 드라이브를 가득 채울 필요가 없습니다.
저희의 브로드컴 9600 시리즈 RAID 카드 리뷰를 읽어보셨다면 , 새로운 칩셋이 NVMe SSD의 성능 저하 없이 HWRAID의 모든 데이터 복원력과 복구 이점을 실제로 제공할 수 있을지에 대해 상당히 회의적이었던 것을 아실 겁니다. 하지만 당시 리뷰에서 예상했던 결과는 놀라웠고, 이번 R760에서는 PERC 12 칩셋이 두 배의 성능을 제공하는 것을 보고 더욱 놀랐습니다. 소프트웨어 정의 스토리지와 같은 일부 사용 사례에서는 여전히 델 다이렉트 드라이브가 선호될 수 있지만, PERC 12 칩셋은 대부분의 기업 환경에서 매우 인기 있는 옵션이 될 것입니다.
아마존