VROC(Intel Virtual RAID on CPU) 검토

NVMe SSD는 데이터 센터를 장악하고 미션 크리티컬 애플리케이션을 위한 필수 기술로 빠르게 자리 잡고 있습니다. NVMe 인터페이스를 사용하면 플래시를 자유롭게 실행할 수 있으므로 SATA 및 SAS 인터페이스의 레거시 병목 현상을 극복할 수 있습니다. 그러나 플래시 플러드게이트를 제거하면 기존 HBA/RAID 카드 서버 레이아웃으로 쉽게 해결되지 않는 새로운 아키텍처 문제가 발생합니다. 인텔은 서버에서 NVMe SSD를 관리하기 위한 단순화된 솔루션으로 이 문제를 해결했습니다. CPU의 가상 RAID 또는 줄여서 Intel VROC를 사용하면 본질적으로 SSD가 CPU에 직접 액세스할 수 있으므로 HBA가 완전히 필요하지 않습니다. 이는 서버에서 NVMe SSD를 최대한 활용하는 데 필요한 데이터 경로와 구성 요소를 모두 크게 단순화합니다. 엔터프라이즈급 RAID 외에도 Intel VROC에는 부팅 전 RAID 관리, 핫 플러그 ​​지원 및 LED 관리를 포함하여 엔터프라이즈에서 요구하는 예상 서비스 가능성이 포함되어 있습니다.

NVMe SSD는 데이터 센터를 장악하고 미션 크리티컬 애플리케이션을 위한 필수 기술로 빠르게 자리 잡고 있습니다. NVMe 인터페이스를 사용하면 플래시를 자유롭게 실행할 수 있으므로 SATA 및 SAS 인터페이스의 레거시 병목 현상을 극복할 수 있습니다. 그러나 플래시 플러드게이트를 제거하면 기존 HBA/RAID 카드 서버 레이아웃으로 쉽게 해결되지 않는 새로운 아키텍처 문제가 발생합니다. 인텔은 서버에서 NVMe SSD를 관리하기 위한 단순화된 솔루션으로 이 문제를 해결했습니다. CPU의 가상 RAID 또는 줄여서 Intel VROC를 사용하면 본질적으로 SSD가 CPU에 직접 액세스할 수 있으므로 HBA가 완전히 필요하지 않습니다. 이는 서버에서 NVMe SSD를 최대한 활용하는 데 필요한 데이터 경로와 구성 요소를 모두 크게 단순화합니다. 엔터프라이즈급 RAID 외에도 Intel VROC에는 부팅 전 RAID 관리, 핫 플러그 ​​지원 및 LED 관리를 포함하여 엔터프라이즈에서 요구하는 예상 서비스 가능성이 포함되어 있습니다.

Intel VROC를 더 잘 이해하려면 Intel VMD(Intel Volume Management Device)라는 또 다른 기술을 이해하는 것이 중요합니다. 최신 Intel Xeon Scalable 프로세서와 호환되는 Intel VMD는 CPU PCIe 루트 컴플렉스 내부의 통합 컨트롤러입니다. 최종 결과는 Intel VMD가 연결된 NVMe SSD에 대한 가상 HBA를 어느 정도 지원한다는 것입니다. 이는 인텔 VMD가 안정성을 희생하지 않고 단순화된 중요한 드라이브 서비스 가능성 기능을 제공하기 때문에 중요합니다. Intel VMD 덕분에 NVMe SSD는 서비스 중단이나 재부팅 없이 핫스왑이 가능합니다. 인텔 VMD는 삽입 및 제거 PCIe 버스 이벤트를 이러한 이벤트를 처리하고 자동 재구축을 시작하는 RAID 스토리지 인식 드라이버로 리디렉션합니다. 오류가 발생한 경우 제거할 드라이브를 아는 것도 중요합니다. 이는 수십 또는 수백 개의 드라이브가 있고 일관되지 않은 공급업체 드라이브 베이 라벨링 관행이 있는 데이터 센터에서는 어려울 수 있습니다. Intel VMD는 NVMe LED 관리를 지원합니다. 이는 SATA 및 SAS 드라이브가 수년간 사용해온 드라이브 표시등 사양과 일치하므로 필요할 때 SSD를 쉽게 식별하고 서비스할 수 있습니다. Intel VMD는 업계에서도 널리 지원됩니다. 예를 들어 VMware는 vSAN에서 NVMe SSD 관리 지원을 포함하는 VMware ESXi 6.7 릴리스에서 기본적으로 Intel VMD NVMe 드라이버를 지원합니다.

Intel VROC는 Intel VMD를 기반으로 NVMe SSD RAID를 구현합니다. 현재 단일 Xeon Scalable CPU는 최대 12개의 NVMe 직접 연결 드라이브와 최대 6개의 RAID 어레이를 지원할 수 있습니다. 이중 프로세스 시스템은 각각 24개와 12개를 지원합니다. 그러나 CPU는 스위치를 활용하여 시스템에서 최대 48개의 SSD를 지원할 수 있습니다. Intel VROC는 데이터 볼륨과 부팅 볼륨을 지원하며, NVMe 드라이브로는 지금까지 달성하기 어려웠습니다. RAID 설정은 BIOS 또는 CLI를 통해 구성할 수 있으며 Intel은 RESTful 에이전트를 통해 로컬 또는 원격 관리를 지원합니다.

Intel VROC는 물리적 키로 판매됩니다. 세 가지 SKU를 사용할 수 있습니다. 표준은 타사 SSD를 지원하는 RAID 0/1/10을 지원합니다. Premium 라이선스는 RAID3에 대한 지원을 추가합니다. 이름에서 알 수 있듯이 인텔 드라이브만 지원하지만 전체 RAID 옵션을 제공하는 인텔 SSD 전용 라이선스도 있습니다.

라이선스, NVMe SSD 및 Xeon Scalable CPU 외에도 호환 서버가 필요합니다. Intel VROC가 광범위하게 지원되지만 일부 서버 공급업체는 이 최신 대안보다 드라이브 관리를 위해 자체 카드 기반 기술을 선호합니다. 이 검토에서 우리는 스토리지 서버 라인에서 Intel VROC를 지원하는 EchoStreams와 파트너 관계를 맺었습니다..

이렇게 작은 상자의 경우 EchoStreams FlacheSAN1N10U-D5 매우 유연합니다. 우리 구성에서 서버에는 트윈 Intel 8180M CPU, 64GB RAM 및 2개의 XNUMXTB가 장착되어 있습니다. 인텔 DC P4510 NVMe SSD. 이 서버는 16개의 x3.0 PCIe 160 슬롯을 제공하므로 사용자는 최대 10TB의 NVMe 플래시(16x 100TB SSD)와 XNUMX개의 XNUMXGbps 이더넷 NIC로 내부 스토리지 용량의 잠재력을 최대한 활용할 수 있습니다.

섀시 디자인은 또한 두 CPU, NVMe SSD 및 아웃바운드 NIC 간의 대칭 레이아웃을 허용합니다. 화이트박스 제품으로서 섀시는 최종 사용자를 위해 사용자 정의할 수 있으며 내부 M.15 SSD 및 Intel Optane은 물론 7mm 및 2mm U.2와 같은 다른 SSD 크기를 지원합니다. 마지막으로 서버는 이중 850W AC 전원 공급 장치로 구성하거나 48VDC 고효율 전원 공급 장치를 지원하도록 설정할 수 있습니다. 우리 구성의 고급 Intel CPU를 감안할 때 더 큰 전원 공급 장치가 편리했습니다.

FlacheSAN1N10U-D5가 가치를 더할 수 있는 곳을 살펴보면 EchoStreams는 주요 사용 사례로 콘텐츠 전송 네트워크(CDN)를 가리킵니다. 현재 고객은 최종 사용자에게 인기 있는 콘텐츠를 제공하기 위해 데이터 센터 또는 에지 위치에서 이러한 노드를 캐싱 장치로 사용하고 있습니다. 또한 계산 능력과 스토리지 처리량이 복잡한 문제를 해결하는 데 중요한 이점을 제공하는 HPC 및 연구용 플랫폼을 활용하는 여러 대학이 있습니다. 이러한 시나리오 외에도 이 서버는 미디어 및 엔터테인먼트 포스트 프로덕션 워크플로우에도 잘 작동하며 NVMe 스토리지 및 고속 네트워킹의 이점을 누릴 수 있는 소프트웨어 정의 스토리지 제품과도 잘 어울립니다.

EchoStreams FlacheSAN1N10U-UN 사양

â € <
유용성 및 배포

마더보드에는 Intel VROC 구성을 위한 멋진 GUI가 없지만 확실히 사용자 친화적입니다. 콘솔에서 mdadm 명령을 사용하는 데 익숙할 수 있는 IT 관리자를 위해 Intel VROC는 대부분의 백엔드 작업을 자동화하여 설정을 단순화합니다. 종소리와 휘파람으로 가득 차 있지는 않지만 대부분의 IT 전문가가 사용하는 것은 어렵지 않습니다. BIOS 화면에서 사용자는 사용 가능한 물리적 디스크를 보면서 RAID 볼륨을 설정할 수 있습니다.

다음으로, 볼륨(이 경우에는 volume0)의 이름을 지정하고, RAID 수준을 선택하고, 두 Intel VMD 컨트롤러에 걸쳐 있는 RAID를 활성화할 수 있습니다.

RAID가 설정되면 RAID 볼륨을 삭제하거나 부팅 가능하게 만드는 것과 같은 볼륨 작업을 볼 수 있습니다.

마지막으로 사용자는 비 RAID로 재설정하거나 디스크에서 RAID 데이터를 제거하는 등의 디스크 작업을 수행할 수 있습니다.

시스템이 CentOS 7.4 환경에서 실행되면 RAID 볼륨 구성이 준비되어 대기 중입니다. RAID5/10 볼륨의 경우 mdstat에서 백그라운드 초기화 진행률을 확인하거나 원하는 경우 전체 RAID 그룹을 수동으로 변경할 수 있습니다. BIOS 수준 설정은 RAID를 설정하고 실행하는 데 필요한 많은 작업을 제거하지만 추가 수준의 사용자 지정을 원하는 사용자를 위해 제거하거나 교체하지는 않습니다.

퍼포먼스

VDBench 워크로드 분석

스토리지 어레이를 벤치마킹할 때는 애플리케이션 테스트가 가장 좋고 합성 테스트가 두 번째입니다. 실제 워크로드를 완벽하게 나타내지는 못하지만 합성 테스트는 경쟁 솔루션 간의 비교를 쉽게 수행할 수 있는 반복성 요소로 스토리지 장치의 기준선을 만드는 데 도움이 됩니다. 이러한 워크로드는 "포 코너" 테스트, 공통 데이터베이스 전송 크기 테스트, 다양한 VDI 환경의 트레이스 캡처에 이르는 다양한 테스트 프로필을 제공합니다. 이러한 모든 테스트는 스크립팅 엔진과 함께 공통 vdBench 워크로드 생성기를 활용하여 대규모 컴퓨팅 테스트 클러스터에서 결과를 자동화하고 캡처합니다. 이를 통해 플래시 어레이 및 개별 스토리지 장치를 포함한 광범위한 스토리지 장치에서 동일한 워크로드를 반복할 수 있습니다.

프로필 :

• 4K 임의 읽기: 100% 읽기, 128 스레드, 0-120% iorate
• 4K 임의 쓰기: 100% 쓰기, 64 스레드, 0-120% iorate
• 64K 순차 읽기: 100% 읽기, 16 스레드, 0-120% iorate
• 64K 순차 쓰기: 100% 쓰기, 8개 스레드, 0-120% 속도
• 합성 데이터베이스: SQL 및 Oracle
• VDI 전체 클론 및 연결된 클론 추적

이 일련의 VDBench 테스트에서는 일반 테스트를 실행하지만 하나의 장치(예: SSD, 서버 또는 어레이) 대신 두 CPU에서 균형을 이루는 여러 구성을 실행합니다.

• JBOD의 드라이브 8개
• RAID0의 SSD XNUMX개로 구성된 그룹 XNUMX개
• RAID5의 SSD XNUMX개로 구성된 그룹 XNUMX개
• RAID10의 SSD XNUMX개로 구성된 그룹 XNUMX개

아래에 제시된 데이터는 각 구성에서 사용된 8개 SSD의 집계입니다. 이 데이터는 인텔 VROC가 지원하는 다양한 구성에서 이 플랫폼이 무엇을 할 수 있는지 강조하기 위한 것입니다. RAID5는 패리티 계산 및 업데이트의 복잡성으로 인해 이 검토 전반에 걸쳐 쓰기 성능이 낮다는 점에 유의해야 하며 RAID 수준 비교를 기반으로 예상됩니다.

4K 최대 임의 성능의 경우 모든 RAID 그룹은 대기 시간 동안 1ms 미만을 유지할 수 있었습니다(실제로 모든 그룹은 210μs 미만이었습니다). 모든 그룹은 2.5 IOPS와 3μs의 대기 시간으로 JBOD 그룹이 최고 성능을 달성하면서 2,944,335만~163만 IOPS 사이에서 완료되었습니다.

4K 임의 쓰기는 다른 RAID 그룹과 동일한 통일성을 보지 못했습니다. RAID5 그룹은 최고 21,921 IOPS와 936.7ms의 대기 시간으로 가장 낮은 성능을 보였습니다. 다른 RAID 그룹은 레이턴시가 0ms인 RAID1,879,180 그룹이 1.35 IOPS로 정점을 찍고 더 나은 성능을 보였습니다.

순차 워크로드로 전환한 64K 읽기는 모든 RAID 그룹이 1밀리초 미만의 대기 시간으로 강력하게 시작했으며 JBOD만 약 330K IOPS 또는 22GB/s에서 363,203ms를 초과하고 22.7의 대기 시간에서 1.4 IOPS 또는 XNUMXGB/s로 정점에 도달했음을 보여주었습니다. ms.

다시 쓰기 작업을 수행하면 RAID 그룹이 분리되어 매우 다른 성능을 제공합니다. 다시 한 번 RAID5 그룹은 대기 시간이 25ms인 약 4.3K IOPS를 감소시켰고 RAID0은 대기 시간이 124,104μs인 958 IOPS를 기록했습니다.

다음은 SQL 워크로드입니다. 모든 RAID 그룹은 약 1.4만 IOPS까지 지연 시간 성능이 밀리초 미만이었습니다. 여기에서 RAID5 그룹은 대기 시간이 급증하고 성능이 떨어졌습니다. 다른 세 그룹은 모두 1백만 IOPS를 돌파할 때까지 2ms 미만으로 계속되었습니다. 가장 높은 숫자는 0ms의 대기 시간에서 최고 성능이 2,519,727 IOPS인 RAID1.45 그룹에 다시 한 번 부여됩니다.

SQL 90-10의 경우 최대 5μs의 RAID302 그룹에 대해 더 나은 대기 시간 프로필을 보았지만 최대 성능은 436,439 IOPS에 불과했습니다. 다른 그룹은 1.5ms를 깨기 전에 1만 IOPS 이상을 달성했고, JBOD 및 RAID10 그룹은 곧 정점에 도달했습니다. RAID0 그룹은 2,135,362ms의 대기 시간과 함께 1.54 IOPS로 정점을 찍었습니다.

다시 한 번 SQL 80-20에서 RAID5 그룹은 345μs에서 212,980 IOPS로 다른 그룹에 비해 성능이 낮은 밀리초 미만의 대기 시간을 가졌습니다. 다른 그룹은 1ms 미만의 1만 IOPS를 통과했으며, JBOD 및 RAID10은 다시 한 번 정점을 찍고 RAID0은 1,753,622ms의 대기 시간에서 1.7 IOPS로 정점을 찍었습니다.

우리의 Oracle 벤치마크는 당연히 위와 비슷한 위치를 제공했습니다. RAID5 그룹은 대기 시간이 61,695μs인 153 IOPS에서 처음으로 정점을 찍었습니다. 다른 드라이브는 RAID780이 1ms 미만에서 약 10 IOPS에 도달한 후 RAID954,567이 중단되어 최고점(2.63ms의 대기 시간에서 1,274,172 IOPS)에 도달했고, 그 다음으로 JBOD(4.2ms의 대기 시간에서 0 IOPS에서 최고점)가 나타났습니다. 마지막으로 대기 시간이 1,472,338ms인 ​​최대 2.18 IOPS의 RAIDXNUMX 그룹입니다.

Oracle 90-10은 5 IOPS와 406,693μs의 대기 시간으로 RAID255 그룹이 가장 먼저 최고였습니다. 다른 그룹은 1.5만 IOPS가 넘을 때까지 10밀리초 미만의 대기 시간을 가졌고 우리가 본 것과 같은 방식으로 정점에 도달했습니다. RAID0, JBOD 및 RAID2,110,799은 1.55 IOPS의 최고 지점과 XNUMXms의 대기 시간을 가졌습니다.

Oracle 80-20의 경우 RAID5 그룹은 최고 213,479 IOPS와 327μs의 대기 시간을 기록했습니다. 다른 그룹은 RAID1으로 정점을 찍기 전에 0만 IOPS 이상으로 만들어 1.65ms 미만에서 1만 IOPS로 만들고 1,757,722ms의 대기 시간으로 1.63 IOPS로 정점을 찍었습니다.

다음으로 VDI 클론 테스트인 Full and Linked로 전환했습니다. 여기에서 RAID5, RAID10, JBOD 및 RAID0과 같은 다양한 RAID 그룹에 대해 동일한 배치 패턴을 계속 볼 수 있습니다. VDI 전체 클론 부팅의 경우 RAID5 그룹은 288,613μs의 대기 시간과 함께 182 IOPS로 정점을 찍었습니다. 다른 그룹은 1.2밀리초 미만의 대기 시간으로 거의 10만 IOPS를 달성한 후 RAID1,217,620 그룹이 2.65ms 대기 시간으로 최대 1,314,075 IOPS를 달성한 다음 JBOD 그룹이 4.19ms 대기 시간으로 0 IOPS를 기록한 다음 RAID1,400,765 그룹이 2.22 IOPS로 대기 시간은 XNUMXms입니다.

VDI FC 초기 로그인을 사용하는 경우 RAID5 그룹은 13,296 IOPS 및 286μs의 대기 시간으로 정점을 찍는 매우 짧은 실행 시간을 가졌습니다. 다른 드라이브는 175ms를 깨기 전에 1K IOPS에 도달했습니다. RAID0 그룹은 390밀리초 미만의 대기 시간으로 429,692K IOPS까지 도달했으며 대기 시간 4.98ms로 최고 XNUMX IOPS를 기록했습니다.

VDI FC 월요일 로그인으로 RAID5 그룹은 15μs로 262K IOPS로 정점을 찍었습니다. 다른 RAID 그룹은 RAID150 그룹과 JBOD가 각각 1ms 및 10ms로 상당히 높은 대기 시간을 보고 12.8ms를 깨기 전에 11.7K를 넘었지만 성능은 234,431 IOPS 및 341,483 IOPS로 인상적이었습니다. RAID0 그룹은 435,641 IOPS와 5.67ms의 대기 시간으로 전반적으로 최고의 성능을 보였습니다.

VDI Linked Clone 테스트로 전환하면 RAID5 그룹이 543,680 IOPS 및 407μs 대기 시간에서 최고, RAID10이 782,224에서 4.76ms 대기 시간, JBOD 최고 822,555 IOPS 및 11.52ms 대기 시간으로 부팅의 모든 그룹에서 훨씬 더 강력한 성능을 볼 수 있습니다. 레이턴시가 0ms인 RAID820,998은 4.39 IOPS로 정점을 찍습니다.

VDI LC 초기 로그인을 사용하면 RAID10,998에서 대기 시간이 312μs인 5 IOPS에서 RAID276,814의 대기 시간이 7.88ms인 0 IOPS에 이르는 최고 성능을 볼 수 있습니다.

마지막으로 VDI LC 월요일 로그인을 사용하면 RAID5가 먼저(11,591μs에서 315 IOPS), RAID10(최대 155ms에서 대략 1.2K IOPS), JBOD(최대 238ms에서 대략 15.8K IOPS), 마지막으로 RAID0( 279,332ms에서 8.06 IOPS).

결론

이 1U EchoStreams 플랫폼에서 Intel VROC 성능을 살펴보면서 각각 Intel P8 NVMe SSD 4510x의 집계 데이터를 사용한 0가지 테스트 그룹을 살펴보았습니다. RAID5을 그룹의 "승자"로 선언하는 것은 쉽지만 RAID 작동 방식으로 인해 예상되는 이유가 있습니다. 성능 결과를 상향식으로 살펴봅니다. 서두에서 언급한 바와 같이 RAID10는 패리티 계산으로 인해 데이터 중복성 패널티가 심하며 이는 데이터에 명확하게 반영됩니다. RAID5은 미러링을 사용하므로 중복 페널티가 훨씬 낮으므로 RAID0에 비해 결과가 크게 향상됩니다. 해당 그룹 다음에는 집계 통과 성능이 있는 JBOD가 옵니다. RAIDXNUMX은 성능에만 집중하고 데이터 스트라이핑을 통해 함께 작동하는 드라이브를 활용하지만 데이터 복원력을 희생하기 때문에 수치를 주도합니다. RAID 기능 관점에서 모든 데이터는 인텔 VROC가 잘 구현되고 잘 설계된 플랫폼에서 일관되고 예상되는 결과를 제공한다는 사실을 뒷받침합니다.

모든 결과를 자세히 검토하는 대신(64개의 그룹으로 총 4개의 결과를 생성함) 대신 몇 가지 주요 사항을 살펴보겠습니다. 3K 테스트에서 우리는 JBOD 그룹이 밀리초 미만의 읽기 대기 시간에서 거의 0만 IOPS에 도달했고 RAID1.9은 단 1.35ms 대기 시간에서 64만 IOPS에 도달했음을 확인했습니다. 22.7K 순차의 경우 7.8GB/s 읽기 및 2.5GB/s 쓰기에 이르는 높은 수치를 확인했습니다. SQL 테스트에서 2.1만 IOPS, 90-10의 경우 1.75만 IOPS, 80-20의 경우 1.7만 IOPS가 모두 1.47ms 지연 시간에서 나타났습니다. Oracle은 모두 2.1ms 이하의 대기 시간에서 90만 IOPS, 10-1.76의 경우 80만 IOPS, 20-2.18의 경우 1.4만 IOPS를 기록했습니다. VDI 테스트에서는 FC 부팅이 430만 IOPS, FC 초기 로그인이 436K IOPS, VDI FC 월요일 로그인이 821K IOPS, LC 부팅이 277K IOPS, LC 초기 로그인이 279K IOPS, LC 월요일 로그인이 XNUMXK IOPS로 나타났습니다.

궁극적으로 Intel VROC가 EchoStreams와 같은 시스템 공급업체에 제공하는 것은 NVMe SSD로 RAID를 제공하는 간소화된 방법입니다. 그 결과 EchoStreams는 더 적은 복잡성과 비용으로 뛰어난 처리량과 대기 시간을 제공할 수 있습니다. 또한 Intel VMD의 추가 기능 덕분에 EchoStreams 고객은 NVMe SSD 핫 스왑, NVMe 드라이브 라이트 지원 및 사전 부팅 구성이 있는 부팅 가능한 RAID와 같은 기능을 통해 향상된 시스템 서비스 가능성을 얻을 수 있습니다. 언급한 바와 같이 사용 사례는 다양하지만 널리 사용되는 가장 빠른 스토리지 및 네트워킹 인터페이스에서 엔터프라이즈급 RAID의 이점을 누릴 수 있는 CDN 및 기타 사용자에게는 엄청난 잠재력이 있음이 분명합니다.

EchoStreams FlacheSAN1N10U-D5 제품 페이지

이 검토에 대해 토론

StorageReview 뉴스레터 신청