최신 서버 설계는 새로운 기능이나 향상된 기능을 지원하기 위해 확장되는 가속기 카드의 이점을 활용하고 있습니다. 가속에 대해 생각할 때 많은 사람들이 바로 GPU로 이동하지만 성능뿐만 아니라 데이터 보호 및 경제성도 해결하는 새로운 종류의 프로세서가 있습니다. Pliops Extreme Data Processor(XDP)는 이러한 가속기 중 하나로 고객이 QLC 기반 기업용 SSD 덕분에 성능, 용량 및 경제성의 고유한 조합을 활용할 수 있도록 지원합니다.
최신 서버 설계는 새로운 기능이나 향상된 기능을 지원하기 위해 확장되는 가속기 카드의 이점을 활용하고 있습니다. 가속에 대해 생각할 때 많은 사람들이 바로 GPU로 이동하지만 성능뿐만 아니라 데이터 보호 및 경제성도 해결하는 새로운 종류의 프로세서가 있습니다. Pliops Extreme Data Processor(XDP)는 이러한 가속기 중 하나로 고객이 QLC 기반 기업용 SSD 덕분에 성능, 용량 및 경제성의 고유한 조합을 활용할 수 있도록 지원합니다.
데이터 센터에서 플래시의 영향에 대한 간략한 보기
NVMe SSD는 특히 Gen4 속도에 도달했을 때 서버 및 스토리지 성능에 상당한 영향을 미쳤습니다. 이러한 이득은 시스템의 다른 부분에 부담을 주는데, 이는 기존의 RAID 카드 아키텍처가 방해가 된다는 것을 의미합니다. 플래시 스토리지 게임은 QLC 플래시의 도입으로 다시 바뀌었습니다. 서버가 이러한 최신 기술을 효과적으로 활용하려면 새로운 솔루션이 필요합니다.
현재 Solidigm인 Intel은 고품질 QLC SSD를 최초로 상용화했습니다. 그만큼 솔리드다임 P5316 고용량의 저렴한 엔터프라이즈 SSD와 관련하여 이제 사실상의 표준입니다. 우리는 리뷰뿐만 아니라 드라이브를 적절하게 사용할 수 있는 엔터프라이즈 및 클라우드 배포에서 과거에 이러한 드라이브와 함께 많은 시간을 보냈습니다.
올바른 사용이란 무엇을 의미합니까? 음, QLC SSD는 전통적으로 읽기 성능 면에서 매우 우수하지만 드라이브에 쓸 때는 시스템이 좀 더 지능적이어야 합니다. P5316 리뷰에서 간접 단위(IU)라는 용어에 대해 조금 이야기했습니다. 이것은 드라이브가 쓰려는 블록 크기와 거의 같습니다. P5316의 IU는 64K입니다. 드라이브에 4K 블록으로 쓸 수 있지만 성능 및 쓰기 증폭 측면에서 매우 비효율적입니다.
Pliops XDP가 존재하는 주요 이유 중 적어도 하나를 이해하려면 SSD의 세부 사항을 자세히 살펴보는 것이 중요합니다. 한 측면에서 이것은 SSD를 통합하고 관리함으로써 서버용 RAID 카드 역할을 합니다. XDP는 또한 온보드 DRAM 및 전원 보호로 지원되므로 드라이브로 들어오는 쓰기를 통합하여 소프트웨어 RAID보다 우수한 성능 및 용량 활용도를 보장할 수 있습니다.
애플리케이션에 대한 IoT 장치 수요
데이터 수집은 놀라운 속도로 계속 증가하고 있습니다. 해당 데이터 및 관련 애플리케이션을 즉시 사용할 수 있어야 한다는 요구 사항은 엣지 및 AI/ML 애플리케이션 개발에서 통찰력 수집의 중요성과 함께 훨씬 더 분명합니다.
기업은 더욱 비용 효율적이면서 지속적인 용량 증가를 고려하여 SSD 기술을 완전히 수용합니다. 하드 디스크 드라이브(HDD)보다 1,000배 이상 빠르게 실행할 수 있는 NVMe 드라이브가 광범위하게 채택되고 있습니다. 데이터 센터는 이러한 스토리지 장치를 유지하기 위해 400Gbps를 실행하는 네트워크를 배포하고 있으며 NVMe-oF(NVMe-over-Fabrics)와 같은 효율적인 프로토콜은 시스템 및 인프라의 한계를 뛰어 넘습니다.
전례 없는 속도로 계속 증가하는 IoT 장치 수요로 인해 애플리케이션의 효율성도 높아졌습니다. 더 많은 서버, 스토리지 및 스위치는 이미 복잡한 환경에 복잡성을 더합니다. 그리고 이 모든 데이터를 효율적이고 안전하게 백업하는 것의 중요성을 잊지 마십시오.
NVMe SSD를 설치하면 오늘날 기업이 직면한 성능 문제를 해결할 수 있을 것 같습니다. 그러나 이러한 NVMe SSD는 효과적으로 활용되지 않고 있습니다. 무어의 법칙은 CPU 성능이 20년마다가 아니라 XNUMX년마다 두 배씩 빨라지는 속도로 뒤처지고 있습니다. 더 많은 코어를 추가해도 코어가 동일한 메모리와 I/O를 공유하므로 성능 문제가 해결되지 않습니다. 더 많은 서버를 추가하면 많을수록 좋다는 오래된 속담이 통하겠지만, 이는 매우 비용이 많이 드는 솔루션이며 환경에 좋지 않습니다.
이러한 모든 데이터가 이러한 고속 SSD에 저장되어 있기 때문에 컴퓨팅 집약적인 스토리지 작업으로 CPU 과부하를 처리하고 관리하는 것은 악몽이 되었습니다. 서버는 사용자 커뮤니티의 요구 사항을 따라갈 수 없으며 특히 더 높은 성능과 용량을 처리할 때 드라이브 오류 발생 시 신뢰할 수 있는 보호를 제공할 필요가 없습니다.
Pliops Extreme Data Processor(XDP)는 SSD 기반 스토리지 및 보호에 대한 많은 성능 요구 사항에 대한 솔루션을 제공할 수 있습니다. Pliops XDP는 애플리케이션 가속화를 위한 새로운 벤치마크로, 데이터 센터 인프라 투자의 효율성을 높입니다.
GPU가 AI 및 분석 성능을 가속화하기 위해 처리 비효율성을 극복한 것처럼 Pliops XDP는 스토리지 비효율성을 극복하여 성능을 대폭 가속화하고 오늘날의 최신 애플리케이션을 위한 인프라 비용을 획기적으로 낮춥니다. Pliops XDP는 데이터 처리 및 SSD 스토리지 관리를 간소화합니다. 배포하기 쉬운 HHHL(절반 높이, 절반 길이) PCIe 카드에 제공되는 Pliops XDP는 다양한 데이터 집약적 워크로드에서 성능, 안정성, 용량 및 효율성을 획기적으로 향상시킵니다.
Pliops Extreme 데이터 프로세서 아키텍처
Pliops XDP는 호스트가 액세스할 수 있는 두 개의 인터페이스로 설계되었으며, 이는 더 높은 성능을 제공하는 데 핵심입니다.
첫 번째는 XDP가 시스템의 모든 저장 장치처럼 보이는 표준 블록 인터페이스로 가장 널리 채택되었습니다. XDP가 설치되면 간단히 표시됩니다.
두 번째 호스트 인터페이스는 RocksDB 호환 키-값 라이브러리 API입니다. 또한 지원되는 새로운 NVMe-KV 표준이 있습니다. 이 인터페이스는 애플리케이션이 XDP에 직접 액세스하고 더 높은 성능을 얻을 수 있는 가장 효율적인 방법입니다. XDP는 블록을 특별한 유형의 키-값 쌍으로 취급하므로 모든 것이 동일한 방식으로 엔진을 통해 실행됩니다.
Pliops XDP의 우수한 성능은 하드웨어에서 대부분의 기능을 수행하기 때문일 수 있습니다. 회선 속도 압축은 빠르고 효율적인 하드웨어 가속 엔진을 사용하여 수행됩니다. 키-값 스토리지 엔진도 하드웨어 기반입니다. Pliops는 이것을 RocksDB on a chip에 비유합니다. 키-값 엔진은 진정한 성능 이점을 제공하기 위해 많은 마법을 수행하는 XDP의 진정한 일꾼입니다.
간단히 말해, 블록이 압축되면 임의 크기의 개체가 생성됩니다. 플래시는 블록 크기가 고정되어 있으므로 용량 관리와 관련된 문제가 발생할 수 있습니다. 이 문제는 압축된 블록을 병합하고, 함께 압축하고, 빠른 검색을 위해 정렬 및 인덱싱한 다음, 가비지 수집을 통해 해결됩니다. 업데이트가 이루어지면 블록이 압축 해제되고 프로세스가 다시 시작됩니다. 이것이 소프트웨어 기반 솔루션에서 쓰기 증폭기, 읽기 증폭기 및 공간 증폭기를 구동하는 것입니다. CPU 관점에서 호스트는 모든 처리 능력을 소비하지 않도록 절충합니다.
Pliops는 연산 집약적인 매우 효율적인 알고리즘과 데이터 구조를 구현했습니다. 예를 들어 XDP는 RocksDB 성능의 Xeon Gold Core XNUMX개에 해당하는 성능을 제공합니다.
신뢰성
기존의 데이터 보호 솔루션에는 성능과 용량 모두에서 절충이 필요합니다. 하지만 Pliops XDP는
지속적인 데이터 가용성을 유지하고
데이터 손실 및 다운타임. XDP는 여러 개의 단일 드라이브 오류를 지원하고 VHC(가상 핫 용량)가 있어 핫 스페어가 필요하지 않습니다. XDP는 데이터를 관리하기 때문에 RAID 기반 솔루션과 달리 실제 데이터만 재구성됩니다. 즉, 사용자는 ZERO 성능 저하로 플래시 속도로 데이터 보호를 받습니다.
갑자기 전원이 꺼지는 경우 XDP는 메타데이터와 사용자 데이터를 비휘발성 메모리에 자동으로 플러시하여 전송 중인 데이터를 보존합니다. 복구는 자동으로 이루어지며 사용 가능한 용량을 줄이지 않고 사용 가능한 VHC 용량을 사용하여 전원이 복구되면 즉시 시작됩니다.
생산 능력
Pliops XDP는 모든 공급업체의 모든 명령 플래시 기술, TLC, QLC, Intel Optane 및 SSD를 지원합니다. XDP의 인라인 압축은 병목 현상을 방지하기 위해 여러 엔진을 구현하여 CPU에 이러한 부담을 덜어줍니다. 압축, 최소한의 드라이브 장애 보호 오버헤드 및 거의 전체 드라이브 활용도(95%)는 가용 용량을 최대 6배까지 확장합니다. 이렇게 가용 용량이 증가하면 TB당 비용이 크게 절감됩니다.
SSD는 장치가 마모되어 더 이상 데이터를 안전하게 저장할 수 없게 되기 전에 쓰고 지울 수 있는 데이터의 양으로 변환되는 유한한 내구성을 가지고 있습니다. 업계에서 QLC SSD 이상을 채택함에 따라 내구성 수준이 감소합니다. XDP는 모든 임의 쓰기를 순차적 쓰기로 변환하므로 이 문제를 제거하여 최대 7배 더 높은 내구성을 제공합니다.
현재 Pliops XDP는 카드당 128TB의 사용자 데이터를 지원합니다. 더 많은 스토리지가 필요한 사용 사례의 경우 호스트 시스템 내에서 여러 XDP 카드를 활용할 수 있습니다.
효율성:
작지만 강력한 XDP는 조직의 데이터 증가 및 응용 프로그램 채택을 따라잡기 위해 기존 인프라 설치 공간에서 더 많은 것을 얻습니다. 또한 전체 데이터 센터에 쉽게 배포할 수 있습니다. Pliops XDP는 다양한 워크로드에서 최대 80% 더 나은 경제성을 제공할 수 있습니다.
현재 Pliops는 XDP 소프트웨어 설치에 CLI 인터페이스를 활용합니다.
인터페이스는 간단하고 요점입니다. 필요한 경우 XDP를 쉽게 구성하고 어레이 상태를 탐색할 수 있습니다.
고급 기능
Pliops XDP 고급 기능은 다음과 같습니다.
- 높고 일관된 성능을 제공하는 표준 블록 장치
- 타협하지 않는 DFP(Drive Fail Protection)는 여러 단일 드라이브 장애로부터 보호합니다.
- 압축, 높은 드라이브 채우기 및 최소 DFP 오버헤드로 가용 용량 확장
- Virtual Hot Capacity는 전용 핫 스페어의 필요성을 제거합니다.
- 쓰기 증폭기 감소로 TLC 및 QLC SSD의 유효 수명 연장
- 할당된 Virtual Hot Capacity에 사용자 데이터만 재구축하여 Rapid Recovery
- 성능 균형을 맞추기 위해 사용자가 구성할 수 있는 재구축 속도
- 갑작스러운 전원 차단 시 전체 데이터 및 메타데이터 보호
- 오버 프로비저닝의 균형을 맞추고 성능을 향상시킵니다.
Pliops XDP는 엔터프라이즈 및 클라우드 애플리케이션이 기존 컴퓨팅 부하 및 성능의 일부만을 사용하여 최대 1,000배 빠르게 데이터에 액세스할 수 있도록 하여 플래시 스토리지의 잠재력을 최대한 제공합니다.
Pliops Extreme 데이터 프로세서 사양
| 퍼포먼스 | 3.2만 IOPS RR, 1.2만 IOPS RW, 30GB/s SR, 6.4GB/s SW |
| 쓰기 원자성 | 명시적 또는 투명한 이중 쓰기 제거를 위해 최대 64KB의 원자 쓰기 지원 |
| 생산 능력 | 패리티 보호 기능이 있는 128TB의 물리적 디스크에 있는 128TB의 사용자 데이터 |
| 호스트 API | • 표준 블록 장치 • KV 라이브러리 API |
| 압축 | 하드웨어 가속 |
| SSD 지원 | • 인터페이스: PCIe Gen 3/4/5 NVMe, NVMe-oF • 유형: TLC SSD, QLC SSD, 인텔® Optane™ |
| 드라이브 공급업체 | Samsung, WD, Micron, Intel, Kioxia, Hynix, Seagate 등 지원 |
| 물리적 치수 | 로우 프로파일 HHHL(6.6” X 2.536”) – 긴 브래킷 및 짧은 브래킷 |
| 운영 체제 지원 | 모든 Linux 변형 |
| 지원되는 서버 | Dell, HPE, Lenovo, Supermicro, Quanta, Wywinn, Inspur, Sugon, Fujitsu, Hitachi – 모든 표준 1U/2U 서버 |
| 전원 장애 보호 | 모든 데이터는 갑작스러운 정전으로부터 보호됩니다. |
| 작동 온도 | 10-52°C @ 250LFM |
| 저장 온도 | 5°C ~ 35°C, < 90% 비응축 |
| 출력 | 일반 <25W, 최대 45W, PCIe 어댑터를 통한 +12Vdc |
| 품질 보증 | 3년, 무료 고급 기술 지원, 고급 교체 옵션 |
| 규제 인증 | AS/NZS CISPR 22, ICES -003, 클래스 B, EN55022/EN55024, VCCI V-3, RRA no 2013-24 & 25, RoHS 준수, EN/IEC/UL 60950, CNS 13438, FCC 47 CFR 파트 15 하위 파트 B , 클래스 B, WEEE |
| MTBF | 최대 4.5만 시간 |
퍼포먼스
Pliops XDP는 데이터베이스, 분석, AI/ML 등에서 최대 10배 더 높은 성능을 달성하는 데 도움이 됩니다.
획기적인 데이터 구조와 알고리즘은 수백 개의 호스트 소프트웨어 코어에 해당하는 기능을 제공합니다. XDP는 시스템에서 블록 장치로 나타나며 모든 애플리케이션을 가속화합니다. MySQL, MongoDB 및 Cassandra와 같은 데이터베이스를 통해 Pliops XDP는 MySQL, MongoDB 및 Cassandra와 같은 데이터베이스의 대기 시간을 줄이면서 인스턴스 밀도를 향상시킵니다.
우리는 Dell PowerEdge R750 및 5316개의 Solidigm P30.72 0TB QLC SSD 내부의 실험실에서 Pliops XDP의 성능을 테스트했습니다. mdadm을 사용한 소프트웨어 RAID5의 성능과 RAID64 구성을 사용한 XDP의 성능을 비교했으며 둘 다 XNUMXK 청크 크기를 사용했습니다. 이것은 XDP 카드에 더 많은 작업을 투입하고 소프트웨어 RAID의 최고 성능 구성을 보여주는 것을 목표로 했습니다. mdadm은 Linux md 장치(RAID 어레이라고도 함)를 구축, 관리 및 모니터링하는 데 사용되는 명령입니다. mdadm은 Linux 시스템에 사전 설치되어 있지 않습니다.
사전 조정을 위해 순차 읽기 및 쓰기 성능을 측정하기 전에 128개의 10K 128TB 순차 쓰기 채우기를 수행했습니다. 임의 읽기 및 쓰기 테스트를 위해 10개의 10K 120TB 임의 채우기가 수행되었습니다. 그런 다음 테스트 자체는 여러 블록 크기에 걸쳐 여러 대기열 깊이에 대해 XNUMXTB 공간에서 테스트되었으며 각 간격은 XNUMX초입니다.
무작위 4K 전송을 통해 Pliops XDP는 소프트웨어 RAID0보다 약간 낮았으며 2.6만 IOPS에 비해 3.7만 IOP를 측정했습니다. 그러나 임의 쓰기 성능을 보면 832k IOPS의 SW RAID0에서 XDP의 무려 135만 IOPS로 1.3%의 엄청난 향상이 있었습니다. 임의 읽기 및 임의 쓰기 워크로드 모두 8-스레드/128-큐 수준에서 테스트되었습니다.
블록 크기를 16K로 늘린 Pliops XDP는 읽기 및 쓰기 워크로드 모두에서 소프트웨어 RAID0 수치를 앞설 수 있었습니다. 우리는 XDP에서 16M IOPS의 1.9K 임의 읽기와 SW RAID1.7의 0M IOPS를 측정했습니다. 16K 임의 쓰기에서 그 차이는 XDP의 370K IOPS와 SW RAID131의 0k IOPS였습니다. 임의 읽기 및 임의 쓰기 워크로드 모두 8-스레드/128-큐 수준에서 테스트되었습니다.
임의 읽기 및 쓰기 작업을 함께 사용하여 4K에서 16K 블록 크기로 전송 크기를 조정했습니다. 전반적으로 Pliops XDP는 엄청난 이득을 얻었습니다. 4K 70/30에서는 SW RAID561에서 2.8M IOPS~422K IOPS를 측정하여 0%의 엄청난 이득을 제공합니다. 8K 블록 크기에서는 SW RAID348에서 1.9M IOPS~428K IOPS를 측정하여 0%로 약간 적었습니다. 16K 전송 크기에서는 격차가 줄어들었지만 여전히 SW RAID157에 비해 0% 크게 향상되었습니다. 여기에서는 XDP의 1.1만 IOPS와 SW RAID427의 0K IOPS를 측정했습니다.
이전 워크로드는 무작위 전송에 중점을 두었지만 최종 테스트는 순차적 대형 블록 전송 속도에 중점을 둡니다. 여기에서 Pliops XDP는 특히 쓰기 성능에서 상당한 향상을 계속해서 보여주었습니다. 읽기 대역폭부터 시작하여 SW RAID48의 27GB/s와 비교하여 XDP의 0GB/s를 측정했습니다. 쓰기에서 XDP는 SW RAID184의 6.3GB와 비교하여 2.2GB/s로 0% 앞서 있었습니다.
최적의 조건에서의 성능은 항상 모든 스토리지 플랫폼의 강점이지만 드라이브 용량이 증가함에 따라 재구축 작업에 걸리는 시간을 이해하는 것이 중요한 데이터 포인트입니다. Solidigm P4 5316TB SSD를 사용하는 30.72-드라이브 XDP 어레이로 드라이브 오류 및 재구축을 시뮬레이션했습니다. 재구축 프로세스는 백그라운드 트래픽이 적용된 상태에서 450분이 걸렸습니다. FIO를 사용하여 8MB/s의 결합 트래픽으로 70K 30/905 워크로드를 구동했지만 어레이의 재구축 속도는 여전히 14.65분/TB의 재구축 속도를 유지했습니다.
최종 생각
이 테스트에 사용된 Solidigm P5316과 같은 최신 엔터프라이즈 QLC SSD는 엄청난 성능과 용량을 제공할 수 있는 잠재력을 가지고 있습니다. 그러나 최신 인프라에는 플래시를 관리하기 위한 새로운 도구가 필요합니다. 오래된 RAID 카드는 번거로운 반면 기본 소프트웨어 RAID는 많은 성능을 제공합니다. 이러한 현실은 Pliops Extreme Data Processor와 같은 창의적인 솔루션의 문을 열었습니다.
소프트웨어 RAID와 비교할 때 XDP 가속기의 성능을 평가하기 시작했습니다. Pliops XDP 성능을 소프트웨어 RAID와 비교하면서 Dell PowerEdge R30.72에 5316TB P750 0개를 떨어뜨렸습니다. 또한 소프트웨어 RAID를 시작하여 RAID5에서 구성하고 XDP는 RAIDXNUMX로 설정했습니다.
결과를 간단히 살펴보면 전반적으로 엄청난 이득을 볼 수 있었습니다. 특히 4K 랜덤 쓰기 성능에서는 832%의 향상을 보았지만 4K 블록 크기의 읽기 성능은 타격을 입었습니다. 그러나 블록 크기를 늘리면 Pliops XDP는 무작위 및 순차 전송 시나리오 모두에서 강점을 보여주었습니다. 읽기/쓰기가 70/30으로 분할된 무작위 혼합 워크로드에서도 Pliops XDP는 SW RAID560보다 전송 크기가 156K에서 4K로 16%에서 0% 향상되었습니다.
전반적으로 Pliops 카드는 작동하기가 간단합니다. 고용량 QLC SSD로 작업하는 것을 좋아하는 만큼 미디어를 적절하게 활용할 수 있는 시스템을 찾기가 어려울 때도 있습니다. Pliops Extreme Data Processor를 사용하면 테라바이트당 비용 기준으로 서버 성능에 관한 전체 수학이 바뀝니다. 스스로 시도하는 것도 충분히 쉽습니다. PoC를 시작하려면 아래 링크를 클릭하십시오.
Pliops는 이 보고서를 후원합니다. 이 보고서에 표현된 모든 견해와 의견은 고려 중인 제품에 대한 우리의 공정한 견해를 기반으로 합니다.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 페이스북 | RSS 피드
