컴퓨터 관련 하드웨어 구성 요소 및 시스템의 잘 알려진 제조업체인 GIGABYTE는 고유한 고성능 소프트웨어 정의 스토리지 솔루션을 제공하기 위해 Bigtera와 제휴하여 데이터 스토리지 시장에 뛰어들었습니다. GIGABYTE는 Bigtera의 VirtualStor 소프트웨어 플랫폼과 함께 하드웨어를 공급하여 다양한 용량 및 성능 요구 사항을 충족하는 다양한 스토리지 어플라이언스를 제공합니다. 대부분의 사람들은 GIGABYTE(30년 이상 사업을 해왔음)에 익숙하겠지만 일부에게는 Bigtera가 새로운 이름일 수 있습니다. 2012년에 설립된 Bigtera는 XNUMX개의 개발 센터와 생산 환경에서 VirtualStor를 실행하는 XNUMX명 이상의 고객을 보유하고 있습니다.
Bigtera VirtualStor 제품군은 각각 표준 x86 아키텍처에 배포된 소프트웨어 정의 스토리지 솔루션인 Scaler, Converger 및 Extreme의 세 가지 제품 라인으로 구성됩니다. 스케일러는 하이브리드 스케일 아웃 솔루션을 위한 데이터 스토리지입니다. Converger는 VMware, Hyper-V 또는 KVM과 페어링하여 하이퍼컨버지드 인프라를 생성하는 데 사용할 수 있는 스토리지 솔루션입니다. Extreme은 지속적으로 낮은 대기 시간이 필요하고 많은 양의 대역폭을 소비하는 애플리케이션에 I/O를 제공하도록 설계된 올플래시 스케일 아웃 스토리지 솔루션입니다. 이 심층 분석에서는 VirtualStor Scaler 솔루션을 검토합니다.
VirtualStor Scaler는 스케일업 또는 하이퍼컨버지드 인프라(HCI) 솔루션이 아닌 스케일아웃 스토리지 솔루션입니다. 즉, 더 많은 스토리지 용량이 필요할 때 VirtualStor Scaler 스토리지 클러스터에 더 많은 디스크 또는 노드를 추가할 수 있습니다. 즉, 현재 상황에 따라 수정할 수 있는 데이터 센터용 스토리지의 정확한 양을 확보하게 됩니다. 이러한 유연성은 하드웨어의 과잉 프로비저닝(스케일업 솔루션의 요구 사항)과 HCI 솔루션을 사용할 때 더 많은 컴퓨팅 성능(필요 여부에 관계없이)을 추가해야 하는 필요성을 효과적으로 제거합니다.
GIGABYTE는 VirtualStor Scaler 시스템을 위한 6가지 플랫폼을 제공합니다. 한쪽 끝에는 소규모 사용자를 위해 최적화된 48TB의 유효 저장 용량을 갖춘 1U 노드 3개로 구성된 시스템이 있습니다. 다른 한쪽 끝에는 대용량 데이터를 처리해야 하는 고객을 위해 4PB의 데이터를 저장할 수 있는 4U 노드 8개로 구성된 시스템이 있습니다. 이러한 시스템의 품질을 보장하기 위해 GIGABYTE는 자체 최고급 서버를 사용하며, 이 서버에는 듀얼 Intel 2세대 Xeon Scalable CPU가 탑재되어 스토리지 노드의 컴퓨팅 요구 사항을 충족합니다. 데이터 저장을 위해 VirtualStor 스토리지 어플라이언스는 HDD와 NVMe 또는 SATA SSD 캐시 드라이브를 조합하여 사용합니다. 어플라이언스에서 데이터 흐름의 안정성을 보장하기 위해 노드에는 Intel SFP+ 및 NIC가 사용되며, 오프라인 노드 관리는 Aspeed 원격 관리 컨트롤러를 통해 수행됩니다.
VirtualStor 스케일러 스토리지 프로토콜
오늘날의 데이터 센터는 까다롭고 다양한 사용자 그룹의 요구 사항을 최대한 빠르고 비용 효율적으로 충족할 수 있는 스토리지를 제공해야 합니다. 데이터 센터의 다양한 스토리지 요구 사항을 충족하기 위해 VirtualStor는 단일 통합 스토리지 풀에서 일반적으로 사용되는 모든 스토리지 프로토콜(NAS, SAN 및 개체 스토리지)을 지원합니다. 성능 요구 사항이 충족되도록 하기 위해 저장소에는 파일, 폴더 또는 볼륨에 QoS(서비스 품질) 특성이 적용될 수 있습니다. 사용자 또는 애플리케이션이 스토리지를 과도하게 사용하지 않도록 방지하는 할당량은 폴더 또는 볼륨 기준으로 적용될 수 있습니다.
VirtualStor는 가장 까다로운 응용 프로그램에 필요한 성능을 안정적이고 일관되게 제공하도록 설계되었습니다. 이를 달성한 방법 중 하나는 VirtualStor 백엔드 스토리지 엔진인 BigteraStore가 데이터 배치를 처리하는 방식입니다. BigteraStore는 데이터 캐싱을 위해 플래시 장치를 사용하고 작은 데이터 블록을 더 큰 순차적 블록으로 통합 및 병합합니다. 이는 무작위 데이터를 처리할 때 VirtualStor 시스템의 성능에 큰 영향을 미칠 뿐만 아니라 플래시 장치에 대한 쓰기 횟수를 줄여 장치 수명을 연장합니다. 또한 BigteraStore는 순차 데이터(더 큰 데이터 블록으로 전달됨)를 식별하여 스토리지 시스템의 성능을 개선하고 이 데이터를 하드 드라이브에 직접 읽고 씁니다. 순차 데이터를 하드 드라이브로 직접 스트리밍하는 것은 임의의 데이터를 읽고 하드 드라이브에 쓰는 것과 같은 성능 저하를 겪지 않기 때문에 가장 큰 영향을 미치는 임의 데이터와 함께 사용할 값비싼 플래시 장치의 용량도 보존합니다.
VirtualStor Scaler 플래시 사용
데이터 효율성, 보호 및 복원력은 오늘날의 최신 스토리지 솔루션에서 해결해야 하는 세 가지 요소이며 VirtualStor는 최신 기술과 도구를 사용하여 이러한 요소를 해결하는 강력하고 효율적인 솔루션을 제공합니다.
스토리지 시스템의 가장 중요한 기능은 저장된 데이터의 무결성을 보호하는 기능입니다. 이를 위해 VirtualStor는 데이터 복제, 삭제 코딩, RAID, 오류 감지 및 손상된 데이터의 자가 복구를 지원합니다. 데이터가 여러 스토리지 노드에 복제되고 균형을 이루므로 하드웨어 구성 요소나 서버에 장애가 발생하더라도 다른 스토리지 노드가 원활하게 인계되며 대부분의 경우 사용자나 애플리케이션은 장애가 발생한 사실조차 인식하지 못합니다. . 고장난 구성 요소가 식별되고 교체되면 자동으로 시스템에 다시 통합됩니다. Intel AES-NI 암호화 기술을 사용하여 VirtualStor에서 최대한의 보호가 필요한 중요한 데이터를 보호할 수 있지만, 물론 덜 안전한 다른 데이터는 VirtualStor 스토리지 어플라이언스에서 암호화되지 않은 상태로 남을 수 있습니다.
VirtualStor Scaler 아키텍처 개요
어떤 스토리지 솔루션을 사용할지 결정할 때 대부분의 사용자가 종종 간과하는 한 가지 요소는 사용할 기본 스토리지를 조각하는 것이 어렵다는 것입니다. 모든 VirtualStor 스토리지는 유형이나 프로토콜에 관계없이 효과적으로 오버프로비저닝할 수 있는 단일 풀에서 제공되므로 사용 가능하도록 기본 스토리지를 다시 프로비저닝하는 시간 소모적인 작업과 섬 또는 사일로가 모두 제거됩니다. 프로비저닝되었지만 사용되지 않은 스토리지
VirtualStor 스케일러 대시보드
스토리지 솔루션의 가치는 관리 용이성이 어렵거나 수준 이하인 경우 최소화될 수 있지만 다행스럽게도 VirtualStor는 직관적이고 현대적인 웹 기반 관리 콘솔을 제공하여 스토리지를 쉽게 관리할 수 있도록 합니다. 과거에는 단일 관리 콘솔이 있는 것으로 알려진 일부 레거시 통합 스토리지 시스템을 보았지만 자세히 살펴보면 관리 콘솔은 관리 콘솔의 기능으로 배치된 다양한 시스템의 관리 구성 요소로만 구성되었습니다. 불행하게도 이러한 상황은 스토리지 구성 요소에 대해 다른 용어가 사용되고 관리되는 스토리지 유형에 따라 다른 워크플로가 필요하기 때문에 혼란을 야기합니다. 스토리지를 다루는 복잡하고 난처한 방법입니다.
또한 잘못 입력하면 치명적인 결과를 초래할 수 있는 일반적인 작업을 완료하기 위해 명령줄 상호 작용이 필요한 스토리지 시스템도 보았습니다. 반대로 VirtualStor 어플라이언스를 사용하면 일상적인 시스템 관리를 처리할 때 모든 워크플로가 GUI 기반이며 명령줄 상호 작용이 필요하지 않습니다. 또한 처음부터 멀티 프로토콜을 지원하도록 설계되었기 때문에(추후 고려 사항이 아님) 기존의 추가 기능으로 인해 방해받지 않으므로 VirtualStor를 직관적이고 오류 없이 관리할 수 있습니다.
VirtualStor 스케일러 성능
솔루션을 조립하고 작동하기 쉽게 만드는 것 외에도 클러스터는 여전히 대상 고객 사용 사례에 적합한 성능을 제공해야 합니다. 또한 Bigtera는 이 솔루션에 더 많은 유연성을 제공하는 다중 프로토콜 지원을 제공합니다. 몇 주에 걸쳐 다음 하드웨어 구성으로 솔루션을 테스트했습니다.
- 클라이언트 노드
- 1 X 기가바이트 H261-3C0 – 2U 4노드, 3개의 클라이언트 서버에 3노드 사용
- 노드당:
- 2 x Xeon Gold 6140 CPU(18코어, 2.3GHz)
- 8GB 16MHz DDR2666 RDIMM 메모리 모듈 4개
- 1 x 기가바이트 CLNOQ42 듀얼 포트 25GB SFP+ OCP LAN 카드(QLogic FastLinQ QL41202-A2G)
- 1GB 960인치 Seagate SATA SSD 2.5개
- 저장소 노드
- 3 X GIGABYTE S451-3R0 스토리지 서버
- 노드 당 :
- Intel Xeon Silver 2 CPU 4114개(코어 10개, 2.2GHz)
- 8GB 16MHz DDR2666 RDIMM 메모리 모듈 4개
- 36TB 8인치 Seagate Exos SATA HDD 3.5개
- 2TB Adata SR3.84CP AIC SSD 2000개
- 1GB 960인치 Seagate SATA SSD 2.5개
- 1 x GIGABYTE CLN4C44 4 x 25GbE SFP28 LAN 포트(Mellanox ConnectX-4 Lx)
- 1 x GIGABYTE HW RAID 카드 CRA4648, GIGABYTE MR 3108 BBU
앞서 언급했듯이 이 솔루션은 하드 드라이브와 플래시 메모리를 모두 활용합니다. 각 노드는 부팅용으로 960GB Seagate SSD를 사용합니다. 용량 계층에는 스토리지 노드당 36개의 Seagate Exos 8TB Enterprise HDD를 사용합니다. 이 구성에서 최상의 성능을 구현하기 위해 스토리지 노드당 Adata SR2000CP 3D eTLC SSD 두 개를 사용합니다 . 3.84TB 애드인 카드는 저널링 기능을 담당할 뿐만 아니라 클러스터의 캐시 역할도 수행합니다. SR2000CP 제품군은 최대 11TB 용량까지 제공되지만, 3.84TB 카드는 이 어플라이언스의 성능 목표(읽기/쓰기 속도 최대 6000/3800MB/초)와 비용 목표를 충족합니다.
성능을 살펴보면 기업이 대규모 SDS 플랫폼을 어떻게 바라보는지 이해하는 것이 중요합니다. 일반적으로 개체 프로토콜 성능에 적합하지만 iSCSI와 같은 보다 전통적인 프로토콜을 활용하려는 경우 "호환성" 사용 사례로 간주됩니다. 달리 말하면 작동하지만 스토리지 어레이가 구축된 기본 프로토콜보다 훨씬 느립니다. 하지만 모든 플랫폼이 그런 것은 아니며 VirtualStor Scaler를 독특하게 만드는 요소 중 하나입니다. 이 점을 입증하기 위해 RBD 프로토콜을 활용하는 테스트와 iSCSI를 활용하는 연속 테스트를 실행했습니다. 목록이 광범위하기 때문에(NFS, CIFS/SMB 및 S3 API) VirtualScaler가 지원하는 모든 프로토콜을 테스트하는 것은 이 문서의 범위를 벗어납니다.
테스트 세부 사항을 위해 FIO를 활용하여 30개의 10GB iSCSI LUN에 대해 30개의 10GB RBD 공유 성능을 측정했습니다. 우리는 이를 세 개의 클라이언트 시스템에서 분리하여 각각 10개의 공유 또는 LUN에 액세스했습니다. 그런 다음 스토리지 장치당 1개의 스레드 워크로드와 16개의 큐 깊이를 적용했습니다(클러스터에 집계하여 각각 30Q 로드로 16개의 스레드로 해결됨). 그런 다음 대규모 순차 전송과 소규모 4K 임의 트래픽의 성능을 비교했습니다.
1024K 순차 전송을 측정한 첫 번째 워크로드에서 우리는 iSCSI를 활용하는 세 클라이언트 각각에서 평균 1600MB/s 이상의 읽기 및 960MB/s 이상의 쓰기를 확인했습니다. 전체적으로 이것은 4.9GB/s 읽기 및 2.9GB/s 쓰기로 해결되었습니다. RBD를 활용하여 클라이언트당 960MB/s 이상의 비슷한 쓰기 트래픽을 보았지만 읽기 성능은 클라이언트당 2700MB/s 이상으로 더 높았습니다. 전체적으로 RBD 합계는 8.1GB/s 읽기 및 2.9GB/s 쓰기로 측정되었습니다.
워크로드 크기를 128k 순차 전송으로 낮추면서 iSCSI와 RBD 성능 간에 유사한 균형을 다시 확인했습니다. iSCSI를 사용하여 각 클라이언트는 약 440MB/s 쓰기 및 1600MB/s 읽기를 확인하여 총 1.3GB/s 쓰기 및 4.9GB/s 읽기를 기록했습니다. RBD에 초점을 맞추면 클라이언트당 410MB/s 이상의 쓰기 성능과 클라이언트당 2500MB/s 이상의 읽기 성능이 약간 낮아졌습니다. 이것은 RBD를 통해 총 1.2GB/s 쓰기 및 7.8GB/s 읽기로 해결되었습니다.
더 작은 무작위 전송 성능으로 초점을 전환하여 4K 테스트에 중점을 둡니다. 4K 임의 쓰기에서 두 프로토콜을 살펴보면 iSCSI와 RBD는 둘 다 클라이언트당 23K 이상의 IOPS 또는 총 약 71K IOPS의 유사한 성능을 제공했으며 RBD에 대한 우위를 점했습니다. 읽기 성능을 살펴보면 iSCSI는 클라이언트당 약 64K IOPS 또는 총 193K IOPS, RBD는 클라이언트당 97K IOPS 또는 총 291K IOPS를 측정했습니다.
4K 무작위 전송 테스트에서 평균 대기 시간에 초점을 맞추었습니다. 총 클러스터 로드는 30개의 스레드와 스레드당 16개의 대기열로, iSCSI 및 RBD 전송 모두에 대해 쓰기 시간이 6.7ms를 조금 넘는 것으로 측정했으며 RBD는 작은 에지를 가졌습니다. 읽기 전송에서 RBD 성능은 총 1.647ms로 iSCSI의 총 2.489ms에 비해 더 큰 이점을 가졌습니다.
히프 라인
VirtualStor Scaler는 산업 표준 x86 서버에서 실행되는 유연하고 확장 가능한 소프트웨어 정의 솔루션으로 파일, 블록 또는 객체 스토리지를 제공합니다. 이 경우 통합 솔루션의 관리 용이성과 다중 프로토콜 지원을 강조하기 위해 GIGABYTE의 클라이언트 및 스토리지 노드를 결합했습니다. 플랫폼에서 사용할 수 있는 탄력성을 강조하는 것도 중요합니다. 이는 주로 VirutalStor의 Ceph 기반 덕분입니다. Bigtera는 Ceph가 환상적인 데이터 보호 기능을 제공한다고 가정하는 경우가 많지만 대부분의 엔터프라이즈 스토리지 애플리케이션에서 중요한 성능 및 유연성 스토리를 전달할 수 있는 능력이 부족하기 때문에 Bigtera는 이러한 메시징을 주도하지 않는 것을 선호합니다. VirtualStor Scaler를 사용하면서 우리는 RADOS 블록 인터페이스와 함께 매우 강력한 iSCSI 성능을 제공하는 기능에 지속적으로 깊은 인상을 받았습니다. CLI를 사용하는 것을 선호하지 않는 사람들에게 편리한 멋진 GUI가 맨 위에 있다는 사실을 던지십시오. Bigtera는 여기에서 잘 해냈습니다. VirtualStor 솔루션은 일반적인 분석, HPC 및 AI/ML 배포를 위한 데이터 웨어하우스 이상의 역할을 할 수 있습니다. 기업은 솔루션의 유연성 덕분에 온프레미스 클라우드에서 스토리지 통합 및 보다 일반적인 가상화 워크로드에 이르기까지 다양한 사용 사례를 직접 대체하는 것으로 간주하는 것이 현명할 것입니다.
아마존