SUSE 엔터프라이즈 스토리지 검토

SUSE Enterprise Storage는 기업이 지속적으로 증가하는 데이터 세트를 관리할 수 있도록 설계된 Ceph 기반의 소프트웨어 정의 스토리지 솔루션입니다. 또한 SUSE는 하드 드라이브가 계속 커지고 플래시 가격이 계속 하락함에 따라 유리한 스토리지 경제성을 활용하여 지원하는 것을 목표로 합니다. 일반적으로 하이브리드로 구성되지만 Ceph는 궁극적으로 고객의 요구에 따라 유연합니다. 오늘날 소프트웨어 정의에 대한 열정의 대부분은 기본 스토리지 및 하이퍼컨버지드 제품에 집중되어 있지만 Ceph는 중요한 하드웨어 개발에도 박차를 가하고 있습니다. HP, Dell, Supermicro 등은 모두 Ceph가 요구하는 기본 하드웨어 플랫폼을 제공하기 위해 여러 컴퓨팅 노드가 있는 고밀도 3.5" 섀시에 막대한 투자를 했습니다. 이 특정 검토의 경우 ProLiant 서버 및 Apollo 섀시를 포함한 HPE 장비를 활용했습니다. , 하지만 SUSE Enterprise Storage는 거의 모든 곳에 배포할 수 있습니다.

Ceph에 대해 자세히 알아보는 것은 이 리뷰의 범위를 벗어나지만 Ceph가 무엇인지 기본적으로 이해하는 것이 중요합니다. Ceph는 하나의 통합 시스템에서 개체, 블록 및 파일 스토리지를 제공하는 고유한 기능을 갖춘 소프트웨어 스토리지 플랫폼입니다. Ceph의 또 다른 매력적인 기능은 확장성이 뛰어나고 최대 엑사바이트의 데이터까지 가능하다는 것입니다. 상용 하드웨어에서 실행할 수 있습니다(특별한 것이 필요하지 않음을 의미). Ceph는 단일 실패 지점을 방지하도록 설계되었습니다. 그리고 모두에게 흥미로운 점은 Ceph를 무료로 사용할 수 있다는 것입니다.

사용자는 여러 가지 지능형 데몬, 특히 클러스터 모니터(ceph-mon), 메타데이터 서버(ceph-mds), 개체 스토리지 장치(ceph-osd) 및 Representational state transfer(Representational state transfer)를 사용하는 상용 하드웨어에 Ceph 노드를 설정할 수 있습니다. RESTful) 게이트웨이(ceph-rgw). 사용자 데이터를 보호하고 내결함성을 높이기 위해 Ceph는 데이터를 복제하고 여러 노드에 스트라이프하여 처리량을 높입니다.

SUSE Enterprise Storage는 Ceph를 여러 종류의 데이터를 위한 매우 크고 비용 효율적인 대용량 스토리지로 사용하고 있습니다. 데이터는 계속 증가할 것이며 빅 데이터는 매우 가치가 높지만 막대한 양의 용량을 차지합니다. 빅 데이터는 회사의 수익에 엄청난 가치가 있을 수 있는 통찰력을 회사에 제공할 수 있지만 이 데이터를 분석하려면 그동안 데이터를 저장할 어딘가가 필요합니다. 비용 효율적인 방식으로 대량의 데이터를 저장할 수 있는 것 외에도 SUSE Enterprise Storage는 적응력이 뛰어납니다. 자가 관리 및 자가 치유 기능을 갖춘 이 소프트웨어는 수요 변화에 신속하게 적응하는 데 이상적입니다. 즉, 관리자는 신속하게 성능을 조정하고 중단 없이 추가 스토리지를 프로비저닝할 수 있습니다. 적응성은 SUSE Enterprise Storage와 함께 사용되는 상용 하드웨어에 유연성을 제공하는 데 도움이 됩니다.

SUSE Enterprise 스토리지 기능

캐시 계층화
씬 프로비저닝
Copy-on-write 클론
이레이저 코딩
이기종 OS 블록 액세스(iSCSI)
통합 개체, 블록 및 파일 시스템 액세스(기술 미리 보기)
프로그래밍 방식 액세스를 위한 API
오픈스택 통합
노드 또는 용량의 온라인 확장성
온라인 소프트웨어 업데이트
미사용 데이터 암호화

SUSE Enterprise 스토리지 하드웨어 구성

모니터 노드는 클러스터 상태를 추적하지만 데이터 경로에 있지 않습니다. 우리의 경우 1개의 모니터 노드는 360U HPE ProLiant DLXNUMX 서버입니다. 대부분의 SUSE Enterprise Storage 클러스터의 경우 모니터링 노드 XNUMX개로 충분하지만 스토리지 노드 수가 매우 많은 경우 기업에서 XNUMX개 이상을 배포할 수 있습니다.

SUSE 스토리지 노드는 수평으로 확장되며 4200개의 HPE Apollo 4510 노드와 XNUMX개의 HPE Apollo XNUMX 노드로 구성됩니다. 데이터는 우리 구성의 스토리지 노드에서 XNUMX중으로 기록되며 물론 필요에 따라 변경할 수 있습니다. 보호 수준은 풀 수준에서 정의할 수 있습니다.

HPE Apollo 3 노드 4200개
- â € <인텔 E2-5 v2680 프로세서 3개
- RAM 320GB
- M.2 부트 키트
- 4x 480GB SSD
- 24x 6TB SATA 7.2k 드라이브
- 1x 40Gb 듀얼 포트 어댑터
HPE Apollo 3 노드 4510개
- 2x e5-2690 v3 프로세서
- RAM 320GB
- M.2 부트 키트
- 4x 480GB SSD
- 24x 6TB SATA 7.2k 드라이브
- 1x 40Gb 듀얼 포트 어댑터
3x HPE ProLiant DL360 노드
- 1 E5-2660v3
- RAM 64GB
- 2x 80GB SSD
- 6x 480GB SSD
- 1x 40Gb 듀얼 포트 어댑터
2x HP FlexFabric 5930-32QSFP+ 스위치
서버 구성
- SUSE Enterprise 스토리지가 포함된 SUSE Linux Enterprise Server 12 SP1
- 저널 장치용으로 HDD와 SSD의 비율이 6:1로 배포된 OSD
- HPE Apollo 4200 및 4510은 총 144개의 스토리지 장치에 대한 단일 스토리지 클러스터에 함께 참여합니다.
- DL360은 관리자, 모니터 및 Romana GUI 역할을 합니다.
- iSCSI 게이트웨이 서비스는 6개의 스토리지 노드 모두에 배포됩니다.

SUSE 엔터프라이즈 스토리지 관리

웹 기반 GUI도 있지만 대부분의 SUSE 엔터프라이즈 스토리지는 CLI를 통해 관리됩니다. 현재 SUSE는 GUI에 Calamari를 사용하고 있지만 앞으로 변경될 수 있습니다. 사용자가 Calamari를 설정하고 열면 일반적으로 GUI에서 기대하는 것을 볼 수 있습니다. 기본 페이지에는 대시보드, 워크벤치, 차트 및 관리를 포함하여 상단에서 실행되는 XNUMX개의 기본 탭이 있습니다. 대시보드 탭(기본적으로 열리는 탭)에는 현재 활성화된 경고와 함께 시스템 상태가 표시됩니다. 클러스터에 있는 OSD의 총 수는 총량 위아래도 함께 표시됩니다. 모니터 수(전체/및 실행 중인 것)가 표시됩니다. 그리고 풀의 총량이 표시됩니다. 그 아래에는 활성 및 클린 번호를 포함한 배치 그룹 상태와 클린(녹색), 작업 중(노란색) 및 더티(빨간색) 사용자를 표시하는 색상 코드 시스템이 있습니다.

Workbench 탭은 사용자에게 OSD의 양과 제대로 실행되고 있는 것과 다운된 것의 그래픽 표현을 제공합니다. 그래픽에서 대부분이 녹색으로 올바르게 실행되고 있지만 하나는 빨간색으로 강조 표시되고 약간 더 큽니다. 왼쪽에서 사용자는 OSD별로 정렬하고 필터링할 수 있습니다.

Workbench 탭을 통해 사용자는 스토리지 성능에 대한 그래픽 표현을 얻을 수도 있습니다. 아래 예에서 사용자는 읽기 + 쓰기 IOPS, 스토리지 사용률 및 보고하는 호스트 수를 볼 수 있습니다.

차트 탭에서 사용자는 클러스터를 선택하고 읽기 및 쓰기를 모두 보여주는 클러스터 성능을 보여주는 파선 그래프를 얻을 수 있습니다.

관리 탭에서는 사용자가 클러스터, OSD, 풀을 편집하고 로그를 볼 수 있습니다. OSD 하위 탭에서 사용자는 왼쪽 아래에 나열된 호스트와 각 호스트에 있는 OSD를 볼 수 있습니다. 사용자는 OSD를 이동하여 부하의 균형을 맞출 수 있습니다.

엔터프라이즈 종합 워크로드 분석

스토리지 성능은 어레이가 워크로드에 맞게 조정됨에 따라 달라집니다. fio 합성 벤치마크 벤치마크가 정확한지 확인하기 위해. 각 테스트에서 우리는 기본 테스트에 적용된 동일한 워크로드로 그룹을 사전 조건화합니다. 테스트를 위해 조정되지 않은 스톡 구성으로 SUSE Enterprise를 실행했습니다. 향후 SUSE 테스트는 특정 OS 및 Ceph 튜닝으로 실행될 수 있습니다.

사전 조건화 및 기본 정상 상태 테스트:

처리량(읽기+쓰기 IOPS 집계)
평균 대기 시간(읽기+쓰기 대기 시간을 함께 평균화)
최대 대기 시간(최대 읽기 또는 쓰기 대기 시간)
대기 시간 표준 편차(함께 평균화된 읽기+쓰기 표준 편차)

Dell PowerEdge LoadGen 사양

Dell PowerEdge R730 서버(2-4)
CPU: 듀얼 Intel Xeon E5-2690 v3 2.6GHz(12C/28T)
메모리: 각각 128GB DDR4 RDIMM
네트워킹: Mellanox ConnectX-3 40GbE

SUSE Enterprise Storage 클러스터가 대규모 순차 전송에 맞춰져 있으므로 하나의 무작위 워크로드 테스트를 포함하고 계속 증가하는 전송 크기에서 클러스터에 대한 10개의 순차 전송 테스트에 집중했습니다. 각 작업 부하에는 16개의 스레드와 2개의 미해결 대기열 깊이가 적용되었습니다. 무작위 작업 부하에는 2개의 클라이언트가 적용되었고 결과는 집계 점수에 결합되었으며 순차 결과는 4개 및 XNUMX개의 클라이언트에 대해 측정되었습니다. RBD를 통해 CEPH 클러스터의 블록 장치에 연결된 각 클라이언트(RADOS 블록 장치) 프로토콜.

워크로드 프로필

4k 랜덤
- 100% 읽기 및 100% 쓰기
8k 순차
- 100% 읽기 및 100% 쓰기
128k 순차
- 100% 읽기 및 100% 쓰기
1024k 순차
- 100% 읽기 및 100% 쓰기

무작위 4k 합성 벤치마크에서 SUSE Enterprise Storage(이하 간단히 SUSE라고 함)는 총 읽기 점수가 8,739 IOPS인 개별 호스트에서 8,646 및 17,385 IOPS의 읽기 처리량을 달성할 수 있었습니다. 쓰기 처리량에서 개별 호스트는 총 점수 4,571 IOPS로 4,880 및 9,451 IOPS를 기록했습니다.

평균 대기 시간을 보면 두 호스트와 호스트 사이의 평균이 읽기와 쓰기 모두에서 매우 비슷했습니다. 읽기 측면에서 개별 호스트의 대기 시간은 18.3ms 및 18.51ms이며 총 18.41ms입니다. 쓰기에서 개별 호스트는 총 34.99ms로 32.78ms 및 33.88ms를 가졌습니다.

최대 대기 시간은 쓰기에서 개별 호스트의 경우 4,890ms 및 4,628ms, 총 4,759ms로 상당히 일관된 점수를 보였습니다. 읽기 대기 시간의 경우 대기 시간이 5,227.2ms에서 7,125.6ms 범위인 개별 호스트 간에 훨씬 더 큰 불일치가 있어 총 점수는 6,176.4ms입니다.

표준 편차는 다시 한 번 대기 시간이 다시 한 번 훨씬 더 가까워지는 것을 확인했습니다. 개별 호스트는 총 36.7ms로 37.21ms 및 36.96ms의 읽기 대기 시간을 제공했습니다. 쓰기 대기 시간은 80.18ms에서 89.84ms로 총 점수는 85.01ms였습니다.

여기에서 순차 테스트로 전환합니다. 첫 번째는 8k입니다. 여기에서는 SUSE 2의 4개 호스트와 SUSE 2의 4개 호스트가 포함된 2개의 테스트 세트(SUSE 66,610 및 SUSE 66,763)와 각 세트에 대한 집계 점수를 살펴봅니다. SUSE 5,235는 5,375 및 133,373 IOPS의 읽기 처리량과 10,608 및 4 IOPS의 쓰기 처리량을 제공했습니다. 47,629개의 호스트가 있는 SUSE의 경우 49,305 IOPS 읽기 및 3,176 IOPS 쓰기의 집계 점수가 있습니다. 3,756개의 호스트가 있는 SUSE는 193,771~14,280 IOPS 범위의 읽기 처리량과 XNUMX~XNUMX IOPS 범위의 쓰기 처리량을 제공했으며 총 점수는 XNUMX IOPS 읽기 및 XNUMX IOPS 쓰기입니다.

대규모 블록 128k 순차 테스트로 전환하여 2.32개의 호스트가 있는 SUSE는 읽기 집계 점수가 2.34GB/s인 4.47GB/s 및 568GB/s의 읽기 처리량을 제공했습니다. 572개의 호스트 시스템은 1.459MB/s 및 2MB/s의 쓰기 처리량을 제공했으며 총 쓰기 점수는 2.644GB/s였습니다. 호스트가 9.365개인 SUSE는 4GB/s에서 353GB/s 범위의 읽기 처리량을 제공했으며 읽기 집계 점수는 373GB/s입니다. 쓰기 처리량을 살펴보면 호스트가 1.46개인 SUSE는 XNUMXMB/s에서 XNUMXMB/s 범위의 처리량을 제공했으며 총 쓰기 점수는 XNUMXGB/s였습니다.

더 큰 블록 1,024k 순차 테스트로 전환하여 4.48개의 호스트가 있는 SUSE는 총 4.5GB/s의 읽기 처리량으로 8.98GB/s 및 869GB/s를 제공했습니다. 쓰기 처리량과 함께 885개의 호스트가 있는 SUSE는 총 1.755GB/s의 쓰기 처리량으로 2.553MB/s 및 3.295MB/s의 처리량을 제공했습니다. 11.863개의 호스트 시스템은 372GB/s의 총 읽기 처리량과 함께 618GB/s ~ 1.828GB/s 범위의 읽기 처리량을 제공했습니다. 쓰기 처리량과 함께 XNUMX개의 호스트 SUSE는 쓰기 총 점수가 XNUMXGB/s인 XNUMXMB/s에서 XNUMXMB/s 범위의 처리량을 제공했습니다.

결론

SUSE Enterprise Storage는 끊임없이 증가하는 데이터 세트로 어려움을 겪고 있는 회사를 돕기 위해 설계된 Ceph 기반 SDS 솔루션입니다. SUSE는 Ceph를 모든 유형의 데이터에 대한 대량 스토리지로 사용합니다. 이는 빅 데이터가 여러 형태로 생성될 때 유용합니다. Ceph의 유연성은 거의 모든 곳에 배포할 수 있다는 장점도 있습니다. 즉, 회사는 기존 투자에 대해 Ceph와 함께 SUSE Enterprise Storage를 활용할 수 있습니다(검토를 위해 HPE ProLiant 서버와 Apollo 섀시를 사용함). 유연성은 판매 포인트이지만 SUSE Enterprise Storage는 또한 적응력이 뛰어나고 자가 관리 및 자가 치유가 가능합니다. 즉, SUSE Enterprise Storage를 사용하는 관리자는 신속하게 성능을 변경하고 중단 없이 더 많은 스토리지를 프로비저닝할 수 있습니다.

성능 측면에서 우리는 재고 또는 조정되지 않은 구성을 실행했습니다. Ceph에는 구성할 수 있는 변형이 무수히 많습니다. OS 또는 Ceph를 조정하는 대신 우리가 보는 결과는 성능에 대한 기준을 설정하는 데 도움이 되는 주식입니다. SUSE Enterprise Storage는 대규모 순차 전송에 더 적합하므로 더 많은 테스트가 이 방식에 의존합니다. 사용자에게 SUSE Enterprise Storage 클러스터가 있는 경우 대규모 순차 작업에 클러스터를 사용할 가능성이 높으므로 이러한 결과에 더 관심을 가질 것입니다. 즉, 우리는 여전히 4k 무작위 테스트를 실행하여 시스템이 반드시 맞춰지지 않은 무언가가 제시된 경우에도 시스템이 어떻게 실행되는지 전반적인 아이디어를 제공했습니다.

4k 무작위 테스트에서 차트에서 호스트 1과 호스트 2라고 하는 두 개의 클라이언트를 실행했습니다. 각각의 점수와 합산 점수 또는 합산 점수를 살펴보았습니다. 처리량의 경우 SUSE Enterprise Storage는 17,385 IOPS의 총 읽기 점수와 9,451 IOPS의 총 쓰기 점수를 제공했습니다. 대기 시간이 4k인 SUSE Enterprise Storage는 18.41ms 읽기 및 33.88ms 쓰기의 총 평균 대기 시간, 6,176.4ms 읽기 및 4,759ms 쓰기의 총 최대 대기 시간, 36.96ms 읽기 및 85.01ms 쓰기의 총 표준 편차를 제공했습니다.

더 큰 순차 테스트는 4개 또는 2개의 클라이언트가 있는 4개의 호스트와 2개 및 4개의 클라이언트 각각에 대한 집계 점수로 수행되었습니다. 8k, 128k 및 1024k를 사용하여 순차 성능을 테스트했습니다. 당연히 각 테스트에서 총 4개의 클라이언트 호스트가 전체 최고 성능을 보였습니다. 8k에서 SUSE Enterprise Storage는 193,771 IOPS 읽기 및 14,280 IOPS 쓰기라는 높은 집계 점수를 제공했습니다. 128k 벤치마크에서 높은 총 점수는 9.365GB/s 읽기 및 1.459BG/s 쓰기였습니다. 그리고 1024k의 최종 대규모 블록 순차 벤치마크에서 SUSE Enterprise Storage는 11.863GB/s 읽기 및 1.828GB/s 쓰기라는 높은 총점을 제공했습니다.

장점