작년 이맘때 NetApp은 빅 데이터 분석 포트폴리오에 몇 가지 새로운 제품을 도입했습니다. 발표된 제품 중에는 회사의 최신 올플래시 어레이(AFA)인 NetApp EF570이 있습니다. EF570은 2U 시스템을 위한 고성능, 고가용성, 단순성 및 강력한 가격 대비 성능 비율을 위해 설계된 미드레인지 AFA입니다.
작년 이맘때 NetApp은 빅 데이터 분석 포트폴리오에 몇 가지 새로운 제품을 도입했습니다. 발표된 제품 중에는 회사의 최신 올플래시 어레이(AFA)인 NetApp EF570이 있습니다. EF570은 2U 시스템을 위한 고성능, 고가용성, 단순성 및 강력한 가격 대비 성능 비율을 위해 설계된 미드레인지 AFA입니다.
NetApp은 EF570이 "극단적인" 성능을 가지고 있다고 말하며 우리가 과장하는 사람은 아니지만 회사는 몇 가지 매우 인상적인 수치를 인용합니다. NetApp은 어레이가 21마이크로초 미만의 대기 시간으로 100만 IOPS 이상 및 32GB/s의 순차 대역폭에 도달할 수 있다고 말합니다. 이 모든 성능은 특히 빅 데이터 분석을 포함한 혼합 워크로드 환경에 맞춰져 있습니다. 약속된 성능 외에도 어레이는 25Gb 파이버 채널, 100Gb iSCSI, 12Gb InfiniBand, 100Gb SAS 및 InfiniBand를 통한 XNUMXGb NVMe를 비롯한 여러 고속 호스트 인터페이스를 지원합니다. 이렇게 하면 제시된 속도를 달성하는 데 도움이 될 뿐만 아니라 향후 스토리지 네트워크 투자를 보호하는 데도 도움이 됩니다.
다른 여러 NetApp 시스템과 마찬가지로 고가용성은 기본적으로 제공되는 측면입니다. 여기서 EF570도 다르지 않습니다. 어레이에는 단일 장애 지점이 없으며 완전히 중복된 I/O 경로 및 자동화된 장애 조치가 함께 제공됩니다. 또한 보고된 9개의 570의 가용성이 함께 제공됩니다. 이러한 기능을 통해 EFXNUMX은 스냅샷, 볼륨 복사 및 미러링을 비롯한 데이터 관리의 일반적인 기능도 제공합니다. 한편 SANtricity OS는 자동 데이터 손상으로부터 보호하면서 데이터 무결성을 보장합니다. 어레이는 백그라운드 모니터링과 광범위한 진단 데이터 및 분석을 통해 대부분의 문제를 감지하고 해결할 수 있습니다.
NetApp EF570은 모듈식 설계로 제공되며 쉽게 확장할 수 있습니다. 2U 시스템은 최대 367TB의 용량을 지원할 수 있으며 1.8개의 확장 선반을 추가하면 총 용량을 최대 10PB까지 늘릴 수 있습니다. SANtricity GUI를 통해 사용자는 추가 관리 복잡성 없이 확장하고 570분 이내에 데이터에 액세스할 수 있습니다. 이러한 확장 용이성과 고용량은 EF1.8에 강력한 가격 대비 성능을 제공합니다. XNUMXPB까지 확장할 수 있는 능력은 어레이를 향후 대대적인 업그레이드를 방지하는 데 도움이 되는 매력적인 선택으로 만듭니다.
NetApp EF570 사양
| 폼 팩터 | 2U |
| 시스템 메모리 최대 | 128GB |
| 최대 드라이브(확장 포함) | 120 |
| 최대 용량 | 1.8PB |
| 지원되는 드라이브 유형 | 2.5인치 SSD 800GB, 1.6TB, 3.2TB, 15.3TB, 1.6TB FIPS 암호화 |
| 호스트 I/O 포트 | |
| 기본 포트 |
|
| 선택적 애드온 포트 |
|
| OS 및 관리 | SANtricity 시스템 관리자 11.40 이상 |
| 퍼포먼스 | |
| IOPS | 최대 1M |
| 지속적인 처리량 | 최대 21GB/s |
| 평균 대기 시간 |
|
| 물리적 | |
| 크기 (HxWxD) | 3.47 X 19 X 19.27에서 (8.81 X 48.26 X 48.95 cm) |
| 무게 | 51.63lb (23.42kg) |
| 전력 및 냉각 | |
| kVA |
|
| 와트 |
|
| BTU |
|
설계 및 구축
명시된 바와 같이 EF570은 2U AFA입니다. 대부분의 NetApp 제품(적어도 최신 제품)과 마찬가지로 베젤은 스타일리시한 베어 메탈 커버와 통풍구, 왼쪽에 NetApp 브랜딩이 있어 동일하게 보입니다. 베젤 아래에는 어레이 전면을 가로질러 수직으로 실행되는 2.5개의 XNUMX인치 드라이브 베이가 있습니다. 어레이의 오른쪽에는 NetApp 브랜딩이 있고 왼쪽에는 전원, 주의, 찾기 버튼과 LED가 있습니다.
장치 후면을 뒤집어 보면 고가용성/중복 설계를 명확하게 볼 수 있습니다. 배열은 왼쪽에서 오른쪽 방향의 미러 이미지입니다. 하단은 PSU로 채워져 있습니다. 위쪽 절반에는 두 개의 컨트롤러가 있습니다. 컨트롤러는 컨트롤러당 32개의 ASIC를 활용하는 쿼드 포트 32Gb HIC(호스트 인터페이스 카드)로 구성되었습니다. 컨트롤러당 하나의 추가 ASIC 경로를 제공하는 온보드 FC 포트는 사용되지 않았습니다. 테스트를 위해 이중 XNUMXGb 스위치에서 모범 사례 레이아웃을 사용했습니다.
이전 NetApp 리뷰에서 우리는 회사의 ONTAP 운영 체제를 살펴보았습니다. ONTAP이 더 대중적이고 잘 알려진 OS인 반면 EF–시리즈는 실제로 SANtricity OS로 구동됩니다.
SANtricity의 홈 화면은 관리자에게 전체 시스템의 레이아웃을 제공합니다. 하나는 성능(IOPS, MB/s 및 CPU로 분류하거나 다른 시간 프레임으로 볼 수 있음), 용량 및 스토리지 계층 구조를 쉽게 볼 수 있습니다. 화면 왼쪽에는 홈, 스토리지, 하드웨어, 설정 및 지원 탭이 있습니다.
스토리지 기본 탭에는 풀 및 볼륨 그룹, 볼륨, 호스트, 성능, 스냅샷, 비동기식 미러링 및 동기식 미러링을 포함하여 스토리지가 수행하는 작업을 드릴다운하기 위해 선택할 수 있는 몇 가지 옵션이 있습니다.
풀 및 볼륨 그룹을 클릭하면 모든 용량 또는 예약된 용량을 볼 수 있습니다. 여기에서 사용자는 새 풀 또는 볼륨 그룹을 생성하거나 용량을 추가하거나 편집할 수 있습니다.
볼륨에서 사용자는 볼륨을 생성하거나 편집할 수 있을 뿐만 아니라 이름, 상태, 씬 프로비저닝 활성화 여부, 할당된 위치, LUN 수, 속한 풀 또는 볼륨 그룹과 같은 현재 볼륨에 대한 정보를 얻을 수 있습니다. 용량.
성능은 우리에게 항상 흥미로운 부분이며 스토리지가 얼마나 잘 작동하는지 알고 싶은 관리자는 스토리지 아래의 성능 섹션을 통해 확인할 수 있습니다. 여기서 사용자에게는 특정 메트릭을 기반으로 몇 가지 다른 성능 보기가 제공되며 논리적 보기, 물리적 보기 또는 애플리케이션 및 워크로드 보기로 볼 수 있습니다. 전체 AFA에서 풀 및 볼륨 그룹 또는 볼륨으로 드릴다운하는 옵션도 있습니다.
물리적 성능으로 드릴다운하면 컨트롤러, 채널 또는 드라이브의 성능을 볼 수 있는 옵션이 있습니다.
하드웨어 탭에는 예상대로 하드웨어와 실행 방법이 표시됩니다. 전면에서 사용자는 드라이브를 확인하여 모든 것이 정상적으로 실행되고 있는지, 무엇인가를 교체해야 하는지 여부를 확인할 수 있습니다(색상으로 표시, 파란색이 정상임).
하드웨어 후면도 비슷하지만 이번에는 컨트롤러와 PSU가 제대로 실행되고 있는지 또는 주소 지정이 필요한지 확인하기 위해 색상으로 구분되어 있습니다.
설정 탭에는 시스템 및 iSCSI 설정 또는 사용자가 추가하려는 기타 설정에 대한 일반 정보가 표시됩니다. 이 탭 아래에도 다양한 구성 옵션이 있습니다.
퍼포먼스
애플리케이션 워크로드 분석
NetApp EF570에 대한 애플리케이션 워크로드 벤치마크는 SysBench를 통한 MySQL OLTP 성능과 시뮬레이션된 TPC-C 워크로드를 사용한 Microsoft SQL Server OLTP 성능으로 구성됩니다. 각 시나리오에서 우리는 26개의 Toshiba PX04SV SAS 3.0 SSD로 어레이를 구성하고 각 컨트롤러에 하나씩 고정된 12개의 10드라이브 RAID2 디스크 그룹으로 구성했습니다. 이것은 5개의 SSD를 스페어로 남겼습니다. 그런 다음 디스크 그룹당 하나씩 두 개의 XNUMXTB 볼륨이 생성되었습니다. 테스트 환경에서 이것은 SQL 및 Sysbench 워크로드에 대해 균형 잡힌 로드를 생성했습니다.
SQL 서버 성능
각 SQL Server VM은 100개의 vDisk(부팅용 500GB 볼륨, 데이터베이스 및 로그 파일용 16GB 볼륨)로 구성됩니다. 시스템 리소스 관점에서 각 VM을 vCPU 64개, DRAM XNUMXGB로 구성하고 LSI Logic SAS SCSI 컨트롤러를 활용했습니다. 이전에 Sysbench 워크로드가 스토리지 I/O 및 용량 모두에서 플랫폼을 포화 상태로 만들었지만 SQL 테스트는 대기 시간 성능을 찾고 있습니다.
이 테스트는 Windows Server 2014 R2012 게스트 VM에서 실행되는 SQL Server 2를 사용하며 Quest의 Benchmark Factory for Databases에서 스트레스를 받습니다. 이 벤치마크의 기존 사용은 로컬 또는 공유 스토리지에서 대규모 3,000개 규모의 데이터베이스를 테스트하는 것이었지만, 이 반복에서는 NetApp EF1,500(컨트롤러당 570개의 VM)에 XNUMX개의 XNUMX개 규모 데이터베이스를 고르게 분산시키는 데 중점을 둡니다.
SQL Server 테스트 구성(VM당)
- 윈도우 서버 2012 R2
- 스토리지 공간: 600GB 할당, 500GB 사용
- SQL 서버 2014
- 데이터베이스 크기: 1,500 규모
- 가상 클라이언트 로드: 15,000
- RAM 버퍼: 48GB
- 시험 시간: 3시간
- 2.5시간 전처리
- 30분 샘플 기간
SQL Server OLTP 벤치마크 팩토리 LoadGen 장비
- 델 EMC 파워에지 R740xd 가상화된 SQL 4노드 클러스터
- 클러스터에서 8GHz용 Intel Xeon Gold 6130 CPU 269개(노드당 2.1개, 16GHz, 22코어, XNUMXMB 캐시)
- 1TB RAM(노드당 256GB, 16GB x 16 DDR4, CPU당 128GB)
- Emulex 4GB 듀얼 포트 FC HBA 16개
- Mellanox ConnectX-4 rNDC 4GbE 듀얼 포트 NIC 25개
- VMware ESXi vSphere 6.5/엔터프라이즈 플러스 8-CPU
SQL Server의 경우 NetApp EF570은 빠르고 일관된 방식으로 수행되어 3,160 TPS를 측정하고 12,642.245개의 VM 모두에서 변경하여 총 XNUMX TPS를 제공했습니다.
대기 시간을 보면 모든 VM이 일관된 3ms 응답 시간으로 수행되었습니다.
시스벤치 성능
각각의 시스벤치 VM은 92개의 vDisk로 구성됩니다. 하나는 부팅용(~447GB), 하나는 사전 구축된 데이터베이스(~270GB), 세 번째는 테스트 중인 데이터베이스용(16GB)입니다. 시스템 리소스 관점에서 각 VM을 vCPU 60개, DRAM 740GB로 구성하고 LSI Logic SAS SCSI 컨트롤러를 활용했습니다. 로드 생성 시스템은 Dell RXNUMXxd 서버입니다.
Dell PowerEdge R740xd 가상화 MySQL 4 노드 클러스터
- 클러스터에서 8GHz용 Intel Xeon Gold 6130 CPU 269개(노드당 2.1개, 16GHz, 22코어, XNUMXMB 캐시)
- 1TB RAM(노드당 256GB, 16GB x 16 DDR4, CPU당 128GB)
- Emulex 4GB 듀얼 포트 FC HBA 16개
- Mellanox ConnectX-4 rNDC 4GbE 듀얼 포트 NIC 25개
- VMware ESXi vSphere 6.5/엔터프라이즈 플러스 8-CPU
Sysbench 테스트 구성(VM당)
- 센트OS 6.3 64비트
- 스토리지 공간: 1TB, 800GB 사용
- 페르코나 XtraDB 5.5.30-rel30.1
- 데이터베이스 테이블: 100
- 데이터베이스 크기: 10,000,000
- 데이터베이스 스레드: 32
- RAM 버퍼: 24GB
- 시험 시간: 3시간
- 2시간 동안 32개 스레드 사전 조정
- 1시간 32 스레드
Sysbench의 경우 8개, 16개 및 32개의 VM을 포함하여 여러 VM 세트를 테스트했습니다. 이 테스트의 목적은 지정된 어레이가 중간에서 최대 포화 워크로드에서 얼마나 잘 작동하는지 보여주기 위한 것입니다. 성능 결과에 관한 모든 리뷰가 만족스럽지는 않지만 NetApp EF570은 바로 그러한 결과를 보여주었습니다. 8VM 부하에서 EF570은 22,951 TPS를 측정하여 최고점에서 대부분의 어레이를 능가했습니다. 최대 16개의 VM을 선택하는 EF570은 속도가 느려지는 기미를 보이지 않고 놀라운 39,635 TPS까지 증가했습니다. 하지만 32VM에서 EF570은 최대 57,347TPS까지 올라가는 괴물에 불과했고 I/O 부족 때문이 아니라 8개 호스트에서 CPU를 완전히 포화 상태로 만들었습니다. EF570이 빠르다는 것은 가볍게 표현하는 것입니다. 그것의 괴물.
8, 16 및 32VM 워크로드의 평균 대기 시간을 살펴보면 NetApp EF570이 계속해서 우리에게 깊은 인상을 남겼습니다. 8VM에서 낮은 11.15ms를 측정했으며 부하가 16VM에서 12.98ms로 증가했을 때 증가했습니다. 대부분의 어레이가 힘을 잃기 시작하는 32vms에서 EF570은 17.98ms에 불과했습니다.
99번째 백분위수 대기 시간을 보면 NetApp EF570의 진가가 빛나기 시작했습니다. 강력한 처리량을 유지할 수 있었을 뿐만 아니라 피크 대기 시간이 매우 낮았습니다. 이것은 이 어레이가 I/O를 파괴하더라도 예측 가능하고 일관된 방식으로 그렇게 한다는 것을 보여줍니다.
VDBench 워크로드 분석
스토리지 어레이를 벤치마킹할 때는 애플리케이션 테스트가 가장 좋고 합성 테스트가 두 번째입니다. 실제 워크로드를 완벽하게 나타내지는 못하지만 합성 테스트는 경쟁 솔루션 간의 비교를 쉽게 수행할 수 있는 반복성 요소로 스토리지 장치의 기준선을 만드는 데 도움이 됩니다. 이러한 워크로드는 "포 코너" 테스트, 공통 데이터베이스 전송 크기 테스트, 다양한 VDI 환경의 추적 캡처에 이르는 다양한 테스트 프로필을 제공합니다. 이러한 모든 테스트는 스크립팅 엔진과 함께 공통 vdBench 워크로드 생성기를 활용하여 대규모 컴퓨팅 테스트 클러스터에서 결과를 자동화하고 캡처합니다. 이를 통해 플래시 어레이 및 개별 저장 장치를 포함한 광범위한 저장 장치에서 동일한 작업 부하를 반복할 수 있습니다. 어레이 측면에서는 Dell PowerEdge R740xd 서버 클러스터를 사용합니다.
프로필 :
- 4K 임의 읽기: 100% 읽기, 128 스레드, 0-120% iorate
- 4K 임의 쓰기: 100% 쓰기, 64 스레드, 0-120% iorate
- 64K 순차 읽기: 100% 읽기, 16 스레드, 0-120% iorate
- 64K 순차 쓰기: 100% 쓰기, 8개 스레드, 0-120% 속도
- 합성 데이터베이스: SQL 및 Oracle
- VDI 전체 클론 및 연결된 클론 추적
4K 피크 읽기 성능에서 EF570은 1밀리초 미만의 대기 시간으로 시작하여 약 510K IOPS에서 1ms 이상 잠시 중단되었다가 거의 1만 IOPS까지 1.03ms 미만으로 떨어졌습니다. 어레이는 약 2만 IOPS로 정점에 이르렀고 지연 시간은 XNUMXms였습니다.
4K 임의 쓰기 성능의 경우 EF570은 200ms를 깨기 전에 1K IOPS를 조금 넘었습니다. EF570은 223ms의 대기 시간으로 약 4K IOPS에서 정점에 도달한 후 약간 떨어졌습니다.
64K 순차 워크로드로 전환한 EF570은 약 190K IOPS 또는 12GB/s까지 247,692밀리초 미만의 지연 시간 성능을 보인 후 15.5ms의 지연 시간에서 2.1 IOPS 또는 XNUMXGB/s로 정점에 도달했습니다.
64K 쓰기의 경우 AFA는 거의 끝날 때까지 밀리초 이하 또는 80K IOPS(5GB/s)의 지연 시간을 가졌습니다. 어레이는 80,675ms의 대기 시간에서 5.04 IOPS 또는 3.2GB/s로 정점을 찍었습니다.
SQL 워크로드로 이동하면 EF570은 1,029,910μs의 대기 시간과 함께 818 IOPS에서 정점을 찍을 수 있었습니다.
SQL90-10의 경우 어레이는 876,833μs의 대기 시간과 함께 957 IOPS로 정점을 찍었습니다.
SQL 80-20은 1 IOPS의 최고 성능과 740,691ms의 대기 시간으로 최고에 가까운 1.2ms를 넘는 최초의 SQL 테스트였습니다.
다음은 Oracle 워크로드였습니다. 다시 EF570은 1 IOPS의 최고 성능과 721,615ms의 대기 시간으로 최고에 가까운 1.35ms를 넘었습니다.
Oracle 90-10은 전체적으로 875,567 IOPS의 최고 점수와 675μs의 대기 시간으로 XNUMX밀리초 미만의 대기 시간 성능을 보였습니다.
Oracle 80-20은 738,238 IOPS의 최고 점수와 808μs의 대기 시간으로 XNUMX밀리초 미만의 대기 시간 성능을 계속 유지했습니다.
다음으로 VDI 클론 테스트인 Full and Linked로 전환했습니다. VDI 전체 복제 부팅의 경우 EF570은 835ms 미만에서 약 1K IOPS를 달성했으며 841,945ms의 대기 시간으로 1.2 IOPS에서 정점에 도달했습니다.
VDI FC 초기 로그인을 통해 EF570은 250ms를 깨기 전에 1K IOPS에 도달했습니다. 262,141ms의 대기 시간과 함께 3.3 IOPS로 정점을 찍었습니다.
VDI FC 월요일 로그인의 경우 EF570은 약 300K IOPS까지 밀리초 미만의 지연 시간을 가졌고, 331,146ms의 지연 시간으로 최고 1.5 IOPS에 도달했습니다.
VDI LC 부트의 경우 EF570은 최고 점수 519,975 IOPS와 980μs의 대기 시간으로 전체적으로 밀리초 미만의 대기 시간을 가졌습니다.
VDI LC 초기 로그인은 다시 한 번 대기 시간이 1μs의 대기 시간과 함께 269,995 IOPS의 최고 점수로 944ms 미만으로 유지되는 것을 확인했습니다.
VDI LC 월요일 로그인의 경우, EF570은 대략 1K IOPS까지 270ms 미만의 대기 시간을 유지할 수 있었고 299,663ms의 대기 시간으로 최대 1.7 IOPS를 기록했습니다.
결론
NetApp EF570은 미드레인지를 겨냥한 2U 올플래시 어레이입니다. EF570은 가용성이 높고 쉽게 확장할 수 있는 모듈식 설계와 함께 제공됩니다. 어레이의 매우 흥미로운 측면은 성능입니다. NetApp은 EF570이 최대 백만 IOPS 및 최대 21GB/s 순차 대역폭에 도달할 수 있다고 말합니다. 회사는 계속해서 이 모든 것이 100μs 미만에서 수행될 수 있다고 말합니다. 관리 및 확장의 고가용성 및 단순성과 결합된 이 고성능은 가격 대비 성능 렌즈를 통해 볼 때 매력적인 옵션이 됩니다.
애플리케이션 성능을 살펴보면 NetApp EF570은 우수한 성능에서 우리 연구실의 새로운 기록 설정에 이르기까지 다양합니다. SQL Server 성능은 EF570이 Benchmark Factory에서 측정한 대로 3개의 SQL VM에서 570ms를 측정하여 매우 엄격하고 일관된 성능을 발휘할 수 있음을 보여주었습니다. 확장된 Sysbench 벤치마크에서 EF8은 매우 높은 점수를 받아 어레이에서 사용 가능한 I/O가 소진되기 전에 컴퓨팅 클러스터를 포화 상태로 만들었습니다. 22.9VM에서 우리는 16K TPS를 측정했거나 테스트한 대부분의 플래시 어레이가 소진되기 시작하는 대략적인 지점을 측정했습니다. 570VM에서 EF39.6은 0K TPS로 밀어붙여 RAID32 NVMe-oF 플래시 어레이에서 측정된 Sysbench 테스트에서 이전 최고 기록을 넘어섰습니다. 57.3VM에서 우리는 기록적인 99K TPS 결과로 테스트 클러스터의 정점에 도달했습니다. 이 모든 항목에서 평균 및 XNUMX번째 백분위수 대기 시간은 낮고 매끄러웠습니다. 말할 필요도 없이 우리는 감동했습니다.
VDBench 결과에서 EF570은 1K 읽기(지연 시간이 4ms에 불과한 1.03만 IOPS) 및 SQL(2μs에 불과한 1,029,910 IOPS)을 포함한 몇 가지 벤치마크에서 818만 IOPS를 돌파하는 강력한 성능을 보였습니다. 순차 측면에서 EF570은 각각 15.5ms 및 5.04ms 대기 시간에서 2.1GB/s 읽기 및 3.2GB/s 쓰기를 달성할 수 있었습니다. 어레이에는 호출할 가치가 있는 몇 가지 다른 고성능/낮은 대기 시간 수치가 있습니다. SQL 90-10에서는 877K IOPS(957μs), SQL 80-20에서는 741K IOPS(1.2ms), Oracle에서는 722K IOPS(1.35ms), Oracle 90-10에서는 876K를 등록했습니다. IOPS(675μs), Oracle 80-20의 경우 738K IOPS(808μs), VDI FC 부트의 경우 842K IOPS(1.2ms), VDI LC 부트의 경우 520K IOPS(980μs)를 기록했습니다.
NetApp은 EF570을 중견 시장을 목표로 하고 있지만 그 주된 이유는 확장성 때문입니다. 일반적으로 중간 시장을 생각할 때 이 용어는 작업을 수행하기에 "충분히 좋은" 가격 가치와 성능에 대한 비전을 불러일으킵니다. 여기서 명확히 합시다. EF570은 중간 시장 가격을 지닐 수 있지만 실험실에서 본 모든 것을 압도하는 엔터프라이즈급 성능 프로필을 제공합니다. 또한 일부 테스트(32VM Sysbench)에서 컴퓨팅 클러스터가 570위를 차지했으며, 이는 아마도 더 많은 성능을 가질 수 있음을 의미합니다. 대기 시간과 가용성이 비용을 의미하는 분석 및 새로운 AI 스타일 사용 사례와 같은 까다로운 블록 스토리지 워크로드의 경우 해당 작업에 맞게 설계된 스토리지 도구를 갖추는 것이 중요합니다. NetApp EFXNUMX은 이러한 워크로드를 위한 완벽한 솔루션으로, 지금까지 본 것 중 가장 빠른 방법으로 인텔리전스를 제공하기 위해 까다로운 데이터베이스를 제출해야 합니다.
