StorageReview를 꾸준히 구독하시는 분들이라면 저희가 스토리지 하드웨어를 얼마나 철저하게 테스트하는지 잘 아실 겁니다. 저희 연구실에서는 소비자용 SSD부터 대규모 엔터프라이즈 시스템까지 모든 종류의 스토리지 제품을 테스트합니다. 플래시 스토리지를 사용하는 모든 제품에 대해 벤치마킹 전에 반드시 수행해야 하는 중요하지만 눈에 띄지 않는 단계가 하나 있습니다. 바로 사전 조건화입니다.
KIOXIA 7.68TB XD7P SSD
사전 조건화(Preconditioning)는 드라이브가 실제 사용 환경과 유사하게 작동하도록 준비하는 과정입니다. 새 제품을 상자에서 꺼냈을 때처럼 완전히 비어 있는 상태가 아니라, 실제 환경에서 작동하는 것처럼 준비하는 것이죠. 최신 SSD는 가비지 컬렉션, 웨어 레벨링, 백그라운드 트리밍, NAND 블록 관리와 같은 작업을 끊임없이 처리합니다. 이러한 백그라운드 프로세스가 안정적인 상태에 도달하기 전까지는 성능이 겉보기에는 좋아 보이거나, 반대로 매우 불안정하게 나타날 수 있습니다. 이러한 예상치 못한 상황을 방지하고 지속적인 성능을 측정하기 위해, 실제 사용 환경을 모방한 워크로드를 사용하여 드라이브를 사전 조건화합니다. 이는 선택 사항이 아니라, 의미 있는 벤치마크를 수행하고 SNIA 솔리드 스테이트 스토리지 성능 테스트 사양(PTS)을 준수하는 데 필수적인 요소입니다.
대규모 환경에서의 사전 조건화 문제
기존의 접근 방식은 오랫동안 효과적이었지만, SSD는 변화하고 있습니다. 한때 데이터 센터의 전유물이었던 128TB, 256TB 이상의 대용량 드라이브가 빠르게 새로운 표준으로 자리 잡고 있습니다. 이러한 대용량 드라이브는 AI, 분석 및 하이퍼스케일 스토리지에 새로운 가능성을 열어주지만, 동시에 시간이라는 심각한 병목 현상도 드러냅니다.
이러한 용량에서는 기존의 사전 준비 과정이 매우 느립니다. 128TB SSD를 완전히 채우고, 충방전 과정을 거쳐 실제 안정 상태에 도달하는 데 144시간 이상이 걸릴 수 있습니다. 즉, 단 한 번의 "실제" 성능 테스트를 시작하기도 전에 드라이브당 6일 동안 지속적으로 고강도 I/O 작업을 수행해야 한다는 뜻입니다.
하이퍼스케일 고객의 경우, 지연을 유발하는 드라이브 플릿을 검증하는 것은 모든 것을 느리게 만듭니다.
- 제품 리뷰 콘텐츠
- 배포 일정
- 펌웨어 및 기능 검증
- 지속적인 품질 및 회귀 테스트
저희 StorageReview에서는 최신 초고용량 SSD를 테스트할 때 이로 인해 리뷰 주기가 며칠씩 늘어납니다.
Sprandom을 소개합니다: Sandisk의 새로운 접근 방식
샌디스크는 이러한 병목 현상을 정면으로 해결하기 위해 널리 사용되는 Flexible IO Tester(FIO) 도구에 대한 오픈 소스 기여인 Sprandom을 출시했습니다. Sprandom은 길고 무차별적인 쓰기 주기와 여러 번의 패스에 의존하는 대신 보다 목표 지향적인 접근 방식을 취합니다.
Sprandom은 계산된 의사 난수 쓰기 패턴을 사용하여 SSD를 원하는 내부 상태로 단 한 번의 패스로 거의 최대 속도로 구동하도록 설계되었습니다. 다시 말해, 단순히 드라이브를 채우는 것이 아니라 지능적으로 채워 실제 사용 환경에서 예상되는 것과 같은 내부 조건(조각화, 가비지 컬렉션 활동, 메타데이터 분산 등)을 생성함으로써, 며칠씩 시간을 낭비하지 않고 최적의 상태를 만들어냅니다.
저희 테스트 결과와 샌디스크가 공개한 수치를 보면 그 효과는 매우 큽니다.
- 최대 90% 시간 절약: 이전에는 128TB SSD에서 144시간 이상 걸리던 작업이 이제 6시간 남짓 만에 완료될 수 있습니다.
- 처리량 증가, 대기 시간 감소: Sprandom은 매우 효율적인 패턴으로 SSD를 최대 쓰기 속도에 가깝게 구동함으로써 며칠이 걸리던 작업을 일반적인 근무 시간 내에 완료할 수 있도록 바꿔줍니다.
이것이 AI 및 데이터 집약적 워크로드에 중요한 이유는 무엇일까요?
이것은 단순히 "멋진 엔지니어링 기술"이 아닙니다. 대용량 플래시 메모리와 AI 규모 데이터 세트가 넘쳐나는 세상에 사는 모든 사람에게 의미 있는 변화입니다.
- AI 학습 및 추론: 스토리지에서 예측 가능하고 지속적인 성능을 요구하십시오. 제대로 준비되지 않은 드라이브는 실제 운영 환경에서 제대로 작동하지 않는 과장되거나 불안정한 성능 수치를 보일 수 있습니다.
- 데이터 집약적 워크로드 분석, 스트리밍, 로그 처리 및 대규모 백업과 같은 작업에는 시스템 규모를 적절하게 조정하고 과잉 또는 부족 프로비저닝을 방지하기 위해 안정적인 성능 특성이 필요합니다.
- 신속한 자격 검증 주기: 이것이 일반적인 추세가 되고 있습니다. 인프라 팀은 드라이브 사전 준비에 거의 일주일씩을 허비할 여유가 없습니다.
Sprandom은 사전 처리 시간을 최대 90%까지 단축하여 전체 파이프라인이 SSD 용량 및 워크로드 복잡성의 급속한 증가에 발맞춰 나갈 수 있도록 지원합니다.
샌디스크 스프랜덤의 주요 이점
샌디스크의 스프랜덤 방식은 다음과 같은 몇 가지 중요한 이점을 제공합니다.
- 시간 절약 : 사전 조건 설정 기능은 최대 90% 더 빠른 속도를 제공하여 며칠이 걸리던 사전 조건 설정 작업을 몇 시간 만에 완료할 수 있도록 합니다.
- 표준화된 접근 방식: NVMe, SAS 및 SATA SSD에서 모두 작동하므로 연구실, 벤더 및 기업에서 여러 사용자 지정 스크립트와 프로세스를 사용하는 대신 단일하고 일관된 방법론을 채택할 수 있습니다.
- 미래 대비: 128TB, 256TB 이상의 대용량 SSD를 염두에 두고 설계되었습니다. 드라이브 용량이 계속 증가함에 따라 Sprandom은 사전 준비 시간이 과도하게 늘어나는 것을 방지하고 그에 맞춰 확장됩니다.
- 산업 통합: Sprandom은 선도적인 스토리지 성능 테스트 도구인 FIO와 통합되므로 드라이브 공급업체, 하이퍼스케일러, OEM 및 당사와 같은 독립 테스트 연구소에서 널리 채택될 가능성이 높습니다.
수십 년 된 프로세스를 새롭게 재고하는 드문 시도
SSD 사전 조건화는 수십 년 동안 거의 변하지 않았습니다. 대량의 데이터를 기록하고 오랜 시간 기다린 후 테스트를 시작하는 방식이었죠. Sprandom은 이러한 프로세스를 획기적으로 개선한 최초의 기술 중 하나이며, AI 워크로드, 고밀도 플래시 메모리, 페타바이트 규모 시스템이 "기존" 테스트 방식의 한계를 넘어서고 있는 바로 이 시점에 등장하여 더욱 의미가 있습니다.
Sprandom은 사전 조건에 대한 더욱 혁신적이고 패턴 중심적인 접근 방식을 도입함으로써 테스트 방법론을 최신 SSD 설계 및 사용 패턴에 맞추는 데 도움을 줍니다. 용량이 기하급수적으로 증가함에 따라 도구 또한 그에 맞춰 발전해야 한다는 점을 인지하고 있습니다.
이것이 StorageReview(그리고 여러분)에게 의미하는 바는 무엇일까요?
StorageReview의 관점에서 Sprandom은 단순한 최적화 도구가 아니라, SSD 테스트와 관련된 모든 작업에 실질적인 가속 기능을 제공하는 도구입니다.
- 저희는 차량을 테스트 가능한 상태로 만드는 데 며칠씩 소요하지 않기 때문에 더 빠르게 리뷰를 제공해 드릴 수 있습니다.
- 내부 드라이브 상태가 정상 상태 조건을 더 정확하게 반영하므로 보다 일관되고 현실적인 성능 데이터를 얻을 수 있습니다.
- 이제 더 많은 드라이브와 구성, 특히 100TB 이상의 대용량 SSD를 테스트할 수 있습니다. 그렇지 않았다면 이러한 드라이브를 테스트하기 위해 연구실 일정을 일주일 단위로 잡아야 했을 것입니다.
더 넓은 시각으로 보면, 스프랜덤은 스토리지 업계에 더욱 필요한 것, 즉 데이터 센터 규모에서 실제 문제를 해결하는 개방적이고 실용적인 도구의 좋은 예입니다. 단순히 주변부에서 조금씩 개선하는 것에 그치는 것이 아니라 말이죠.
SSD의 성능이 지속적으로 향상되고 워크로드 요구 사항이 더욱 까다로워짐에 따라 사전 조건화는 과거에 머물러 있을 수 없습니다. Sandisk는 Sprandom을 통해 테스트 및 인증 파이프라인의 핵심 요소인 사전 조건화를 현대화하는 데 의미 있는 발걸음을 내디뎠습니다. 이는 드라이브 공급업체부터 기업, 리뷰어, 그리고 정확한 성능 데이터에 의존하는 최종 사용자까지 모두에게 궁극적으로 이익이 됩니다.
아마존