퀀텀은 ActiveScale 객체 스토리지 플랫폼을 업데이트하여 Glacier급 아카이브 계층의 콜드 데이터 접근성을 크게 향상시켰습니다. 이번 업데이트는 퀀텀의 특허받은 삭제 코딩된 객체-온-테이프(OBT) 설계를 기반으로 테이프 기반 콜드 스토리지를 위한 독점적인 범위 복원 기능을 제공합니다.
이러한 변경 사항은 소규모 객체 성능에 최적화된 새로운 복원 엔진과 함께 테이프 아카이브를 느리고 오프라인 스토리지에서 AI, 분석 및 고성능 컴퓨팅에 적합한 반응형 API 접근 가능 데이터 레이크로 전환합니다.
ActiveScale은 이제 고객이 전체 파일을 복원하는 대신 대용량 객체에서 필요한 바이트 범위만 검색할 수 있도록 지원합니다. 이러한 선택적 복원은 콜드 스토리지의 경제성과 경험을 혁신합니다. AI 학습, 데이터 검증 또는 규정 준수 쿼리를 수행하는 팀은 전체 객체 검색과 관련된 지연 및 리소스 비용 없이 작업 완료에 필요한 정확한 세그먼트에 액세스할 수 있습니다. 대기 시간과 이그레스(egress) 영향이 감소하여 워크플로 속도가 향상되고 컴퓨팅 클러스터와 네트워크 전반의 인프라 효율성이 향상됩니다. Quantum은 이 기능이 테이프 기반 콜드 스토리지를 위한 ActiveScale만의 맞춤형 S3 Glacier 확장 기능으로, 아카이브 사용성 측면에서 오랫동안 제기되어 온 문제를 해결한다고 밝혔습니다.
Ranged Restore 지원은 지능형 일괄 처리 및 요청 순서 지정 기능을 통해 소규모 객체 작업의 처리량을 5배 이상 향상시키는 새로운 복원 엔진입니다. 많은 AI 및 분석 작업은 레이블 샤드, 피처 인덱스 또는 규정 준수 메타데이터 스캔과 같은 소규모 파일에 대한 대량 액세스를 요구합니다. 기존에는 콜드 티어가 이러한 작업의 지연을 유발했습니다. ActiveScale의 성능 향상을 통해 소규모 객체 복원이 더욱 빠르게 수행되어 반복 주기가 단축되고, 작업 동시성이 향상되며, GPU 및 CPU 리소스 활용도가 향상됩니다. 결과적으로 콜드 티어는 특정 대상 검색을 위한 웜 분석 계층처럼 기능합니다.
퀀텀 경영진은 이번 업데이트를 아카이브에서 가치 추출을 향상시키는 방안으로 제시합니다. 퀀텀 CEO인 위그 메이라스는 핵심 문제는 아카이브의 성장 여부가 아니라, 조직이 교육 및 분석에 적합한 데이터에 얼마나 빨리 접근할 수 있느냐는 것이라고 강조합니다. 그는 데이터를 얻기 위해 몇 시간 또는 며칠씩 기다리는 것은 생산성을 저해하고 비용을 증가시킬 수 있다고 지적합니다. 새로운 ActiveScale 기능은 대용량 장기 아카이브의 접근성을 높이고 엑사바이트(EB) 수준에서 AI를 지원할 수 있도록 지원합니다.
최고 제품 책임자(CPO)인 제프 배럴(Geoff Barrall)은 콜드 데이터를 더 이상 오프라인으로 간주해서는 안 된다고 덧붙였습니다. ActiveScale은 기존 Glacier급 스토리지의 한계를 극복하여 테이프 스토리지를 프로그래밍 방식으로 쿼리하고 고처리량 데이터 워크플로에 통합할 수 있는 빠르고 표준 기반의 자산으로 전환합니다.
차별화는 다음을 포함한 세 가지 주요 측면에 달려 있습니다.
- 바이트 범위 수준에서 선택적으로 검색하면 대용량 객체의 첫 번째 바이트까지 걸리는 시간이 단축되고 불필요한 데이터 이동이 최소화되어 이탈, 컴퓨팅, 에너지 비용이 낮아집니다.
- 소규모 객체 성능의 향상은 AI 및 HPC 파이프라인의 심각한 문제점을 해결합니다. 이 파이프라인에서는 역사적으로 수백만 개의 소규모 파일에 액세스하는 것이 보관 계층 스토리지의 지연 시간과 충돌했습니다.
- 이 설계는 S3 호환성을 유지하면서도 Quantum의 테이프 객체 접근 방식에 고유한 방식으로 Glacier 의미론을 확장하여 고객이 애플리케이션을 재설계하지 않고도 콜드 티어 액세스를 현대화할 수 있도록 합니다.
ActiveScale의 삭제 코딩된 객체 테이프 설계의 핵심은 매우 중요합니다. 삭제 코딩은 미디어 전반의 데이터 내구성을 보호하는 동시에 복원 작업 중 병렬 처리를 가능하게 합니다. ActiveScale은 읽기 및 정렬 요청을 지능적으로 관리하여 테이프 동작을 최적화함으로써 기계적 오버헤드를 줄이고 순차적 미디어를 선택적이고 처리량이 높은 검색에 사용 가능한 계층으로 전환합니다. 그 결과, 실시간 또는 거의 실시간 파이프라인에 참여하여 훈련 작업을 지원하고, 기능 저장소를 채우고, 테이프와 관련된 기존 운영 비용 없이 eDiscovery 및 규정 준수 요청을 충족할 수 있는 콜드 티어가 생성됩니다.
이러한 업데이트는 데이터 엔지니어링 및 MLOps 전반의 생산성 향상을 목표로 합니다. 더욱 빠르고 타깃에 맞춘 복원을 통해 팀은 진행 중인 작업에 최소한의 방해만 가하면서 데이터 세트를 검증하고, 업데이트된 샘플을 사용하여 학습을 재실행하고, 감사를 수행할 수 있습니다. 이전에는 웜 티어에서 데이터를 스테이징해야 했던 워크플로우가 이제 여러 시나리오에서 중간 단계를 건너뛸 수 있어 파이프라인을 간소화하고 인프라 혼잡을 줄일 수 있습니다. 수 페타바이트에서 엑사바이트 규모의 아카이브를 관리하는 조직의 경우, 이러한 통합을 통해 총소유비용(TCO)을 절감하는 동시에 장기적인 데이터 보존 비용을 관리할 수 있습니다.
거버넌스 및 위험 관점에서 아카이브를 "쿼리 준비" 상태로 만드는 것은 데이터 가용성, 계보 및 재현성에 대한 증가하는 기대를 충족합니다. 선택적 액세스와 향상된 처리량을 통해 기업은 내부 마감일, 규제 요건 및 AI 테스트 일정에 필요한 대응력을 충족하는 동시에 비용 효율적인 콜드 티어에 데이터를 저장할 수 있습니다. 또한 이러한 접근 방식은 액세스되는 데이터 양을 제한하여 검색 위험을 줄이고, 이를 통해 유출 위험을 줄이며 액세스 제어를 간소화합니다.
퀀텀은 이러한 역량을 통해 ActiveScale이 콜드 데이터를 위한 다재다능하고 미래 지향적인 플랫폼으로서의 입지를 강화할 수 있을 것으로 보고 있습니다. ActiveScale은 아카이브 계층 스토리지를 빠르고 선택적으로 접근 가능한 계층으로 전환함으로써 기업이 데이터의 기간이나 양에 관계없이 데이터의 가치를 극대화할 수 있도록 지원합니다. 플랫폼의 Glacier 호환 API와 고유한 테이프 인식 확장 기능은 다른 플랫폼으로 전환하지 않고도 콜드 스토리지를 AI 및 분석에 통합할 수 있는 실용적인 방법을 제공합니다.
이러한 개선 사항은 지금 바로 사용할 수 있습니다.
아마존