Backblaze와 WEKA는 자사 플랫폼 두 가지를 결합하여 AI 파이프라인을 구축하는 데 있어 호환성을 검증했습니다. WEKA NeuralMesh 는 GPU에 데이터를 공급하는 성능 계층으로, Backblaze B2 클라우드 스토리지는 나머지 모든 데이터를 저장하는 용량 계층으로 구성됩니다. 통합, 규모 조정, 튜닝 및 테스트가 이미 완료되었으므로 AI 인프라 팀은 자체적으로 구축 및 검증할 필요 없이 검증된 2계층 구조를 배포할 수 있습니다. B2 클라우드 스토리지와 NeuralMesh의 인증 절차가 진행 중이며, 양사 모두 고객이 언제든지 문의하여 시작할 수 있다고 밝혔습니다.
두 개의 계층, 하나의 데이터 수명 주기
훈련 데이터 세트, 미디어 라이브러리, 소스 파일과 같은 가공되지 않은 데이터는 B2에 저장됩니다. 데이터 세트가 성능에 민감한 작업의 일부가 되면 NeuralMesh에서 사용할 수 있게 되고, 거기서 가속기로 전달됩니다. 체크포인트, 출력 또는 기타 자산이 더 이상 고성능 액세스가 필요하지 않게 되면 B2로 돌아가 나중에 다시 실행하거나 작업이 이전 단계로 복구되어야 할 때 다시 가져올 수 있습니다. 두 회사는 이를 GPU가 있는 곳에서는 속도를, 그 외 모든 곳에서는 용량을 우선시하는 방식으로 설명하며, 데이터는 액세스 패턴이 변경됨에 따라 두 영역 사이를 이동합니다.
“AI 팀은 GPU에 충분한 데이터를 공급하고, AI 데이터 워크플로우 전체를 지원할 수 있는 성능과 용량을 갖춘 인프라가 필요합니다. WEKA는 성능 부문에서 탁월한 역량을 보유하고 있으며, 용량 스토리지 분야에서도 거의 20년 동안 같은 노력을 기울여 왔습니다.”라고 Backblaze의 CEO인 Gleb Budman은 말했습니다. WEKA의 최고 전략 책임자인 Nilesh Patel은 반대 방향에서도 동일한 압박이 가해지고 있다고 설명했습니다. “AI 워크로드는 스토리지에 두 가지 방향으로 동시에 부담을 주고 있습니다. GPU는 지속적인 데이터 공급을 위해 마이크로초 단위의 데이터 접근이 필요하지만, 데이터셋과 체크포인트는 엑사바이트 규모로 증가하고 있습니다. Backblaze와의 협력을 통해 고객은 자체적으로 통합 구축 및 테스트 비용을 들이지 않고도 검증된 솔루션을 활용할 수 있습니다.”
B2 대비 객체 스냅 테스트 완료
또 다른 흥미로운 기능은 NeuralMesh의 Snap-to-Object 기능입니다. 양사는 Backblaze와의 테스트를 완료했다고 밝혔습니다. Snap-to-Object는 NeuralMesh 파일 시스템의 일관된 스냅샷을 객체 스토어에 저장하며, Backblaze(B2)를 대상으로 할 경우, 해당 스토어는 원시 데이터와 사용 후 체크포인트가 저장되는 것과 동일한 용량 계층에 속합니다. 즉, 학습 실행 중에 팀은 작업 도중에 임시방편으로 문제를 해결하거나 스냅샷을 위한 별도의 저장소를 관리할 필요 없이 B2에서 체크포인트로 되돌리거나 저장된 추론 데이터를 복구할 수 있습니다. 경제적인 측면에서 보면, NeuralMesh 뒤에는 스냅샷과 보호 대상 데이터를 함께 저장하는 클라우드 객체 계층이 용량 단위로 가격이 책정됩니다.
Backblaze는 올해 내내 네오클라우드 플랫폼용 B2 Neo 제품 부터 성능 벤치마킹 프로그램에 이르기까지 B2를 AI용 용량 계층으로 포지셔닝해 왔으며, WEKA는 GPU 측면에서 성능 등급 파트너를 확보하게 되었습니다.
아마존