실행 중인 스토리지 혁신: 영화 및 TV 워크플로우 혁신

NAB 2024는 수만 명의 참석자가 미디어 및 엔터테인먼트 전문가를 위한 최신 기술을 배우기 위해 라스베거스 컨벤션 센터로 모여들면서 엄청난 성황으로 시작되었습니다. NAB의 수년 동안 한 테넌트는 변경된 적이 없습니다. 디지털 파일이 점점 더 중요해지고 있으며 팀은 데이터 센터와 현장 모두에서 해당 파일에 더 빠르게 액세스해야 합니다.

NAB 2024는 수만 명의 참석자가 미디어 및 엔터테인먼트 전문가를 위한 최신 기술을 배우기 위해 라스베거스 컨벤션 센터로 모여들면서 엄청난 성황으로 시작되었습니다. NAB의 수년 동안 한 테넌트는 변경된 적이 없습니다. 디지털 파일이 점점 더 중요해지고 있으며 팀은 데이터 센터와 현장 모두에서 해당 파일에 더 빠르게 액세스해야 합니다. 다행히도 M&E 워크로드와 관련된 복잡성을 해결할 수 있는 61.44TB SSD와 같은 기술이 크게 발전했습니다.

영화나 TV 쇼 작업은 데이터 센터에서 일반적으로 볼 수 있는 스트레스 수준과 스토리지에 대한 스트레스 수준이 다릅니다. 촬영장에 있는 팀은 재생을 위해 원본 영상에 즉시 액세스하고, VFX를 실시간으로 사전 시각화하고, 연속성을 확인하고, 트랜스코딩해야 합니다. 후자는 가장 저장 집약적입니다. 카메라에서 새로운 영상을 오프로드하면서 실시간보다 빠르게 영상을 처리하는 것은 드문 일이 아닙니다. 그런 다음 이러한 대용량 파일과 더 작은 프록시 파일을 포스트 하우스로 다시 전송하여 장기 스토리지 시스템에 수집하고 포스트 프로덕션 팀에서 사용할 수 있도록 해야 합니다.

현장 데이터 저장을 위한 CheetahRAID RAPTOR

이러한 지속적인 노력에서 창의적인 전문가를 돕기 위해 CheetahRAID는 현장 데이터 저장을 위한 완벽한 엣지 서버를 구성했습니다. 그만큼 치타레이드 랩터 각각 2개의 SSD를 지원하는 4개의 드라이브 캐니스터로 강조된 견고한 XNUMXU 짧은 깊이 서버입니다. 촬영 후에는 캐니스터를 분리해 우체국으로 배송해 빠른 섭취가 가능하다. 이 프로젝트의 경우 각 캐니스터에는 XNUMXx가 들어 있습니다. Solidigm P5336 61.44TB SSD, 놀라운 밀도를 제공합니다. 이는 캐니스터당 거의 250TB에 달하는 원시 플래시입니다.

솔루션은 다음을 활용합니다. Graid SR-1010 GPU 기반 RAID 카드 스토리지에 대한 고속 액세스를 가능하게 하는 관련 소프트웨어가 포함됩니다. Graid 카드는 대부분의 RAID 관리를 서버 CPU에서 분리하여 더 중요한 작업에 사용할 수 있도록 하기 때문에 이는 매우 중요합니다. CheetahRAID 서버 내부의 AMD EPYC 7003 프로세서를 사용하면 애플리케이션 작업을 실행할 수 있도록 하는 것이 가장 중요합니다.

서버에는 전문 워크스테이션과 스토리지를 공유하기 위한 NVIDIA 100GbE 네트워킹 카드가 있습니다. 이 테스트를 위해 우리는 트윈을 페어링합니다. HP Z4 랙 G5 랙 워크스테이션, 각각 서버에 직접 연결된 100GbE NIC가 있습니다. 이를 통해 각 워크스테이션에 대해 약 12.5GB/s의 이론적 처리량을 달성할 수 있습니다. 놀랍게도 각 시스템에서는 거의 XNUMX/XNUMX 페타바이트의 스토리지를 사용할 수 있습니다.

그러나 각 워크스테이션에 그 정도의 속도를 안정적으로 제공하려면 데이터 이동뿐만 아니라 이 규모의 데이터 이동을 처리할 수 있는 강력한 프로토콜이 마련되어 있어야 합니다. 이를 위해 시스템은 Tuxera의 Fusion File Share를 사용합니다. Fusion File Share를 사용하면 Linux 기반 CheetahRAID 스토리지 서버가 워크스테이션에 SMB 공유를 제공할 수 있습니다. SMB 서버인 Samba의 원래 Linux 구현보다 훨씬 빠릅니다. 그리고 이는 단지 원시 처리량뿐만이 아닙니다. 편집 프로세스는 대기 시간에 훨씬 더 민감하며, 사소한 문제라도 편집 프로그램에 충돌을 일으킬 수 있습니다.

왜 Fusion 파일 공유를 해야 할까요?

Tuxera의 Fusion File Share는 네트워크를 통해 구조화되지 않은 데이터 또는 파일 기반 데이터에 대한 액세스를 제공하는 확장 가능한 고성능 분산 파일 시스템입니다. 이는 퍼블릭 클라우드 PaaS(Platform-as-a-Service) 제품, 소프트웨어 정의 스토리지(SDS) 솔루션, 고성능 컴퓨팅(HPC) 애플리케이션 및 엔터프라이즈급 네트워크에 Microsoft의 SMB(Server Message Block) 프로토콜에 대한 지원을 제공합니다. -연결형 스토리지(NAS). Fusion은 까다로운 조직 요구 사항에 맞게 업데이트된 보안 및 SMB 기능을 모두 갖추고 있습니다.

Tuxera의 Fusion File Share는 고성능과 확장성에 중점을 두고 설계된 Samba와 같은 기존 SMB 서버 솔루션의 대안으로 돋보입니다. 모듈식 및 다중 스레드 아키텍처는 I/O 처리량을 향상시키고, CPU 사용량을 최소화하며, 메모리 공간을 줄이고, 여러 연결을 동시에 관리하도록 지원합니다. Fusion은 SMB 다중 채널, 압축, RDMA(원격 직접 메모리 액세스)를 통한 SMB를 활용하여 일반적인 병목 현상을 효과적으로 제거하고 높은 처리량, 짧은 대기 시간 및 효율적인 리소스 활용이 가장 중요한 솔루션을 제공합니다. RoCE(RDMA over Converged Ethernet) 또는 SMB Direct를 사용하면 데이터 패킷이 CPU 처리를 완전히 우회하여 지연 시간과 CPU 로드를 더욱 줄여 전반적인 성능을 향상시킬 수 있습니다.

Fusion의 확장성은 비즈니스의 변화하는 요구 사항을 충족하기 위해 SMB 및 파일 서버 노드를 동적으로 조정할 수 있는 파일 공유 확장 기능을 갖춘 핵심 강점 중 하나입니다. 이는 투명한 장애 조치와 지속적인 가용성을 통합하여 서버 오류나 유지 관리 활동 중에도 중단 없는 서비스를 보장하는 강력한 내결함성 프레임워크로 보완됩니다. 또한 이전 버전과 함께 최신 SMB 3.1.1 프로토콜에 대한 Fusion의 지원은 다양한 네트워크 설정 전반에 걸쳐 폭넓은 호환성과 상호 운용성을 보장합니다.

Fusion File Share는 데이터 관리에 대한 간편하고 안전한 접근 방식을 제공합니다. 할당량 지원을 통해 용량 계획을 용이하게 하고, 상세한 사용자 감사 및 액세스 로그를 제공하며, 시스템을 다시 시작하지 않고도 동적 공유 구성을 허용합니다. Kerberos, LDAP, NTLM을 포함한 다양한 인증 메커니즘을 지원하고 Windows ACL 및 Active Directory와 원활하게 통합되어 보안이 강화되고 관리가 용이합니다. 이 포괄적인 기능 세트는 Tuxera의 Fusion을 SMB 서버 솔루션에서 뛰어난 성능과 확장성을 원하는 조직을 위한 매우 안정적이고 효율적인 선택으로 자리매김합니다.

Samba 대 Fusion 파일 공유 성능

CheetahRAID RAPTOR 스토리지 서버는 단일 소켓 AMD EPYC Gen3 마더보드를 기반으로 구축되었으며 24GB DDR7443 RAM을 갖춘 256코어 4P CPU를 실행합니다. 서버에는 12개의 SSD(총 4개 SSD)의 스토리지를 수용하는 5336개의 캐니스터가 있습니다. 각 캐니스터 내부에는 61.44x Solidigm PXNUMX XNUMXTB SSD가 있습니다. 이러한 드라이브는 기본 NVMe 라이저를 통해 마더보드에 직접 NVMe 연결을 사용합니다.

서버는 RAID 관리를 위해 Graid SupremeRAID SR-1010을 사용합니다. 네트워크를 통해 데이터를 전송하기 위해 NVIDIA Connect-X 6 Dx 듀얼 포트 100GbE 카드가 있습니다. 이 카드는 두 포트에 걸쳐 결합된 최대 200Gb의 대역폭을 제공하여 네트워크 패브릭 전체에서 기본적으로 최대 20GB/s를 제공합니다. 스토리지 서버는 Ubuntu 22.04.4 LTS를 실행합니다.

우리는 두 개의 HP Z4 Rack G5 워크스테이션을 활용하여 테스트 환경에서 로드겐 역할을 했습니다. 각 시스템에는 16코어 Intel Xeon W5-2465X CPU와 128GB DDR5 RAM이 탑재되었습니다. 또한 NVIDIA RTX 5000 Ada GPU 및 NVIDIA ConnectX-6 Dx 100GbE NIC를 제공하여 비디오 편집 성능을 강화합니다. 시스템은 Windows Server 2022로 구성되었습니다. HP는 Windows Server 및 100GbE NIC를 직접 지원하지 않지만 이 테스트 중에 어떤 문제도 발생하지 않았다는 점은 주목할 가치가 있습니다.

고속 네트워크 패브릭은 100GbE 링크를 통해 CheetahRAID Raptor에 연결하여 각 클라이언트에 공유 스토리지에 대한 10GB/s 링크를 제공합니다. Graid 스토리지 풀에 12개의 61.44TB Solidigm P5336 QLC SSD를 사용하면 각 호스트와 613TB의 대용량 볼륨을 공유할 수 있습니다.

Tuxera Fusion 소프트웨어의 이점을 측정하기 위해 CheetahRAID 스토리지 호스트와 동시에 상호 작용하는 각 클라이언트의 1MB 순차 읽기 및 쓰기 대역폭과 대기 시간을 비교했습니다. 우리는 각 클라이언트에서 50개의 FIO 작업을 사용했으며 각각 400GB 파일의 성능을 측정했습니다. 전체적으로 4.15.13GB의 공간을 확보했습니다. 우리의 기준선은 TCP를 통한 Fusion에 대해 Samba 버전 XNUMX을 사용하고 다시 RDMA 오프로드를 활용하는 Fusion을 사용하여 측정되었습니다.

각 HP Z4 Rack G5 워크스테이션에 대한 Samba 읽기 대역폭 기준은 4GB/s 및 3.8GB/s로 측정되어 총 7.8GB/s입니다. 순차 쓰기 작업량에서는 2.4GB/s와 2.6GB/s로 총 5GB/s를 측정했습니다. 평균 읽기 대기 시간은 17.23ms로 측정되었으며 평균 쓰기 대기 시간은 26.6ms로 측정되었습니다.

Tuxera의 Fusion 소프트웨어로 전환하면 클라이언트 측에 아무런 변경도 필요하지 않은 채 막대한 영향을 미쳤습니다. TCP 프로토콜을 살펴보면 각 클라이언트에서 11.1GB/s와 11.1GB/s를 측정하여 읽기 대역폭이 22.2GB/s를 제공했습니다. 이는 각 호스트에 대한 100GbE 연결의 한계였습니다. 쓰기 대역폭의 경우 5.7GB/s와 5.8GB/s를 측정하여 총 11.5GB/s를 제공했습니다. 읽기 대기 시간은 평균 6ms였고 쓰기 대기 시간은 11.65ms였습니다.

TCP 외에도 Tuxera의 Fusion File Share는 RDMA도 지원합니다. 우리는 Fusion RDMA 프로토콜을 측정하여 각 호스트에 대해 11.6GB/s 및 11.6GB/s 또는 23.2GB/s의 읽기 대역폭을 제공했습니다. 쓰기 대역폭은 5GB/s와 5.2GB/s, 즉 총 10.2GB/s로 나타났습니다. 이 설정의 읽기 대기 시간은 5.8ms, 쓰기 대기 시간은 13.2ms였습니다.

Samba와 Fusion을 비교하면 Windows 클라이언트에서 엄청난 이점을 얻을 수 있습니다. 읽기 대역폭은 거의 3배 향상되었으며 대기 시간은 Samba가 제공한 것보다 33%에 불과했습니다. 쓰기 대역폭도 2.3배 향상되었으며 대기 시간은 Samba로 측정한 것의 44%에 불과했습니다.

M&E를 위한 거대한 SSD

Solidigm의 ​​61.44TB P5336과 같은 대용량 SSD는 고화질 비디오, 복잡한 그래픽, 광범위한 오디오 트랙과 같은 대용량 파일을 처리하는 데 속도와 안정성이 중요한 미디어 및 엔터테인먼트 산업에 상당한 이점을 제공합니다. 기존 HDD(하드 디스크 드라이브)와 달리 SSD는 더 빠른 데이터 액세스 시간, 뛰어난 읽기/쓰기 속도, 더 높은 초당 I/O 작업을 제공합니다. 이러한 성능 우위를 통해 보다 효율적인 편집, 렌더링 및 처리 작업 흐름이 가능해지며 대용량 미디어 파일을 로드하고 작업하는 데 걸리는 시간이 크게 단축됩니다. SSD에는 움직이는 부품이 없기 때문에 신뢰성과 내구성이 향상되어 기계적 오류 및 데이터 손실(가치 있는 미디어 콘텐츠를 처리할 때 중요한 문제)에 덜 취약해집니다.

미디어 제작 및 포스트 프로덕션 환경에서 고밀도 SSD를 채택하면 워크플로우가 간소화되어 품질이나 효율성을 저하시키지 않으면서 실시간 편집, 컬러 그레이딩 및 효과 처리가 가능해집니다. 이러한 드라이브는 4K 비디오의 여러 스트림을 원활하게 처리할 수 있으므로 프록시 파일이나 저해상도 자리 표시자가 필요하지 않습니다. 또한, 높은 저장 용량과 결합된 SSD의 컴팩트한 폼 팩터는 전체 프로젝트를 단일 드라이브 또는 최소 어레이에 저장할 수 있도록 하여 데이터 관리를 단순화하여 대용량 데이터에 더 쉽게 액세스하고 관리할 수 있게 해줍니다.

성능 및 용량 이점 외에도 대용량 SSD는 조용한 작동, 낮은 열 출력 및 에너지 효율성을 통해 보다 유익한 생산 환경에 기여합니다. 이러한 기능은 소음 최소화 및 냉각이 지속적으로 요구되는 밀집된 편집실이나 이동 편집실에서 특히 유용합니다. SSD의 에너지 효율성은 운영 비용을 절감할 뿐만 아니라 더 시원하고 조용한 작업 공간을 지원하여 미디어 전문가의 전반적인 생산성과 편안함을 향상시킵니다. 본질적으로 대용량 SSD는 미디어 및 엔터테인먼트 환경을 변화시켜 고품질 디지털 콘텐츠에 대한 수요 증가에 보조를 맞출 수 있는 더 빠르고 안정적이며 효율적인 생산 프로세스를 가능하게 합니다.

Bridge Digital은 열렬한 팬입니다.

CheetahRAID 장비를 사용한 자체 테스트에서 M&E 워크로드에 대한 인상적인 이점을 확인했습니다. 그러나 우리는 우리의 조사 결과가 현장 데이터 관리에 깊이 관여하고 있는 사람들과 일치하는지 확인하기 위해 업계의 또 다른 의견을 원했습니다. 우리는 Bridge Digital의 창립자이자 사장인 친구 Richie Murray에게 연락했습니다.

Bridge Digital은 디지털 비디오 워크플로우에 대한 전문 지식과 이를 더욱 효율적으로 만드는 기술을 갖춘 회사입니다.
이는 디지털 콘텐츠 제작자와 소유자가 비디오 자산을 효과적으로 생성, 관리, 배포 및 수익화할 수 있는 인프라를 구축하는 데 도움이 됩니다. Bridge Digital의 솔루션은 수집부터 최종 전달까지 전체 디지털 미디어 워크플로우를 포괄합니다.

Richie는 “성능, 호환성 및 지원 가능성은 고객의 최우선 순위입니다. 이것이 바로 이 솔루션이 함께 제공하는 것입니다. CheetahRAID 시스템이 제공하는 데이터 이동성은 업계에서 비교할 수 없을 정도로 뛰어나며 동시에 '선박 친화적'이 아닌 하드웨어의 속도와 안정성도 포기하지 않습니다.”

Richie는 계속해서 “Fusion File Share는 성능이 더 뛰어나고 기존 네트워크로 연결된 크리에이티브 워크스테이션과 완벽하게 호환됩니다. 더욱이 Graid의 RAID 구현과 결합된 대규모 Solidigm SSD는 모두 '이 솔루션은 부품의 합보다 더 크다'는 아이디어에 기여합니다. 결합된 솔루션은 현대 M&E 워크로드에 매우 매력적입니다.”

결론

Tuxera의 Fusion File Share 순차 속도는 특히 많은 카메라로 촬영할 때 영상을 오프로드하고 신속하게 확인하는 데 적합합니다. 빠른 스토리지는 현장 사용에 있어 낯설지 않으며 속도만으로는 큰 인상을 주지 않을 것입니다. 그러나 네트워크로 연결되고 속도 저하 없이 여러 시스템을 동시에 오프로드할 수 있는 능력은 Tuxera Fusion이 뛰어난 특별한 워크플로우입니다.

세트장에서 대부분의 시간을 제한하는 요인은 저장이 아니라 카메라 미디어이며, 이러한 병목 현상은 특히 두 자리 수의 카메라를 사용하기 시작할 때 문제가 됩니다. 여러 시스템에서 동시에 여러 카드를 독립 드라이브로 오프로드하는 것은 드문 일이 아니며, 그런 다음 동일한 마스터 드라이브 쌍으로 설정하거나 서버의 포스트 하우스에서 통합해야 합니다.

많은 시스템을 동일한 Tuxera Fusion 스토리지 풀에 네트워크로 연결하고 속도 저하 없이 동시에 오프로드하는 기능은 시간을 크게 절약해 줍니다. 더 중요한 것은 표준 NAS가 Samba를 활용하여 오프로드, 트랜스코딩, 관리, 검토 및 QC를 모두 동시에 수행할 경우 많은 클라이언트와 효율적으로 공유 스토리지를 확장하는 데 어려움을 겪게 된다는 것입니다.

우리는 이 솔루션이 현장에서 제공하는 이점을 다루었지만 복잡성이 거의 없다는 점을 이해하는 것도 중요합니다. CheetahRAID 서버, Solidigm QLC SSD, Graid Technologies RAID 관리 및 Tuxera 프로토콜은 모두 기본 Linux 설치에서 구성하기가 매우 쉽습니다. 전체 솔루션은 몇 시간이 아닌 몇 분 만에 통합되며 M&E 전문가를 위한 동급 최고의 기술을 집약합니다.

StorageReview에 참여

뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드