Inovação em armazenamento em ação: transformando fluxos de trabalho de filmes e TV

O NAB 2024 abriu com grande talento, com dezenas de milhares de participantes lotando o Centro de Convenções de Las Vegas para aprender sobre as mais recentes tecnologias para profissionais de mídia e entretenimento. Ao longo dos muitos anos de NAB, um locatário nunca mudou: os arquivos digitais estão se tornando mais significativos e as equipes precisam de acesso mais rápido a eles, tanto no data center quanto no campo.

Trabalhar em um filme ou programa de televisão impõe um nível de estresse diferente ao armazenamento do que normalmente é visto no data center. As equipes no set precisam de acesso instantâneo às imagens brutas para reprodução, pré-visualização de efeitos visuais em tempo real, verificação de continuidade e transcodificação. Este último é o que exige mais armazenamento. Não é incomum processar imagens mais rapidamente do que em tempo real enquanto descarrega imagens recentes das câmeras. Em seguida, esses arquivos enormes e suas contrapartes proxy menores devem ser transportados de volta para uma agência postal, onde podem ser ingeridos em sistemas de armazenamento de longo prazo e disponibilizados para a equipe de pós-produção.

CheetahRAID RAPTOR para armazenamento de dados no set

Para ajudar os profissionais criativos neste esforço contínuo, a CheetahRAID configurou o servidor de borda perfeito para armazenamento de dados no local. O ChitaRAID RAPTOR é um servidor robusto de 2U de curta profundidade destacado por três caixas de unidade que suportam quatro SSDs cada. Após as filmagens, os recipientes podem ser retirados e enviados para um posto de correio para ingestão rápida. Para este projeto, cada recipiente contém 4x SSD Solidigm P5336 61.44 TB, que proporcionam uma densidade incrível. São quase 250 TB de flash bruto por caixa.

A solução aproveita Placa RAID baseada em GPU Graid SR-1010 e software que o acompanha para permitir acesso de alta velocidade ao armazenamento. Isso é fundamental, pois a placa Graid retira a maior parte do gerenciamento RAID da CPU do servidor, liberando-o para trabalhos mais críticos. Com o processador AMD EPYC 7003 dentro do servidor CheetahRAID, tê-los disponíveis para executar tarefas de aplicação é de extrema importância.

O servidor possui uma placa de rede NVIDIA 100GbE para compartilhar o armazenamento com estações de trabalho profissionais. Para este teste, estamos emparelhando gêmeos Estações de trabalho em rack HP Z4 Rack G5, cada um com uma NIC de 100 GbE conectada diretamente ao servidor. Isso deve nos permitir atingir um rendimento teórico de cerca de 12.5 GB/s para cada estação de trabalho. Incrivelmente, quase três quartos de petabyte de armazenamento estão disponíveis para cada sistema.

No entanto, para fornecer essa velocidade de forma confiável a cada estação de trabalho, é necessário implementar um protocolo robusto que possa lidar não apenas com a movimentação de dados, mas também com a movimentação de dados nessa escala. Para isso, o sistema utiliza o Fusion File Share da Tuxera. O Fusion File Share permite que o servidor de armazenamento CheetahRAID, baseado em Linux, forneça compartilhamentos SMB para estações de trabalho. É significativamente mais rápido que a implementação Linux original do servidor SMB, Samba. E não se trata apenas do rendimento bruto; o processo de edição é muito mais sensível à latência, onde mesmo pequenos soluços podem travar os programas de edição.

Por que compartilhar arquivos Fusion?

O Fusion File Share da Tuxera é um sistema de arquivos distribuído escalável e de alto desempenho que fornece acesso a dados não estruturados ou baseados em arquivos em uma rede. Ele oferece suporte para o protocolo Server Message Block (SMB) da Microsoft para ofertas de plataforma como serviço (PaaS) de nuvem pública, soluções de armazenamento definido por software (SDS), aplicativos de computação de alto desempenho (HPC) e rede de nível empresarial armazenamento conectado (NAS). O Fusion possui todos os recursos atualizados de segurança e SMB para atender às exigentes necessidades organizacionais.

O Fusion File Share da Tuxera se destaca como uma alternativa às soluções tradicionais de servidores para pequenas e médias empresas, como o Samba, projetadas para focar em alto desempenho e escalabilidade. Sua arquitetura modular e multithread melhora o rendimento de E/S, minimiza o uso da CPU, reduz o consumo de memória e suporta o gerenciamento de múltiplas conexões simultaneamente. Ao aproveitar o multicanal SMB, a compactação e o SMB sobre RDMA (acesso remoto direto à memória), o Fusion elimina efetivamente os gargalos comuns, oferecendo uma solução onde alto rendimento, baixa latência e utilização eficiente de recursos são fundamentais. O RDMA over Converged Ethernet (RoCE), ou SMB Direct, também permite que os pacotes de dados ignorem totalmente o processamento da CPU, reduzindo ainda mais a latência e a carga da CPU para melhorar o desempenho geral.

A escalabilidade do Fusion é um de seus principais pontos fortes, com seu recurso de expansão de compartilhamento de arquivos permitindo o ajuste dinâmico de pequenas e médias empresas e nós de servidores de arquivos para atender às necessidades em constante mudança das empresas. Isto é complementado por uma estrutura robusta de tolerância a falhas, que incorpora failover transparente e disponibilidade contínua para garantir serviço ininterrupto, mesmo durante falhas de servidor ou atividades de manutenção. Além disso, o suporte do Fusion para o protocolo SMB 3.1.1 mais recente, juntamente com versões anteriores, garante ampla compatibilidade e interoperabilidade em várias configurações de rede.

O Fusion File Share oferece uma abordagem simplificada e segura para gerenciamento de dados. Ele facilita o planejamento de capacidade com suporte a cotas, fornece auditorias detalhadas de usuários e logs de acesso e permite configurações dinâmicas de compartilhamento sem reinicializações do sistema. Ele oferece suporte a vários mecanismos de autenticação, incluindo Kerberos, LDAP e NTLM, e integra-se perfeitamente ao Windows ACL e ao Active Directory para maior segurança e facilidade de gerenciamento. Este conjunto abrangente de recursos posiciona o Fusion da Tuxera como uma escolha altamente confiável e eficiente para organizações que buscam desempenho e escalabilidade superiores de suas soluções de servidor para pequenas e médias empresas.

Desempenho de compartilhamento de arquivos Samba vs. Fusion

O servidor de armazenamento CheetahRAID RAPTOR é construído em torno de uma placa-mãe AMD EPYC Gen3 de soquete único, executando uma CPU 24P de 7443 núcleos com 256 GB de RAM DDR4. O servidor possui três caixas que abrigam o armazenamento de quatro SSDs (12 SSDs no total). Dentro de cada caixa estão 4 SSDs Solidigm P5336 de 61.44 TB. Essas unidades usam conexões NVMe diretas com a placa-mãe por meio de risers NVMe nativos.

O servidor usa Graid SupremeRAID SR-1010 para gerenciamento RAID. Para canalizar dados pela rede, há uma placa 6GbE de porta dupla NVIDIA Connect-X 100 Dx. Esta placa oferece até 200 Gb de largura de banda combinada em ambas as portas, proporcionando até 20 GB/s dentro e fora da caixa em nossa estrutura de rede. O servidor de armazenamento executa Ubuntu 22.04.4 LTS.

Aproveitamos duas estações de trabalho HP Z4 Rack G5 para atuar como loadgens em nosso ambiente de testes. Cada sistema tinha CPUs Intel Xeon W16-5X de 2465 núcleos e 128 GB de RAM DDR5. Eles também oferecem GPUs NVIDIA RTX 5000 Ada e NICs NVIDIA ConnectX-6 Dx 100GbE para transformá-los em potências de edição de vídeo. Os sistemas foram configurados com Windows Server 2022. É importante notar que a HP não oferece suporte direto ao Windows Server e NICs 100GbE, mas nenhum deles apresentou problemas durante os testes.

A estrutura de rede de alta velocidade os conecta ao CheetahRAID Raptor por meio de links de 100 GbE, dando a cada cliente um link de 10 GB/s para armazenamento compartilhado. Com 12 SSDs Solidigm P61.44 QLC de 5336 TB em um pool de armazenamento Graid, poderíamos compartilhar um enorme volume de 613 TB com cada host.

Para medir o benefício do software Fusion da Tuxera, comparamos a largura de banda e a latência de leitura e gravação sequencial de 1 MB de cada cliente interagindo com o host de armazenamento CheetahRAID simultaneamente. Usamos quatro trabalhos FIO em cada cliente, cada um medindo o desempenho de um arquivo de 50 GB. No total, isso resultou em uma pegada de 400 GB. Nossa linha de base foi medida usando o Samba versão 4.15.13 em relação ao Fusion sobre TCP e novamente com o Fusion aproveitando o descarregamento de RDMA.

A linha de base da largura de banda de leitura do Samba para cada estação de trabalho HP Z4 Rack G5 mediu 4 GB/s e 3.8 GB/s, para um total de 7.8 GB/s. Em uma carga de trabalho de gravação sequencial, medimos 2.4 GB/s e 2.6 GB/s para um total de 5 GB/s. A latência média de leitura mediu 17.23 ms, com a latência média de gravação atingindo 26.6 ms.

A mudança para o software Fusion da Tuxera teve um impacto enorme, sem necessidade de mudança por parte do cliente. Observando o protocolo TCP, medimos 11.1 GB/s e 11.1 GB/s de cada cliente, o que nos dá 22.2 GB/s em largura de banda de leitura. Este era o limite da conexão de 100GbE para cada host. Para largura de banda de gravação, medimos 5.7 GB/s e 5.8 GB/s, dando-nos um total de 11.5 GB/s. A latência de leitura foi em média de 6 ms, enquanto a latência de gravação foi de 11.65 ms.

Além do TCP, o Fusion File Share da Tuxera também oferece suporte a RDMA. Medimos o protocolo Fusion RDMA, que nos deu largura de banda de leitura medindo 11.6 GB/s e 11.6 GB/s para cada host, ou 23.2 GB/s. A largura de banda de gravação chegou a 5 GB/s e 5.2 GB/s, ou um total de 10.2 GB/s. A latência de leitura nesta configuração foi de 5.8 ms, enquanto a latência de gravação foi de 13.2 ms.

A comparação do Samba com o Fusion mostrou enormes ganhos para os clientes Windows. A largura de banda de leitura obteve ganhos de quase 3x, com latência de apenas 33% do que o Samba oferecia. A largura de banda de gravação também melhorou 2.3x, com latência de apenas 44% do que medimos com o Samba.

Protocolo	métrico	Client1	Client2	Total
Samba	Largura de banda de leitura	4GB / s	3.8GB / s	7.8GB / s
	Latência de leitura	16.77ms	17.68ms	17.23ms
	largura de banda de gravação	2.4GB / s	2.6GB / s	5GB / s
	Gravar Latência	27.5ms	25.7ms	26.6ms
Fusão TCP	Largura de banda de leitura	11.1GB / s	11.1GB / s	22.2GB / s
	Latência de leitura	6ms	6ms	6ms
	largura de banda de gravação	5.7GB / s	5.8GB / s	11.5GB / s
	Gravar Latência	11.8ms	11.5ms	11.65ms
Fusão RDMA	Largura de banda de leitura	11.6GB / s	11.6GB / s	23.2GB / s
	Latência de leitura	5.8ms	5.8ms	5.8ms
	largura de banda de gravação	5GB / s	5.2GB / s	10.2GB / s
	Gravar Latência	13.4ms	13ms	13.2ms

Enormes SSDs acompanhando o ritmo de M&A

SSDs enormes como o P61.44 de 5336 TB da Solidigm trazem benefícios substanciais para os setores de mídia e entretenimento, onde a velocidade e a confiabilidade são cruciais para lidar com arquivos grandes, como vídeos de alta definição, gráficos complexos e faixas de áudio extensas. Ao contrário dos HDDs (unidades de disco rígido) tradicionais, os SSDs oferecem tempos de acesso a dados mais rápidos, velocidades superiores de leitura/gravação e maiores operações de E/S por segundo. Essa vantagem de desempenho permite fluxos de trabalho de edição, renderização e processamento mais eficientes, reduzindo significativamente o tempo necessário para carregar e trabalhar com grandes arquivos de mídia. A ausência de peças móveis nos SSDs aumenta sua confiabilidade e durabilidade, tornando-os menos suscetíveis a falhas mecânicas e perda de dados (preocupações críticas ao lidar com conteúdo de mídia valioso).

A adoção de SSDs densos em ambientes de produção e pós-produção de mídia agiliza os fluxos de trabalho, permitindo edição em tempo real, gradação de cores e processamento de efeitos sem comprometer a qualidade ou a eficiência. Essas unidades podem lidar perfeitamente com vários fluxos de vídeo 4K, eliminando a necessidade de arquivos proxy ou espaços reservados de baixa resolução. Além disso, o formato compacto dos SSDs, combinado com suas altas capacidades de armazenamento, simplifica o gerenciamento de dados, permitindo que projetos inteiros sejam armazenados em uma única unidade ou em um array mínimo, facilitando assim o acesso e o gerenciamento de grandes volumes de dados.

Além das vantagens de desempenho e capacidade, os SSDs massivos contribuem para um ambiente de produção mais propício por meio de sua operação silenciosa, menor produção de calor e eficiência energética. Esses recursos são especialmente benéficos em suítes de edição móveis ou densamente compactadas, onde a minimização de ruído e o resfriamento são preocupações constantes. A eficiência energética dos SSDs não apenas reduz os custos operacionais, mas também proporciona um espaço de trabalho mais fresco e silencioso, melhorando a produtividade geral e o conforto dos profissionais de mídia. Em essência, os SSDs massivos estão transformando o cenário da mídia e do entretenimento, permitindo processos de produção mais rápidos, confiáveis e eficientes que podem acompanhar a crescente demanda por conteúdo digital de alta qualidade.

Bridge Digital é uma grande fã

Em nossos próprios testes com o equipamento CheetahRAID, observamos benefícios impressionantes para cargas de trabalho de M&A. Mas queríamos outra opinião da indústria, para ver se nossas descobertas eram consistentes com aqueles que estão profundamente envolvidos no gerenciamento de dados no set. Entramos em contato com nosso amigo Richie Murray, fundador e presidente da Bridge Digital.

A Bridge Digital é uma empresa com experiência em fluxos de trabalho de vídeo digital e nas tecnologias para fazê-los funcionar melhor.
Eles ajudam os criadores e proprietários de conteúdo digital a construir uma infraestrutura para criar, gerenciar, distribuir e monetizar seus ativos de vídeo de maneira eficaz. As soluções da Bridge Digital cobrem todo o fluxo de trabalho de mídia digital — desde a ingestão até a entrega final.

Richie observa que “Desempenho, compatibilidade e capacidade de suporte são as maiores prioridades de nossos clientes. É exatamente isso que esta solução reúne. A portabilidade de dados que o sistema CheetahRAID oferece é incomparável na indústria, sem abrir mão da velocidade e da confiabilidade de hardware menos 'amigável ao envio'.”

Richie prosseguiu dizendo: “O Fusion File Share tem melhor desempenho e é totalmente compatível com as estações de trabalho criativas em rede existentes. Além disso, os enormes SSDs Solidigm combinados com a implementação RAID da Graid contribuem para a ideia de que “esta solução é maior que a soma de suas partes”. A solução combinada é extremamente atraente para cargas de trabalho modernas de M&A.”

Conclusão

As velocidades sequenciais do Fusion File Share do Tuxera são ótimas para descarregar e verificar imagens rapidamente, especialmente ao fotografar com muitas câmeras. O armazenamento rápido não é estranho ao uso no local, e a velocidade por si só não impressionará muito, mas a capacidade de estar em rede e ter vários sistemas descarregando simultaneamente sem desacelerar é um fluxo de trabalho específico no qual o Tuxera Fusion se destaca.

Na maioria das vezes no set, o fator limitante não é o armazenamento, mas a mídia da câmera, e esse gargalo se torna problemático, especialmente quando você começa a usar um número de câmeras de dois dígitos. Não é incomum ter vários sistemas descarregando diversas placas ao mesmo tempo para unidades independentes, que então precisam ser consolidadas no conjunto para um par idêntico de unidades mestres ou no correio em seus servidores.

A capacidade de conectar vários sistemas em rede ao mesmo pool de armazenamento Tuxera Fusion e descarregar simultaneamente sem diminuir a velocidade economiza muito tempo. Mais importante ainda, um NAS padrão teria dificuldade em ter esse armazenamento compartilhado dimensionado de forma eficiente com muitos clientes se utilizasse o Samba, permitindo que o descarregamento, a transcodificação, o gerenciamento, a revisão e o controle de qualidade acontecessem simultaneamente.

Embora tenhamos abordado os benefícios que esta solução oferece no set, também é fundamental compreender que tudo isso envolve muito pouca complexidade. O servidor CheetahRAID, SSDs Solidigm QLC, gerenciamento RAID da Graid Technologies e protocolo Tuxera são todos muito fáceis de configurar em uma instalação básica do Linux. Toda a solução é reunida em minutos, não em horas, e agrega as melhores tecnologias para profissionais de M&A.

Envolva-se com a StorageReview