NAB 2024 abrió con tremendo estilo, cuando decenas de miles de asistentes acudieron en masa al Centro de Convenciones de Las Vegas para conocer la última tecnología para los profesionales de los medios y el entretenimiento. A lo largo de los muchos años de NAB, un inquilino nunca ha cambiado: los archivos digitales son cada vez más importantes y los equipos necesitan un acceso más rápido a ellos tanto en el centro de datos como en el campo.
NAB 2024 abrió con tremendo estilo, cuando decenas de miles de asistentes acudieron en masa al Centro de Convenciones de Las Vegas para conocer la última tecnología para los profesionales de los medios y el entretenimiento. A lo largo de los muchos años de NAB, un inquilino nunca ha cambiado: los archivos digitales son cada vez más importantes y los equipos necesitan un acceso más rápido a ellos tanto en el centro de datos como en el campo. Afortunadamente, la tecnología ha logrado avances críticos, como los SSD de 61.44 TB, que pueden resolver las complejidades relacionadas con las cargas de trabajo de M&E.
Trabajar en una película o un programa de televisión supone un nivel de estrés diferente en el almacenamiento que el que normalmente se ve en el centro de datos. Los equipos en el set necesitan acceso instantáneo al metraje sin editar para reproducirlo, previsualizar los efectos visuales en tiempo real, verificar la continuidad y transcodificar. Este último es el que requiere más almacenamiento. No es raro procesar imágenes más rápido que en tiempo real mientras se descargan imágenes nuevas de las cámaras. Luego, estos archivos masivos y sus contrapartes proxy más pequeñas deben transportarse de regreso a una casa de correos donde pueden ser ingeridos en sistemas de almacenamiento a largo plazo y puestos a disposición del equipo de postproducción.
CheetahRAID RAPTOR para almacenamiento de datos en el set
Para ayudar a los profesionales creativos en este esfuerzo continuo, CheetahRAID ha configurado el servidor perimetral perfecto para el almacenamiento de datos en el set. El guepardoRAID RAPTOR es un servidor robusto de 2U de poca profundidad destacado por tres contenedores de unidades que admiten cuatro SSD cada uno. Después de filmar, los botes se pueden retirar y enviar a una oficina de correos para una rápida ingestión. Para este proyecto, cada bote contiene 4x SSD Solidigm P5336 de 61.44 TB, que proporcionan una densidad increíble. Eso es casi 250 TB de memoria flash sin procesar por recipiente.
La solución aprovecha la Tarjeta RAID basada en GPU Graid SR-1010 y el software adjunto para permitir el acceso de alta velocidad al almacenamiento. Esto es fundamental ya que la tarjeta Graid elimina la mayor parte de la gestión RAID de la CPU del servidor, liberándola para trabajos más críticos. Con el procesador AMD EPYC 7003 dentro del servidor CheetahRAID, tenerlos disponibles para ejecutar tareas de aplicaciones es de suma importancia.
El servidor cuenta con una tarjeta de red NVIDIA de 100GbE para compartir el almacenamiento con estaciones de trabajo profesionales. Para esta prueba, estamos emparejando gemelos Estaciones de trabajo en rack HP Z4 Rack G5, cada uno con una NIC de 100 GbE conectada directamente al servidor. Esto debería permitirnos alcanzar un rendimiento teórico de alrededor de 12.5 GB/s para cada estación de trabajo. Increíblemente, cada sistema dispone de casi tres cuartos de petabyte de almacenamiento.
Sin embargo, para ofrecer de manera confiable tanta velocidad a cada estación de trabajo, es necesario implementar un protocolo sólido que pueda manejar no solo el movimiento de datos sino también el movimiento de datos a esta escala. Para eso, el sistema utiliza Fusion File Share de Tuxera. Fusion File Share permite que el servidor de almacenamiento CheetahRAID, basado en Linux, proporcione recursos compartidos SMB a estaciones de trabajo. Es significativamente más rápido que la implementación original de Linux del servidor SMB, Samba. Y tampoco se trata sólo del rendimiento bruto; El proceso de edición es mucho más sensible a la latencia, donde incluso pequeños contratiempos pueden bloquear los programas de edición.
¿Por qué compartir archivos con Fusion?
Fusion File Share de Tuxera es un sistema de archivos distribuido escalable y de alto rendimiento que brinda acceso a datos no estructurados o basados en archivos a través de una red. Ofrece soporte para el protocolo Server Message Block (SMB) de Microsoft para ofertas de plataforma como servicio (PaaS) de nube pública, soluciones de almacenamiento definido por software (SDS), aplicaciones de computación de alto rendimiento (HPC) y redes de nivel empresarial. -almacenamiento adjunto (NAS). Fusion tiene todas las capacidades actualizadas de seguridad y SMB para satisfacer las exigentes necesidades organizacionales.
Fusion File Share de Tuxera se destaca como una alternativa a las soluciones tradicionales de servidor para PYMES como Samba, diseñadas para centrarse en el alto rendimiento y la escalabilidad. Su arquitectura modular y multiproceso mejora el rendimiento de E/S, minimiza el uso de la CPU, reduce el uso de memoria y admite la gestión de múltiples conexiones simultáneamente. Al aprovechar SMB multicanal, compresión y SMB sobre RDMA (acceso remoto directo a memoria), Fusion elimina eficazmente los cuellos de botella comunes y ofrece una solución donde el alto rendimiento, la baja latencia y la utilización eficiente de los recursos son primordiales. RDMA sobre Ethernet convergente (RoCE), o SMB Direct, también permite que los paquetes de datos omitan por completo el procesamiento de la CPU, lo que reduce aún más la latencia y la carga de la CPU para mejorar el rendimiento general.
La escalabilidad de Fusion es una de sus principales fortalezas, con su función de escalamiento horizontal de archivos compartidos que permite el ajuste dinámico de los nodos de servidores de archivos y SMB para satisfacer las necesidades cambiantes de las empresas. Esto se complementa con un sólido marco de tolerancia a fallas, que incorpora conmutación por error transparente y disponibilidad continua para garantizar un servicio ininterrumpido, incluso durante fallas del servidor o actividades de mantenimiento. Además, la compatibilidad de Fusion con el último protocolo SMB 3.1.1, junto con versiones anteriores, garantiza una amplia compatibilidad e interoperabilidad en diversas configuraciones de red.
Fusion File Share ofrece un enfoque optimizado y seguro para la gestión de datos. Facilita la planificación de la capacidad con soporte de cuotas, proporciona auditorías de usuario detalladas y registros de acceso, y permite configuraciones compartidas dinámicas sin reinicios del sistema. Admite múltiples mecanismos de autenticación, incluidos Kerberos, LDAP y NTLM, y se integra perfectamente con Windows ACL y Active Directory para mejorar la seguridad y facilitar la administración. Este conjunto completo de características posiciona a Fusion de Tuxera como una opción altamente confiable y eficiente para organizaciones que buscan un rendimiento y escalabilidad superiores de sus soluciones de servidor para PYMES.
Rendimiento del recurso compartido de archivos Samba frente a Fusion
El servidor de almacenamiento CheetahRAID RAPTOR está construido alrededor de una placa base AMD EPYC Gen3 de un solo socket, que ejecuta una CPU 24P de 7443 núcleos con 256 GB de RAM DDR4. El servidor tiene tres contenedores que albergan el almacenamiento de cuatro SSD (12 SSD en total). Dentro de cada recipiente hay 4 SSD Solidigm P5336 de 61.44 TB. Estas unidades utilizan conexiones NVMe directas a la placa base a través de tarjetas verticales NVMe nativas.
El servidor utiliza Graid SupremeRAID SR-1010 para la gestión de RAID. Para transferir datos a través de la red, hay una tarjeta NVIDIA Connect-X 6 Dx de doble puerto de 100 GbE. Esta tarjeta ofrece hasta 200 Gb de ancho de banda combinado en ambos puertos, lo que nos brinda hasta 20 GB/s dentro y fuera de la caja en toda nuestra estructura de red. El servidor de almacenamiento ejecuta Ubuntu 22.04.4 LTS.
Aprovechamos dos estaciones de trabajo HP Z4 Rack G5 para que actuaran como generadores de carga en nuestro entorno de pruebas. Cada sistema tenía CPU Intel Xeon W16-5X de 2465 núcleos y 128 GB de RAM DDR5. También ofrecen GPU NVIDIA RTX 5000 Ada y NIC NVIDIA ConnectX-6 Dx 100GbE para convertirlas en potencias de edición de video. Los sistemas se configuraron con Windows Server 2022. Vale la pena señalar que HP no admite Windows Server ni NIC de 100 GbE directamente, pero ninguno planteó ningún problema durante esta prueba.
La estructura de red de alta velocidad los conecta a CheetahRAID Raptor a través de enlaces de 100 GbE, brindando a cada cliente un enlace de 10 GB/s para almacenamiento compartido. Con 12 SSD Solidigm P61.44 QLC de 5336 TB en un grupo de almacenamiento Graid, podríamos compartir un volumen masivo de 613 TB con cada host.
Para medir el beneficio del software Fusion de Tuxera, comparamos el ancho de banda de lectura y escritura secuencial de 1 MB y la latencia de cada cliente que interactúa con el host de almacenamiento CheetahRAID simultáneamente. Usamos cuatro trabajos FIO en cada cliente, cada uno de los cuales midió el rendimiento de un archivo de 50 GB. En total, eso equivalía a una huella de 400 GB. Nuestra línea de base se midió usando Samba versión 4.15.13 contra Fusion sobre TCP y nuevamente con Fusion aprovechando la descarga de RDMA.
La línea base de ancho de banda de lectura Samba para cada estación de trabajo HP Z4 Rack G5 midió 4 GB/s y 3.8 GB/s, para un total de 7.8 GB/s. En una carga de trabajo de escritura secuencial, medimos 2.4 GB/s y 2.6 GB/s para un total de 5 GB/s. La latencia de lectura promedio midió 17.23 ms, y la latencia de escritura promedio fue de 26.6 ms.
El cambio al software Fusion de Tuxera tuvo un impacto enorme, sin necesidad de realizar cambios en el lado del cliente. En cuanto al protocolo TCP, medimos 11.1 GB/s y 11.1 GB/s de cada cliente, lo que nos da 22.2 GB/s de ancho de banda de lectura. Este era el límite de la conexión de 100 GbE a cada host. Para el ancho de banda de escritura, medimos 5.7 GB/s y 5.8 GB/s, lo que nos da un total de 11.5 GB/s. La latencia de lectura promedió 6 ms, mientras que la latencia de escritura fue de 11.65 ms.
Además de TCP, Fusion File Share de Tuxera también es compatible con RDMA. Medimos el protocolo Fusion RDMA, que nos dio un ancho de banda de lectura de 11.6 GB/s y 11.6 GB/s para cada host, o 23.2 GB/s. El ancho de banda de escritura fue de 5 GB/s y 5.2 GB/s, o un total de 10.2 GB/s. La latencia de lectura en esta configuración fue de 5.8 ms, mientras que la latencia de escritura fue de 13.2 ms.
La comparación de Samba con Fusion mostró enormes ganancias para los clientes de Windows. El ancho de banda de lectura obtuvo ganancias de casi 3 veces, con una latencia de solo el 33 por ciento de lo que ofrecía Samba. El ancho de banda de escritura también mejoró 2.3 veces, con una latencia de solo el 44 por ciento de lo que medimos con Samba.
| Protocolo | Métricos | Client1 | Client2 | Total |
|---|---|---|---|---|
| Samba | Leer ancho de banda | 4GB / s | 3.8GB / s | 7.8GB / s |
| Leer latencia | 16.77ms | 17.68ms | 17.23ms | |
| Escribir ancho de banda | 2.4GB / s | 2.6GB / s | 5GB / s | |
| Escribir latencia | 27.5ms | 25.7ms | 26.6ms | |
| Fusión TCP | Leer ancho de banda | 11.1GB / s | 11.1GB / s | 22.2GB / s |
| Leer latencia | 6ms | 6ms | 6ms | |
| Escribir ancho de banda | 5.7GB / s | 5.8GB / s | 11.5GB / s | |
| Escribir latencia | 11.8ms | 11.5ms | 11.65ms | |
| Fusión RDMA | Leer ancho de banda | 11.6GB / s | 11.6GB / s | 23.2GB / s |
| Leer latencia | 5.8ms | 5.8ms | 5.8ms | |
| Escribir ancho de banda | 5GB / s | 5.2GB / s | 10.2GB / s | |
| Escribir latencia | 13.4ms | 13ms | 13.2ms |
Enormes SSD siguen el ritmo del M&E
Los SSD masivos como el P61.44 de 5336 TB de Solidigm aportan beneficios sustanciales a las industrias de medios y entretenimiento, donde la velocidad y la confiabilidad son cruciales para manejar archivos grandes como videos de alta definición, gráficos complejos y pistas de audio extensas. A diferencia de las HDD (unidades de disco duro) tradicionales, las SSD ofrecen tiempos de acceso a datos más rápidos, velocidades de lectura/escritura superiores y mayores operaciones de E/S por segundo. Esta ventaja de rendimiento permite flujos de trabajo de edición, renderizado y procesamiento más eficientes, lo que reduce significativamente el tiempo que lleva cargar y trabajar con archivos multimedia de gran tamaño. La ausencia de piezas móviles en los SSD mejora su confiabilidad y durabilidad, haciéndolos menos susceptibles a fallas mecánicas y pérdida de datos (preocupaciones críticas cuando se trata de contenido multimedia valioso).
La adopción de SSD densos en entornos de producción y posproducción de medios agiliza los flujos de trabajo, permitiendo la edición, la gradación de color y el procesamiento de efectos en tiempo real sin comprometer la calidad ni la eficiencia. Estas unidades pueden manejar sin problemas múltiples transmisiones de video 4K, eliminando la necesidad de archivos proxy o marcadores de posición de baja resolución. Además, el factor de forma compacto de los SSD, combinado con sus altas capacidades de almacenamiento, simplifica la gestión de datos al permitir que proyectos completos se almacenen en una sola unidad o en una matriz mínima, lo que facilita el acceso y la gestión de grandes volúmenes de datos.
Más allá de las ventajas de rendimiento y capacidad, los SSD masivos contribuyen a un entorno de producción más propicio a través de su funcionamiento silencioso, menor producción de calor y eficiencia energética. Estas características son especialmente beneficiosas en suites de edición móviles o densamente pobladas, donde la minimización del ruido y el enfriamiento son preocupaciones constantes. La eficiencia energética de los SSD no solo reduce los costos operativos, sino que también respalda un espacio de trabajo más fresco y silencioso, lo que mejora la productividad general y la comodidad de los profesionales de los medios. En esencia, los SSD masivos están transformando el panorama de los medios y el entretenimiento, permitiendo procesos de producción más rápidos, confiables y eficientes que pueden seguir el ritmo de la creciente demanda de contenido digital de alta calidad.
Bridge Digital es un gran admirador
En nuestras propias pruebas con la plataforma CheetahRAID, vimos beneficios impresionantes para las cargas de trabajo de M&E. Pero queríamos otra opinión de la industria para ver si nuestros hallazgos eran consistentes con aquellos que están metidos hasta las rodillas en la gestión de datos en el set. Nos comunicamos con nuestro amigo Richie Murray, fundador y presidente de Bridge Digital.
Bridge Digital es una empresa con experiencia en flujos de trabajo de vídeo digital y las tecnologías para hacerlos funcionar mejor.
Ayudan a los creadores y propietarios de contenido digital a construir una infraestructura para crear, administrar, distribuir y monetizar sus activos de video de manera efectiva. Las soluciones de Bridge Digital cubren todo el flujo de trabajo de medios digitales, desde la ingesta hasta la entrega final.
Richie señala que “el rendimiento, la compatibilidad y la capacidad de soporte son las principales prioridades de nuestros clientes. Eso es exactamente lo que reúne esta solución. La portabilidad de los datos que proporciona el sistema CheetahRAID no tiene comparación en la industria, sin renunciar a la velocidad y confiabilidad de un hardware menos "apto para envíos".
Richie continuó diciendo: “Fusion File Share tiene más rendimiento y es completamente compatible con las estaciones de trabajo creativas en red existentes. Además, los enormes SSD Solidigm combinados con la implementación RAID de Graid contribuyen a la idea de que "esta solución es mayor que la suma de sus partes". La solución combinada es extremadamente atractiva para las cargas de trabajo modernas de M&E”.
Conclusión
Las velocidades secuenciales de Fusion File Share de Tuxera son excelentes para descargar y verificar el metraje rápidamente, especialmente cuando se graba con muchas cámaras. El almacenamiento rápido no es ajeno al uso en el set, y la velocidad por sí sola no impresionará mucho, pero la capacidad de conectarse en red y tener múltiples sistemas descargando simultáneamente sin ralentizarse es un flujo de trabajo particular en el que Tuxera Fusion sobresale.
La mayor parte del tiempo en el set, el factor limitante no es el almacenamiento sino el soporte de la cámara, y este cuello de botella se vuelve problemático, especialmente cuando empiezas a tener un número de cámaras de dos dígitos. No es raro tener varios sistemas descargando varias tarjetas al mismo tiempo en unidades independientes, que luego deben consolidarse en el set con un par idéntico de unidades maestras o en la oficina de correos de sus servidores.
La capacidad de conectar en red muchos sistemas al mismo grupo de almacenamiento de Tuxera Fusion y descargarlos simultáneamente sin ralentización supone un gran ahorro de tiempo. Más importante aún, un NAS estándar tendría dificultades con la capacidad de tener ese almacenamiento compartido escalado de manera eficiente con muchos clientes si utiliza Samba, permitiendo que la descarga, transcodificación, administración, revisión y control de calidad se realicen simultáneamente.
Si bien hemos abordado los beneficios que ofrece esta solución en el set, también es fundamental comprender que todo esto conlleva muy poca complejidad. El servidor CheetahRAID, los SSD Solidigm QLC, la administración RAID de Graid Technologies y el protocolo Tuxera son muy fáciles de configurar en una instalación básica de Linux. La solución completa se integra en minutos, no en horas, y agrega las mejores tecnologías de su clase para los profesionales de M&E.
Interactuar con StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
