Le NAB 2024 s'est ouvert avec brio, alors que des dizaines de milliers de participants se sont rassemblés au Las Vegas Convention Center pour découvrir les dernières technologies destinées aux professionnels des médias et du divertissement. Au fil des nombreuses années de NAB, un client n'a jamais changé : les fichiers numériques deviennent de plus en plus importants et les équipes ont besoin d'y accéder plus rapidement, à la fois dans le centre de données et sur le terrain.
Le NAB 2024 s'est ouvert avec brio, alors que des dizaines de milliers de participants se sont rassemblés au Las Vegas Convention Center pour découvrir les dernières technologies destinées aux professionnels des médias et du divertissement. Au fil des nombreuses années de NAB, un client n'a jamais changé : les fichiers numériques deviennent de plus en plus importants et les équipes ont besoin d'y accéder plus rapidement, à la fois dans le centre de données et sur le terrain. Heureusement, la technologie a réalisé des avancées cruciales, comme les SSD de 61.44 To, qui peuvent résoudre les complexités liées aux charges de travail de S&E.
Travailler sur un film ou une émission de télévision impose un niveau de stress sur le stockage différent de celui que l'on observe généralement dans le centre de données. Les équipes sur le plateau ont besoin d'un accès instantané aux images brutes pour la lecture, la pré-visualisation des effets visuels en temps réel, la vérification de la continuité et le transcodage. Ce dernier est le plus gourmand en stockage. Il n'est pas rare de traiter les images plus rapidement qu'en temps réel tout en déchargeant les nouvelles images des caméras. Ensuite, ces fichiers volumineux et leurs homologues proxy plus petits doivent être transportés vers un centre de poste où ils peuvent être ingérés dans des systèmes de stockage à long terme et mis à la disposition de l'équipe de post-production.
CheetahRAID RAPTOR pour le stockage de données sur le plateau
Pour aider les professionnels de la création dans cet effort continu, CheetahRAID a configuré le serveur périphérique idéal pour le stockage de données sur le plateau. Le GuépardRAID RAPTOR est un serveur 2U robuste de courte profondeur mis en valeur par trois boîtiers de disques prenant chacun quatre SSD. Après le tournage, les cartouches peuvent être retirées et expédiées vers un relais de poste pour une ingestion rapide. Pour ce projet, chaque cartouche contient 4x SSD Solidigm P5336 61.44 To, qui offrent une densité incroyable. Cela représente près de 250 To de mémoire flash brute par cartouche.
La solution profite de Carte RAID basée sur GPU Graid SR-1010 et le logiciel qui l'accompagne pour permettre un accès haut débit au stockage. Ceci est essentiel car la carte Graid retire l'essentiel de la gestion RAID du processeur du serveur, le libérant ainsi pour des travaux plus critiques. Avec le processeur AMD EPYC 7003 intégré au serveur CheetahRAID, il est de la plus haute importance de les disposer pour exécuter les tâches d'application.
Le serveur dispose d'une carte réseau NVIDIA 100GbE pour partager le stockage avec des postes de travail professionnels. Pour ce test, nous associons des jumeaux Postes de travail sur bâti HP Z4 Rack G5, chacun avec une carte réseau 100 GbE directement connectée au serveur. Cela devrait permettre d'atteindre un débit théorique d'environ 12.5 Go/s pour chaque poste de travail. Étonnamment, près des trois quarts de pétaoctet de stockage sont disponibles pour chaque système.
Cependant, pour fournir de manière fiable une telle vitesse à chaque poste de travail, un protocole robuste doit être en place, capable de gérer non seulement le mouvement des données, mais aussi le mouvement des données à cette échelle. Pour cela, le système utilise Fusion File Share de Tuxera. Fusion File Share permet au serveur de stockage CheetahRAID, basé sur Linux, de fournir des partages SMB aux postes de travail. Il est nettement plus rapide que l'implémentation Linux originale du serveur SMB, Samba. Et il ne s’agit pas seulement de débit brut ; le processus d'édition est beaucoup plus sensible à la latence, où même des problèmes mineurs peuvent faire planter les programmes d'édition.
Pourquoi le partage de fichiers Fusion ?
Fusion File Share de Tuxera est un système de fichiers distribué hautes performances et évolutif qui permet d'accéder à des données non structurées ou basées sur des fichiers sur un réseau. Il prend en charge le protocole Server Message Block (SMB) de Microsoft pour les offres de plateforme en tant que service (PaaS) de cloud public, les solutions de stockage défini par logiciel (SDS), les applications de calcul haute performance (HPC) et les réseaux d'entreprise. -stockage connecté (NAS). Fusion dispose de toutes les fonctionnalités de sécurité et des PME mises à jour pour répondre aux besoins organisationnels exigeants.
Fusion File Share de Tuxera se distingue comme une alternative aux solutions de serveur PME traditionnelles comme Samba, conçues pour se concentrer sur les hautes performances et l'évolutivité. Son architecture modulaire et multithread améliore le débit d'E/S, minimise l'utilisation du processeur, réduit l'empreinte mémoire et prend en charge la gestion simultanée de plusieurs connexions. En tirant parti du multicanal SMB, de la compression et du SMB sur RDMA (Remote Direct Memory Access), Fusion élimine efficacement les goulots d'étranglement courants, offrant une solution où un débit élevé, une faible latence et une utilisation efficace des ressources sont primordiaux. RDMA sur Converged Ethernet (RoCE), ou SMB Direct, permet également aux paquets de données de contourner entièrement le traitement du processeur, réduisant ainsi davantage la latence et la charge du processeur pour des performances globales améliorées.
L'évolutivité de Fusion est l'un de ses principaux atouts, avec sa fonctionnalité d'évolution du partage de fichiers permettant un ajustement dynamique des nœuds des PME et des serveurs de fichiers pour répondre aux besoins changeants des entreprises. Ceci est complété par un cadre robuste de tolérance aux pannes, intégrant un basculement transparent et une disponibilité continue pour garantir un service ininterrompu, même en cas de pannes de serveur ou d'activités de maintenance. De plus, la prise en charge par Fusion du dernier protocole SMB 3.1.1, ainsi que des versions antérieures, garantit une compatibilité et une interopérabilité étendues sur divers paramètres réseau.
Fusion File Share offre une approche rationalisée et sécurisée de la gestion des données. Il facilite la planification des capacités avec prise en charge des quotas, fournit des audits utilisateur détaillés et des journaux d'accès, et permet des configurations de partage dynamiques sans redémarrage du système. Il prend en charge plusieurs mécanismes d'authentification, notamment Kerberos, LDAP et NTLM, et s'intègre parfaitement à Windows ACL et Active Directory pour une sécurité améliorée et une facilité de gestion. Cet ensemble complet de fonctionnalités positionne Fusion de Tuxera comme un choix hautement fiable et efficace pour les organisations recherchant des performances et une évolutivité supérieures de leurs solutions de serveur PME.
Performances du partage de fichiers Samba et Fusion
Le serveur de stockage CheetahRAID RAPTOR est construit autour d'une carte mère AMD EPYC Gen3 à socket unique, exécutant un processeur 24P à 7443 cœurs avec 256 Go de RAM DDR4. Le serveur dispose de trois cartouches qui hébergent le stockage de quatre SSD (12 SSD au total). À l’intérieur de chaque cartouche se trouvent 4 disques SSD Solidigm P5336 de 61.44 To. Ces disques utilisent des connexions NVMe directes à la carte mère via des supports NVMe natifs.
Le serveur utilise Graid SupremeRAID SR-1010 pour la gestion RAID. Pour acheminer les données sur le réseau, il existe une carte 6GbE à double port NVIDIA Connect-X 100 Dx. Cette carte offre jusqu'à 200 Go de bande passante combinée sur les deux ports, ce qui nous donne jusqu'à 20 Go/s en entrée et en sortie de boîte sur l'ensemble de notre structure réseau. Le serveur de stockage exécute Ubuntu 22.04.4 LTS.
Nous avons exploité deux stations de travail HP Z4 Rack G5 pour agir comme chargeurs dans notre environnement de test. Chaque système disposait de processeurs Intel Xeon W16-5X à 2465 cœurs et de 128 Go de RAM DDR5. Ils proposent également des GPU NVIDIA RTX 5000 Ada et des cartes réseau NVIDIA ConnectX-6 Dx 100GbE pour en faire des centrales de montage vidéo. Les systèmes ont été configurés avec Windows Server 2022. Il convient de noter que HP ne prend pas directement en charge Windows Server et les cartes réseau 100GbE, mais aucun n'a posé de problème lors de ces tests.
La structure réseau haut débit les connecte au CheetahRAID Raptor via des liaisons 100 GbE, offrant à chaque client une liaison de 10 Go/s vers le stockage partagé. Avec 12 SSD Solidigm P61.44 QLC de 5336 To dans un pool de stockage Graid, nous pourrions partager un énorme volume de 613 To avec chaque hôte.
Pour mesurer les avantages du logiciel Fusion de Tuxera, nous avons comparé la bande passante et la latence de lecture et d'écriture séquentielles de 1 Mo de chaque client interagissant simultanément avec l'hôte de stockage CheetahRAID. Nous avons utilisé quatre tâches FIO sur chaque client, chacune mesurant les performances d'un fichier de 50 Go. Au total, cela équivaut à une empreinte de 400 Go. Notre référence a été mesurée à l'aide de Samba version 4.15.13 par rapport à Fusion sur TCP et à nouveau avec Fusion tirant parti du déchargement RDMA.
La bande passante de base de lecture Samba sur chaque station de travail HP Z4 Rack G5 mesurait 4 Go/s et 3.8 Go/s, pour un total de 7.8 Go/s. Dans une charge de travail d'écriture séquentielle, nous avons mesuré 2.4 Go/s et 2.6 Go/s pour un total de 5 Go/s. La latence de lecture moyenne mesurait 17.23 ms, avec une latence d'écriture moyenne de 26.6 ms.
Le passage au logiciel Fusion de Tuxera a eu un impact considérable, sans aucun changement nécessaire du côté client. En regardant le protocole TCP, nous avons mesuré 11.1 Go/s et 11.1 Go/s pour chaque client, ce qui nous donne 22.2 Go/s de bande passante en lecture. C'était la limite de la connexion 100 GbE à chaque hôte. Pour la bande passante en écriture, nous avons mesuré 5.7 Go/s et 5.8 Go/s, ce qui nous donne un total de 11.5 Go/s. La latence de lecture était en moyenne de 6 ms tandis que la latence d'écriture était de 11.65 ms.
En plus de TCP, Fusion File Share de Tuxera prend également en charge RDMA. Nous avons mesuré le protocole Fusion RDMA, qui nous a donné une bande passante en lecture mesurant 11.6 Go/s et 11.6 Go/s pour chaque hôte, soit 23.2 Go/s. La bande passante en écriture était de 5 Go/s et 5.2 Go/s, soit un total de 10.2 Go/s. La latence de lecture dans cette configuration était de 5.8 ms, tandis que la latence d'écriture était de 13.2 ms.
La comparaison de Samba à Fusion a montré d'énormes gains pour les clients Windows. La bande passante de lecture a été multipliée par près de 3, avec une latence de seulement 33 % de celle proposée par Samba. La bande passante en écriture a également été multipliée par 2.3, avec une latence de seulement 44 % de celle mesurée avec Samba.
| Passerelle | Métrique | Client1 | Client2 | Total |
|---|---|---|---|---|
| Samba | Lire la bande passante | 4GB / s | 3.8GB / s | 7.8GB / s |
| Lire la latence | 16.77ms | 17.68ms | 17.23ms | |
| Bande passante d'écriture | 2.4GB / s | 2.6GB / s | 5GB / s | |
| Latence d'écriture | 27.5ms | 25.7ms | 26.6ms | |
| Fusion TCP | Lire la bande passante | 11.1GB / s | 11.1GB / s | 22.2GB / s |
| Lire la latence | 6ms | 6ms | 6ms | |
| Bande passante d'écriture | 5.7GB / s | 5.8GB / s | 11.5GB / s | |
| Latence d'écriture | 11.8ms | 11.5ms | 11.65ms | |
| FusionRDMA | Lire la bande passante | 11.6GB / s | 11.6GB / s | 23.2GB / s |
| Lire la latence | 5.8ms | 5.8ms | 5.8ms | |
| Bande passante d'écriture | 5GB / s | 5.2GB / s | 10.2GB / s | |
| Latence d'écriture | 13.4ms | 13ms | 13.2ms |
D’énormes SSD suivent le rythme du S&E
Les disques SSD massifs comme le P61.44 de 5336 To de Solidigm apportent des avantages substantiels aux secteurs des médias et du divertissement, où la vitesse et la fiabilité sont cruciales pour gérer des fichiers volumineux tels que des vidéos haute définition, des graphiques complexes et des pistes audio étendues. Contrairement aux disques durs traditionnels (Hard Disk Drives), les SSD offrent des temps d'accès aux données plus rapides, des vitesses de lecture/écriture supérieures et un plus grand nombre d'opérations d'E/S par seconde. Cet avantage en termes de performances permet des flux de travail d'édition, de rendu et de traitement plus efficaces, réduisant considérablement le temps nécessaire au chargement et à l'utilisation de fichiers multimédias volumineux. L'absence de pièces mobiles dans les disques SSD améliore leur fiabilité et leur durabilité, les rendant moins sensibles aux pannes mécaniques et à la perte de données (des problèmes critiques lorsqu'il s'agit de contenu multimédia de valeur).
L'adoption de disques SSD denses dans les environnements de production multimédia et de post-production rationalise les flux de travail, permettant l'édition, l'étalonnage des couleurs et le traitement des effets en temps réel sans compromettre la qualité ou l'efficacité. Ces disques peuvent gérer de manière transparente plusieurs flux de vidéo 4K, éliminant ainsi le besoin de fichiers proxy ou d'espaces réservés basse résolution. De plus, le format compact des disques SSD, combiné à leurs capacités de stockage élevées, simplifie la gestion des données en permettant de stocker des projets entiers sur un seul disque ou sur une matrice minimale, facilitant ainsi l'accès et la gestion de gros volumes de données.
Au-delà des avantages en termes de performances et de capacité, les disques SSD massifs contribuent à un environnement de production plus propice grâce à leur fonctionnement silencieux, leur faible production de chaleur et leur efficacité énergétique. Ces fonctionnalités sont particulièrement utiles dans les suites de montage densément remplies ou mobiles, où la réduction du bruit et le refroidissement sont des préoccupations constantes. L'efficacité énergétique des disques SSD réduit non seulement les coûts opérationnels, mais permet également de créer un espace de travail plus frais et plus silencieux, améliorant ainsi la productivité globale et le confort des professionnels des médias. Essentiellement, les disques SSD massifs transforment le paysage des médias et du divertissement, permettant des processus de production plus rapides, plus fiables et plus efficaces, capables de suivre le rythme de la demande croissante de contenu numérique de haute qualité.
Bridge Digital est un grand fan
Lors de nos propres tests avec la plate-forme CheetahRAID, nous avons constaté des avantages impressionnants pour les charges de travail de S&E. Mais nous voulions un autre avis de l’industrie, pour voir si nos conclusions étaient cohérentes avec celles de ceux qui sont à fond dans la gestion des données sur le plateau. Nous avons contacté notre ami Richie Murray, fondateur et président de Bridge Digital.
Bridge Digital est une entreprise possédant une expertise dans les flux de travail vidéo numériques et dans les technologies permettant de mieux les faire fonctionner.
Ils aident les créateurs et les propriétaires de contenu numérique à créer une infrastructure pour créer, gérer, distribuer et monétiser efficacement leurs ressources vidéo. Les solutions de Bridge Digital couvrent l'ensemble du flux de travail des médias numériques, de l'ingestion à la livraison finale.
Richie note que « les performances, la compatibilité et la prise en charge sont les priorités absolues de nos clients. C’est exactement ce que rassemble cette solution. La portabilité des données offerte par le système CheetahRAID est inégalée dans l'industrie, sans pour autant renoncer à la vitesse et à la fiabilité d'un matériel moins « convivial pour les navires ».
Richie a poursuivi en disant : « Fusion File Share est plus performant et est entièrement compatible avec les postes de travail de création en réseau existants. De plus, les énormes SSD Solidigm associés à l'implémentation RAID de Graid contribuent tous deux à l'idée selon laquelle « cette solution est supérieure à la somme de ses parties ». La solution combinée est extrêmement intéressante pour les charges de travail modernes de S&E.
Conclusion
Les vitesses séquentielles Fusion File Share de Tuxera sont idéales pour télécharger et vérifier rapidement les images, en particulier lors de la prise de vue avec de nombreuses caméras. Le stockage rapide n'est pas étranger à l'utilisation sur le plateau, et la vitesse seule n'impressionnera pas beaucoup, mais la possibilité d'être en réseau et de décharger plusieurs systèmes simultanément sans ralentir est un flux de travail particulier dans lequel Tuxera Fusion excelle.
La plupart du temps sur le plateau, le facteur limitant n'est pas le stockage mais le support de la caméra, et ce goulot d'étranglement devient problématique, surtout lorsque l'on commence à avoir un nombre de caméras à deux chiffres. Il n'est pas rare que plusieurs systèmes déchargent plusieurs cartes en même temps sur des disques indépendants, qui doivent ensuite être consolidés soit sur le plateau sur une paire identique de disques maîtres, soit au relais de poste sur leurs serveurs.
La possibilité de mettre en réseau de nombreux systèmes sur le même pool de stockage Tuxera Fusion et de les décharger simultanément sans ralentissement constitue un énorme gain de temps. Plus important encore, un NAS standard aurait du mal à faire évoluer efficacement ce stockage partagé avec de nombreux clients s'il utilisait Samba, permettant ainsi le déchargement, le transcodage, la gestion, la révision et le contrôle qualité de tous se produire simultanément.
Bien que nous ayons abordé les avantages offerts par cette solution sur le plateau, il est également essentiel de comprendre que tout cela est très peu complexe. Le serveur CheetahRAID, les SSD Solidigm QLC, la gestion RAID Graid Technologies et le protocole Tuxera sont tous très faciles à configurer dans une installation de base Linux. L'ensemble de la solution est assemblé en quelques minutes, et non en heures, et regroupe les meilleures technologies pour les professionnels du S&E.
S'engager avec StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Flux RSS
