Il NAB 2024 si è aperto in grande stile, con decine di migliaia di partecipanti che si sono riversati al Las Vegas Convention Center per conoscere le ultime tecnologie per i professionisti dei media e dell'intrattenimento. Nel corso dei molti anni di NAB, un inquilino non è mai cambiato: i file digitali stanno diventando sempre più significativi e i team hanno bisogno di accedervi più rapidamente sia nel data center che sul campo.
Il NAB 2024 si è aperto in grande stile, con decine di migliaia di partecipanti che si sono riversati al Las Vegas Convention Center per conoscere le ultime tecnologie per i professionisti dei media e dell'intrattenimento. Nel corso dei molti anni di NAB, un inquilino non è mai cambiato: i file digitali stanno diventando sempre più significativi e i team hanno bisogno di accedervi più rapidamente sia nel data center che sul campo. Per fortuna, la tecnologia ha fatto progressi fondamentali, come gli SSD da 61.44 TB, che possono risolvere le complessità legate ai carichi di lavoro M&E.
Lavorare a un film o a un programma televisivo sottopone lo storage a un livello di stress diverso rispetto a quello normalmente riscontrato nei data center. I team sul set necessitano di accesso immediato alle riprese grezze per la riproduzione, pre-visualizzazione degli effetti visivi in tempo reale, controllo della continuità e transcodifica. Quest'ultimo è il più intensivo in termini di spazio di archiviazione. Non è raro elaborare i filmati più velocemente del tempo reale mentre si scaricano nuovi filmati dalle telecamere. Quindi, questi file di grandi dimensioni e le loro controparti proxy più piccole devono essere trasportati in un centro di posta dove possono essere inseriti in sistemi di archiviazione a lungo termine e resi disponibili al team di post-produzione.
CheetahRAID RAPTOR per l'archiviazione dei dati sul set
Per aiutare i professionisti creativi in questo impegno continuo, CheetahRAID ha configurato il server edge perfetto per l'archiviazione dei dati sul set. IL CheetahRAID RAPTOR è un robusto server 2U a profondità ridotta caratterizzato da tre contenitori di unità che supportano quattro SSD ciascuno. Dopo le riprese, i contenitori possono essere rimossi e spediti a un ufficio postale per una rapida ingestione. Per questo progetto, ogni contenitore contiene 4x SSD Solidigm P5336 da 61.44 TB, che forniscono un'incredibile densità. Si tratta di quasi 250 TB di flash raw per contenitore.
La soluzione sfrutta il Scheda RAID basata su GPU Graid SR-1010 e il software di accompagnamento per consentire l'accesso ad alta velocità allo spazio di archiviazione. Questo è fondamentale poiché la scheda Graid toglie la maggior parte della gestione RAID dalla CPU del server, liberandola per lavori più critici. Con il processore AMD EPYC 7003 all'interno del server CheetahRAID, averli a disposizione per eseguire le attività applicative è della massima importanza.
Il server dispone di una scheda di rete NVIDIA 100GbE per condividere lo spazio di archiviazione con workstation professionali. Per questo test, stiamo accoppiando un gemello Workstation rack HP Z4 Rack G5, ciascuno con una scheda NIC da 100 GbE direttamente connessa al server. Questo dovrebbe consentirci di raggiungere un throughput teorico di circa 12.5 GB/s per ciascuna workstation. Incredibilmente, per ciascun sistema sono disponibili quasi tre quarti di un petabyte di spazio di archiviazione.
Per fornire in modo affidabile tale velocità a ciascuna workstation, tuttavia, è necessario disporre di un protocollo robusto in grado di gestire non solo lo spostamento dei dati, ma lo spostamento dei dati su questa scala. Per questo, il sistema utilizza Fusion File Share di Tuxera. Fusion File Share consente al server di archiviazione CheetahRAID, basato su Linux, di fornire condivisioni SMB alle workstation. È significativamente più veloce dell'implementazione Linux originale del server SMB, Samba. E non si tratta solo di throughput grezzo; il processo di editing è molto più sensibile alla latenza, dove anche piccoli intoppi possono mandare in crash i programmi di editing.
Perché Fusion File Share?
Fusion File Share di Tuxera è un file system distribuito scalabile e ad alte prestazioni che fornisce l'accesso a dati non strutturati o basati su file su una rete. Fornisce supporto per il protocollo Server Message Block (SMB) di Microsoft alle offerte PaaS (Platform-as-a-Service) di cloud pubblico, soluzioni SDS (Software Defined Storage), applicazioni HPC (High Performance Computing) e reti di livello aziendale. -memoria collegata (NAS). Fusion offre tutte le funzionalità aggiornate di sicurezza e PMI per soddisfare le esigenze organizzative più impegnative.
Fusion File Share di Tuxera si distingue come alternativa alle tradizionali soluzioni server SMB come Samba, progettate per concentrarsi su prestazioni elevate e scalabilità. La sua architettura modulare e multithread migliora il throughput I/O, riduce al minimo l'utilizzo della CPU, riduce l'ingombro della memoria e supporta la gestione di più connessioni contemporaneamente. Sfruttando il multicanale SMB, la compressione e SMB su RDMA (Remote Direct Memory Access), Fusion elimina in modo efficace i colli di bottiglia comuni, offrendo una soluzione in cui throughput elevato, bassa latenza e utilizzo efficiente delle risorse sono fondamentali. RDMA over Converged Ethernet (RoCE), o SMB Direct, consente inoltre ai pacchetti di dati di ignorare completamente l'elaborazione della CPU, riducendo ulteriormente la latenza e il carico della CPU per migliorare le prestazioni complessive.
La scalabilità di Fusion è uno dei suoi punti di forza principali, con la sua funzionalità di scalabilità orizzontale della condivisione di file che consente la regolazione dinamica delle PMI e dei nodi file server per soddisfare le mutevoli esigenze delle aziende. A ciò si aggiunge un solido framework di tolleranza agli errori, che incorpora failover trasparente e disponibilità continua per garantire un servizio ininterrotto, anche durante guasti del server o attività di manutenzione. Inoltre, il supporto di Fusion per l'ultimo protocollo SMB 3.1.1, insieme alle versioni precedenti, garantisce un'ampia compatibilità e interoperabilità tra varie impostazioni di rete.
Fusion File Share offre un approccio semplificato e sicuro alla gestione dei dati. Facilita la pianificazione della capacità con il supporto delle quote, fornisce controlli utente dettagliati e registri di accesso e consente configurazioni di condivisione dinamiche senza riavvio del sistema. Supporta più meccanismi di autenticazione, tra cui Kerberos, LDAP e NTLM, e si integra perfettamente con Windows ACL e Active Directory per una maggiore sicurezza e facilità di gestione. Questo set completo di funzionalità posiziona Fusion di Tuxera come una scelta altamente affidabile ed efficiente per le organizzazioni che cercano prestazioni e scalabilità superiori dalle proprie soluzioni server SMB.
Samba e prestazioni di condivisione file Fusion
Il server di archiviazione CheetahRAID RAPTOR è costruito attorno a una scheda madre AMD EPYC Gen3 a socket singolo, che esegue una CPU 24P a 7443 core con 256 GB di RAM DDR4. Il server dispone di tre contenitori che ospitano la memorizzazione di quattro SSD (12 SSD in totale). All'interno di ogni contenitore sono presenti 4 SSD Solidigm P5336 da 61.44 TB. Queste unità utilizzano connessioni NVMe dirette alla scheda madre tramite riser NVMe nativi.
Il server utilizza Graid SupremeRAID SR-1010 per la gestione RAID. Per trasmettere i dati sulla rete, è disponibile una scheda NVIDIA Connect-X 6 Dx a doppia porta da 100 GbE. Questa scheda offre fino a 200 GB di larghezza di banda combinata su entrambe le porte, offrendoci fino a 20 GB/s dentro e fuori dalla scatola attraverso la nostra struttura di rete. Il server di archiviazione esegue Ubuntu 22.04.4 LTS.
Abbiamo sfruttato due workstation HP Z4 Rack G5 per fungere da loadgen nel nostro ambiente di test. Ogni sistema aveva CPU Intel Xeon W16-5X a 2465 core e 128 GB di RAM DDR5. Offrono anche GPU NVIDIA RTX 5000 Ada e schede NIC NVIDIA ConnectX-6 Dx 100GbE per trasformarli in centrali di editing video. I sistemi sono stati configurati con Windows Server 2022. Vale la pena notare che HP non supporta direttamente Windows Server e NIC 100GbE, ma nessuno dei due ha posto problemi durante questo test.
La struttura di rete ad alta velocità li collega al CheetahRAID Raptor tramite collegamenti da 100 GbE, offrendo a ciascun client un collegamento da 10 GB/s allo spazio di archiviazione condiviso. Con 12 SSD Solidigm P61.44 QLC da 5336 TB in un pool di archiviazione Graid, potremmo condividere un enorme volume di 613 TB con ciascun host.
Per misurare i vantaggi del software Fusion di Tuxera, abbiamo confrontato la larghezza di banda di lettura e scrittura sequenziale di 1 MB e la latenza di ciascun client che interagiva simultaneamente con l'host di archiviazione CheetahRAID. Abbiamo utilizzato quattro lavori FIO su ciascun client, ciascuno dei quali misurava le prestazioni di un file da 50 GB. In totale, ha funzionato con un ingombro di 400 GB. La nostra linea di base è stata misurata utilizzando Samba versione 4.15.13 rispetto a Fusion su TCP e ancora con Fusion che sfrutta l'offload RDMA.
La larghezza di banda di base in lettura di Samba su ciascuna workstation HP Z4 Rack G5 ha misurato 4 GB/s e 3.8 GB/s, per un totale di 7.8 GB/s. In un carico di scrittura sequenziale, abbiamo misurato 2.4 GB/s e 2.6 GB/s per un totale di 5 GB/s. La latenza media di lettura è stata di 17.23 ms, mentre la latenza media di scrittura è stata di 26.6 ms.
Il passaggio al software Fusion di Tuxera ha avuto un impatto enorme, senza che fossero necessarie modifiche sul lato client. Osservando il protocollo TCP, abbiamo misurato 11.1 GB/s e 11.1 GB/s per ciascun client, ottenendo 22.2 GB/s di larghezza di banda in lettura. Questo era il limite della connessione 100GbE a ciascun host. Per la larghezza di banda in scrittura, abbiamo misurato 5.7 GB/s e 5.8 GB/s, per un totale di 11.5 GB/s. La latenza di lettura è stata in media di 6 ms mentre la latenza di scrittura è stata di 11.65 ms.
Oltre a TCP, Fusion File Share di Tuxera supporta anche RDMA. Abbiamo misurato il protocollo Fusion RDMA, che ci ha fornito una larghezza di banda in lettura di 11.6 GB/s e 11.6 GB/s per ciascun host, o 23.2 GB/s. La larghezza di banda in scrittura è stata di 5 GB/s e 5.2 GB/s, per un totale di 10.2 GB/s. La latenza di lettura in questa configurazione è stata di 5.8 ms, mentre la latenza di scrittura è stata di 13.2 ms.
Il confronto tra Samba e Fusion ha mostrato enormi vantaggi per i client Windows. La larghezza di banda in lettura ha registrato guadagni di quasi 3 volte, con una latenza pari ad appena il 33% di quella offerta da Samba. Anche la larghezza di banda in scrittura è migliorata di 2.3 volte, con una latenza pari ad appena il 44% di quella misurata con Samba.
| Protocollo | Metrico | Client1 | Client2 | Totale |
|---|---|---|---|---|
| Samba | Leggi Larghezza di banda | 4GB / s | 3.8GB / s | 7.8GB / s |
| Leggi la latenza | 16.77ms | 17.68ms | 17.23ms | |
| Scrivi larghezza di banda | 2.4GB / s | 2.6GB / s | 5GB / s | |
| Scrivi latenza | 27.5ms | 25.7ms | 26.6ms | |
| Fusione TCP | Leggi Larghezza di banda | 11.1GB / s | 11.1GB / s | 22.2GB / s |
| Leggi la latenza | 6ms | 6ms | 6ms | |
| Scrivi larghezza di banda | 5.7GB / s | 5.8GB / s | 11.5GB / s | |
| Scrivi latenza | 11.8ms | 11.5ms | 11.65ms | |
| Fusione RDMA | Leggi Larghezza di banda | 11.6GB / s | 11.6GB / s | 23.2GB / s |
| Leggi la latenza | 5.8ms | 5.8ms | 5.8ms | |
| Scrivi larghezza di banda | 5GB / s | 5.2GB / s | 10.2GB / s | |
| Scrivi latenza | 13.4ms | 13ms | 13.2ms |
Enormi SSD tengono il passo per M&E
Gli enormi SSD come il P61.44 da 5336 TB di Solidigm apportano vantaggi sostanziali ai settori dei media e dell'intrattenimento, dove velocità e affidabilità sono cruciali per la gestione di file di grandi dimensioni come video ad alta definizione, grafica complessa e tracce audio estese. A differenza dei tradizionali HDD (unità disco rigido), gli SSD offrono tempi di accesso ai dati più rapidi, velocità di lettura/scrittura superiori e maggiori operazioni I/O al secondo. Questo vantaggio prestazionale consente flussi di lavoro di editing, rendering ed elaborazione più efficienti, riducendo significativamente il tempo necessario per caricare e lavorare con file multimediali di grandi dimensioni. L'assenza di parti mobili negli SSD ne migliora l'affidabilità e la durata, rendendoli meno suscettibili a guasti meccanici e perdita di dati (preoccupazioni critiche quando si ha a che fare con contenuti multimediali di valore).
L'adozione di SSD ad alta densità negli ambienti di produzione e post-produzione multimediale semplifica i flussi di lavoro, consentendo l'editing in tempo reale, la gradazione del colore e l'elaborazione degli effetti senza compromettere la qualità o l'efficienza. Queste unità possono gestire senza problemi più flussi di video 4K, eliminando la necessità di file proxy o segnaposto a bassa risoluzione. Inoltre, il fattore di forma compatto degli SSD, combinato con le loro elevate capacità di archiviazione, semplifica la gestione dei dati consentendo di archiviare interi progetti su una singola unità o su un array minimo, facilitando così l'accesso e la gestione di grandi volumi di dati.
Oltre ai vantaggi in termini di prestazioni e capacità, gli SSD di grandi dimensioni contribuiscono a creare un ambiente di produzione più favorevole grazie al loro funzionamento silenzioso, alla minore produzione di calore e all’efficienza energetica. Queste funzionalità sono particolarmente utili nelle suite di editing ad alta densità o mobili, dove la minimizzazione del rumore e il raffreddamento sono preoccupazioni costanti. L'efficienza energetica delle unità SSD non solo riduce i costi operativi, ma supporta uno spazio di lavoro più fresco e silenzioso, migliorando la produttività complessiva e il comfort dei professionisti dei media. In sostanza, gli enormi SSD stanno trasformando il panorama dei media e dell’intrattenimento, consentendo processi di produzione più rapidi, affidabili ed efficienti in grado di tenere il passo con la crescente domanda di contenuti digitali di alta qualità.
Bridge Digital è un grande fan
Nei nostri test con l'attrezzatura CheetahRAID, abbiamo riscontrato vantaggi impressionanti per i carichi di lavoro M&E. Ma volevamo un'altra opinione da parte del settore, per vedere se i nostri risultati erano coerenti con quelli di coloro che si occupano fino alle ginocchia della gestione dei dati sul set. Abbiamo contattato il nostro amico Richie Murray, fondatore e presidente di Bridge Digital.
Bridge Digital è un'azienda con esperienza nei flussi di lavoro video digitali e nelle tecnologie per farli funzionare meglio.
Aiutano i creatori e i proprietari di contenuti digitali a costruire un'infrastruttura per creare, gestire, distribuire e monetizzare le proprie risorse video in modo efficace. Le soluzioni di Bridge Digital coprono l'intero flusso di lavoro dei media digitali, dall'acquisizione alla consegna finale.
Richie sottolinea che “Prestazioni, compatibilità e supportabilità sono le massime priorità dei nostri clienti. Questo è esattamente ciò che questa soluzione riunisce. La portabilità dei dati fornita dal sistema CheetahRAID non ha eguali nel settore, senza rinunciare alla velocità e all'affidabilità di hardware meno "nave-friendly".
Richie ha continuato affermando: “Fusion File Share è più performante ed è completamente compatibile con le workstation creative esistenti in rete. Inoltre, gli enormi SSD Solidigm abbinati all'implementazione RAID di Graid contribuiscono entrambi all'idea che "questa soluzione è maggiore della somma delle sue parti". La soluzione combinata è estremamente interessante per i moderni carichi di lavoro M&E”.
Conclusione
Le velocità sequenziali di Fusion File Share di Tuxera sono ottime per scaricare e verificare rapidamente i filmati, soprattutto quando si scatta con molte fotocamere. L'archiviazione veloce non è estranea all'uso sul set e la velocità da sola non impressionerà molto, ma la capacità di essere collegati in rete e di scaricare più sistemi contemporaneamente senza rallentamenti è un flusso di lavoro particolare in cui Tuxera Fusion eccelle.
Nella maggior parte dei casi sul set, il fattore limitante non è lo spazio di archiviazione ma il supporto della fotocamera, e questo collo di bottiglia diventa problematico, soprattutto quando si inizia a utilizzare un numero di telecamere a due cifre. Non è raro che più sistemi scarichino più schede contemporaneamente su unità indipendenti, che poi devono essere consolidate sul set su una coppia identica di unità master o presso l'ufficio postale sui loro server.
La possibilità di collegare in rete molti sistemi allo stesso pool di archiviazione Tuxera Fusion e di eseguire l'offload simultaneamente senza rallentamenti consente un enorme risparmio di tempo. Ancora più importante, un NAS standard avrebbe difficoltà con la capacità di scalare in modo efficiente lo spazio di archiviazione condiviso con molti client se si utilizza Samba, consentendo l'offload, la transcodifica, la gestione, la revisione e il controllo qualità avvenuti simultaneamente.
Sebbene abbiamo affrontato i vantaggi offerti da questa soluzione sul set, è anche fondamentale comprendere che tutto ciò comporta una complessità minima. Il server CheetahRAID, gli SSD Solidigm QLC, la gestione RAID di Graid Technologies e il protocollo Tuxera sono tutti molto facili da configurare in un'installazione Linux di base. L'intera soluzione si realizza in pochi minuti, non in ore, e aggrega le migliori tecnologie della categoria per i professionisti M&E.
Interagisci con StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
