NAB 2024 opende met enorme flair, toen tienduizenden bezoekers naar het Las Vegas Convention Center stroomden om meer te weten te komen over de nieuwste technologie voor media- en entertainmentprofessionals. In de vele jaren dat NAB bestaat, is één huurder nooit veranderd: digitale bestanden worden steeds belangrijker en teams hebben snellere toegang tot deze bestanden nodig, zowel in het datacenter als op locatie.
NAB 2024 opende met enorme flair, toen tienduizenden bezoekers naar het Las Vegas Convention Center stroomden om meer te weten te komen over de nieuwste technologie voor media- en entertainmentprofessionals. In de vele jaren dat NAB bestaat, is één huurder nooit veranderd: digitale bestanden worden steeds belangrijker en teams hebben snellere toegang tot deze bestanden nodig, zowel in het datacenter als op locatie. Gelukkig heeft de technologie cruciale vooruitgang geboekt, zoals SSD's van 61.44 TB, die de complexiteit van M&E-workloads kunnen oplossen.
Bij het werken aan een film of televisieprogramma wordt de opslag op een ander niveau belast dan normaal gesproken in het datacenter. Teams op de set hebben directe toegang nodig tot de onbewerkte beelden om ze af te spelen, VFX vooraf in realtime te visualiseren, de continuïteit te controleren en te transcoderen. Dit laatste is het meest opslagintensief. Het is niet ongebruikelijk om beelden sneller dan in realtime te verwerken terwijl nieuwe beelden van de camera's worden overgebracht. Vervolgens moeten deze enorme bestanden en hun kleinere proxy-tegenhangers worden teruggestuurd naar een postkantoor waar ze kunnen worden opgenomen in opslagsystemen voor de lange termijn en beschikbaar kunnen worden gesteld aan het postproductieteam.
CheetahRAID RAPTOR voor gegevensopslag op de set
Om creatieve professionals bij dit voortdurende streven te helpen, heeft CheetahRAID de perfecte edge-server geconfigureerd voor gegevensopslag op de set. De CheetahRAID RAPTOR is een robuuste 2U-server met korte diepte, gemarkeerd door drie schijfcontainers die elk vier SSD's ondersteunen. Na het filmen kunnen de bussen worden verwijderd en naar een postkantoor worden verzonden voor snelle inname. Voor dit project bevat elke bus 4x Solidigm P5336 61.44TB SSD's, die een ongelooflijke dichtheid bieden. Dat is bijna 250 TB aan onbewerkte flash per bus.
De oplossing maakt gebruik van de Graid SR-1010 GPU-gebaseerde RAID-kaart en bijbehorende software om snelle toegang tot de opslag mogelijk te maken. Dit is van cruciaal belang omdat de Graid-kaart het grootste deel van het RAID-beheer wegneemt van de CPU van de server, waardoor deze vrijkomt voor meer kritisch werk. Met de AMD EPYC 7003-processor in de CheetahRAID-server is het van het grootste belang dat deze beschikbaar zijn voor het uitvoeren van applicatietaken.
De server beschikt over een NVIDIA 100GbE netwerkkaart om de opslag te delen met professionele werkstations. Voor deze tests koppelen we een tweeling HP Z4 Rack G5 rackwerkstations, elk met een 100GbE NIC die rechtstreeks op de server is aangesloten. Dit zou ons in staat moeten stellen om voor elk werkstation een theoretische doorvoersnelheid van ongeveer 12.5 GB/s te bereiken. Het is ongelooflijk dat voor elk systeem bijna driekwart petabyte aan opslagruimte beschikbaar is.
Om op betrouwbare wijze zoveel snelheid aan elk werkstation te kunnen leveren, moet er echter een robuust protocol aanwezig zijn dat niet alleen databewegingen, maar ook databewegingen op deze schaal aankan. Daarvoor gebruikt het systeem Fusion File Share van Tuxera. Fusion File Share zorgt ervoor dat de CheetahRAID-opslagserver, gebaseerd op Linux, SMB-shares aan werkstations kan leveren. Het is aanzienlijk sneller dan de originele Linux-implementatie van de SMB Server, Samba. En het gaat niet alleen om de ruwe doorvoer; het bewerkingsproces is veel gevoeliger voor latentie, waarbij zelfs kleine haperingen bewerkingsprogramma's kunnen laten crashen.
Waarom Fusion-bestandsshare?
Fusion File Share van Tuxera is een krachtig, schaalbaar gedistribueerd bestandssysteem dat toegang biedt tot ongestructureerde of op bestanden gebaseerde gegevens via een netwerk. Het biedt ondersteuning voor het Server Message Block (SMB)-protocol van Microsoft voor openbare cloudplatform-as-a-service (PaaS)-aanbiedingen, softwaregedefinieerde opslag (SDS)-oplossingen, high-performance computing (HPC)-applicaties en bedrijfsnetwerken. - aangesloten opslag (NAS). Fusion beschikt over alle bijgewerkte beveiligings- en MKB-mogelijkheden om aan de veeleisende organisatorische behoeften te voldoen.
Tuxera's Fusion File Share onderscheidt zich als alternatief voor traditionele MKB-serveroplossingen zoals Samba, ontworpen om zich te concentreren op hoge prestaties en schaalbaarheid. De modulaire en multithreaded architectuur verbetert de I/O-doorvoer, minimaliseert het CPU-gebruik, verkleint de geheugenvoetafdruk en ondersteunt het gelijktijdig beheren van meerdere verbindingen. Door gebruik te maken van SMB multichannel, compressie en SMB via RDMA (Remote Direct Memory Access), elimineert Fusion op effectieve wijze veelvoorkomende knelpunten en biedt het een oplossing waarbij hoge doorvoer, lage latentie en efficiënt gebruik van bronnen van cruciaal belang zijn. Met RDMA over Converged Ethernet (RoCE), of SMB Direct, kunnen datapakketten de CPU-verwerking volledig omzeilen, waardoor de latentie en CPU-belasting verder worden verminderd voor betere algehele prestaties.
De schaalbaarheid van Fusion is een van de sterke punten van Fusion, met de functie voor het uitschalen van bestandsshares die dynamische aanpassing van SMB- en bestandsserverknooppunten mogelijk maakt om aan de veranderende behoeften van bedrijven te voldoen. Dit wordt aangevuld door een robuust fouttolerantieframework, dat transparante failover en continue beschikbaarheid omvat om een ononderbroken service te garanderen, zelfs tijdens serverstoringen of onderhoudsactiviteiten. Bovendien zorgt Fusion's ondersteuning voor het nieuwste SMB 3.1.1-protocol, naast eerdere versies, voor een brede compatibiliteit en interoperabiliteit tussen verschillende netwerkinstellingen.
Fusion File Share biedt een gestroomlijnde en veilige benadering van gegevensbeheer. Het vergemakkelijkt de capaciteitsplanning met quota-ondersteuning, biedt gedetailleerde gebruikersaudits en toegangslogboeken, en maakt dynamische deelconfiguraties mogelijk zonder dat het systeem opnieuw moet worden opgestart. Het ondersteunt meerdere authenticatiemechanismen, waaronder Kerberos, LDAP en NTLM, en integreert naadloos met Windows ACL en Active Directory voor verbeterde beveiliging en beheergemak. Deze uitgebreide functieset positioneert Tuxera's Fusion als een zeer betrouwbare en efficiënte keuze voor organisaties die op zoek zijn naar superieure prestaties en schaalbaarheid van hun MKB-serveroplossingen.
Samba versus Fusion-prestaties voor het delen van bestanden
De CheetahRAID RAPTOR-opslagserver is gebouwd rond een AMD EPYC Gen3-moederbord met één socket, met een 24-core 7443P CPU met 256 GB DDR4 RAM. De server heeft drie containers die de opslag van vier SSD's huisvesten (totaal 12 SSD's). In elke bus zitten 4x Solidigm P5336 61.44TB SSD's. Deze schijven maken gebruik van directe NVMe-verbindingen met het moederbord via native NVMe-risers.
De server gebruikt Graid SupremeRAID SR-1010 voor RAID-beheer. Om gegevens via het netwerk door te sturen, is er een NVIDIA Connect-X 6 Dx dual-port 100GbE-kaart. Deze kaart biedt tot 200 Gb bandbreedte gecombineerd over beide poorten, waardoor we tot 20 GB/s in en uit de doos kunnen halen via ons netwerk. De opslagserver draait Ubuntu 22.04.4 LTS.
We hebben twee HP Z4 Rack G5-werkstations ingezet als loadgens in onze testomgeving. Elk systeem had 16-core Intel Xeon W5-2465X CPU's en 128 GB DDR5 RAM. Ze bieden ook NVIDIA RTX 5000 Ada GPU's en NVIDIA ConnectX-6 Dx 100GbE NIC's om ze in te bouwen tot krachtpatsers voor videobewerking. De systemen zijn geconfigureerd met Windows Server 2022. Het is vermeldenswaard dat HP Windows Server en 100GbE NIC's niet rechtstreeks ondersteunt, maar geen van beide problemen opleverde tijdens deze tests.
Het hogesnelheidsnetwerk verbindt ze met de CheetahRAID Raptor via 100GbE-links, waardoor elke client een 10GB/s-link naar gedeelde opslag krijgt. Met 12 Solidigm P61.44 QLC SSD's van 5336 TB in een Graid-opslagpool konden we een enorm volume van 613 TB delen met elke host.
Om het voordeel van de Fusion-software van Tuxera te meten, hebben we de sequentiële lees- en schrijfbandbreedte en latentie van 1 MB vergeleken van elke client die tegelijkertijd met de CheetahRAID-opslaghost communiceerde. We hebben voor elke client vier FIO-taken gebruikt, waarbij elk de prestaties van een bestand van 50 GB meet. In totaal kwam dat neer op een voetafdruk van 400 GB. Onze basislijn werd gemeten met behulp van Samba versie 4.15.13 tegen Fusion via TCP en opnieuw met Fusion die gebruik maakte van RDMA-offload.
De Samba-leesbandbreedtebasislijn voor elk HP Z4 Rack G5-werkstation was 4 GB/s en 3.8 GB/s, voor een totaal van 7.8 GB/s. Bij een sequentiële schrijfwerklast hebben we 2.4 GB/s en 2.6 GB/s gemeten, voor een totaal van 5 GB/s. De gemiddelde leeslatentie bedroeg 17.23 ms, terwijl de gemiddelde schrijflatentie 26.6 ms bedroeg.
De overstap naar de Fusion-software van Tuxera had een enorme impact, zonder dat er aan de klantzijde verandering nodig was. Kijkend naar het TCP-protocol hebben we 11.1 GB/s en 11.1 GB/s van elke client gemeten, wat ons een leesbandbreedte van 22.2 GB/s opleverde. Dit was de limiet van de 100GbE-verbinding met elke host. Voor schrijfbandbreedte hebben we 5.7 GB/s en 5.8 GB/s gemeten, wat ons een totaal van 11.5 GB/s oplevert. De leeslatentie bedroeg gemiddeld 6 ms, terwijl de schrijflatentie 11.65 ms bedroeg.
Naast TCP ondersteunt Fusion File Share van Tuxera ook RDMA. We hebben het Fusion RDMA-protocol gemeten, wat ons een leesbandbreedte gaf van 11.6 GB/s en 11.6 GB/s naar elke host, oftewel 23.2 GB/s. De schrijfbandbreedte bedroeg 5 GB/s en 5.2 GB/s, of een totaal van 10.2 GB/s. De leeslatentie in deze opstelling was 5.8 ms, terwijl de schrijflatentie 13.2 ms was.
Het vergelijken van Samba met Fusion liet enorme voordelen zien voor de Windows-clients. De bandbreedte voor lezen kende een winst van bijna drie keer, met een latentie van slechts 3 procent van wat Samba te bieden had. De schrijfbandbreedte verbeterde ook met 33x, met een latentie van slechts 2.3 procent van wat we met Samba hebben gemeten.
| Protocol | metrisch | Client1 | Client2 | Totaal |
|---|---|---|---|---|
| Samba | Lees bandbreedte | 4GB / s | 3.8GB / s | 7.8GB / s |
| Lees Latency | 16.77ms | 17.68ms | 17.23ms | |
| Schrijf bandbreedte | 2.4GB / s | 2.6GB / s | 5GB / s | |
| Schrijflatentie | 27.5ms | 25.7ms | 26.6ms | |
| Fusion-TCP | Lees bandbreedte | 11.1GB / s | 11.1GB / s | 22.2GB / s |
| Lees Latency | 6ms | 6ms | 6ms | |
| Schrijf bandbreedte | 5.7GB / s | 5.8GB / s | 11.5GB / s | |
| Schrijflatentie | 11.8ms | 11.5ms | 11.65ms | |
| Fusie RDMA | Lees bandbreedte | 11.6GB / s | 11.6GB / s | 23.2GB / s |
| Lees Latency | 5.8ms | 5.8ms | 5.8ms | |
| Schrijf bandbreedte | 5GB / s | 5.2GB / s | 10.2GB / s | |
| Schrijflatentie | 13.4ms | 13ms | 13.2ms |
Enorme SSD's die gelijke tred houden met M&E
Enorme SSD's zoals de 61.44TB P5336 van Solidigm bieden aanzienlijke voordelen voor de media- en entertainmentindustrie, waar snelheid en betrouwbaarheid cruciaal zijn voor het verwerken van grote bestanden zoals high-definition video's, complexe grafische afbeeldingen en uitgebreide audiotracks. In tegenstelling tot traditionele HDD's (harde schijven) bieden SSD's snellere gegevenstoegangstijden, superieure lees-/schrijfsnelheden en grotere I/O-bewerkingen per seconde. Dit prestatievoordeel zorgt voor efficiëntere bewerkings-, rendering- en verwerkingsworkflows, waardoor de tijd die nodig is om grote mediabestanden te laden en ermee te werken aanzienlijk wordt verkort. De afwezigheid van bewegende delen in SSD's verbetert hun betrouwbaarheid en duurzaamheid, waardoor ze minder gevoelig zijn voor mechanische storingen en gegevensverlies (cruciale problemen bij het omgaan met waardevolle media-inhoud).
Het gebruik van dichte SSD's in mediaproductie- en postproductieomgevingen stroomlijnt de workflows, waardoor realtime bewerking, kleurcorrectie en effectverwerking mogelijk worden zonder dat dit ten koste gaat van de kwaliteit of efficiëntie. Deze schijven kunnen naadloos meerdere streams 4K-video verwerken, waardoor er geen proxybestanden of tijdelijke aanduidingen met een lage resolutie nodig zijn. Bovendien vereenvoudigt de compacte vormfactor van SSD's, gecombineerd met hun hoge opslagcapaciteiten, het gegevensbeheer doordat volledige projecten op één enkele schijf of een minimale array kunnen worden opgeslagen, waardoor het gemakkelijker wordt om grote hoeveelheden gegevens te openen en te beheren.
Naast prestatie- en capaciteitsvoordelen dragen enorme SSD's bij aan een gunstiger productieomgeving door hun stille werking, lagere warmteafgifte en energie-efficiëntie. Deze functies zijn vooral nuttig in dicht opeengepakte of mobiele bewerkingssuites, waar ruisminimalisatie en koeling voortdurende zorgen zijn. De energie-efficiëntie van SSD's verlaagt niet alleen de operationele kosten, maar ondersteunt ook een koelere, stillere werkruimte, waardoor de algehele productiviteit en het comfort van mediaprofessionals wordt verbeterd. In wezen transformeren enorme SSD's het media- en entertainmentlandschap, waardoor snellere, betrouwbaardere en efficiëntere productieprocessen mogelijk worden die gelijke tred kunnen houden met de toenemende vraag naar digitale inhoud van hoge kwaliteit.
Bridge Digital is een grote fan
Tijdens onze eigen tests met de CheetahRAID-installatie zagen we indrukwekkende voordelen voor M&E-workloads. Maar we wilden een andere mening van de industrie, om te zien of onze bevindingen consistent waren met die van degenen die diep in de set datamanagement zitten. We namen contact op met onze vriend Richie Murray, oprichter en president van Bridge Digital.
Bridge Digital is een bedrijf met expertise in digitale videoworkflows en de technologieën om deze beter te laten werken.
Ze helpen makers en eigenaren van digitale inhoud bij het bouwen van een infrastructuur om hun video-items effectief te creëren, beheren, distribueren en er inkomsten mee te genereren. De oplossingen van Bridge Digital bestrijken de gehele digitale mediaworkflow – van opname tot uiteindelijke levering.
Richie merkt op dat “Prestaties, compatibiliteit en ondersteuningsmogelijkheden de hoogste prioriteiten van onze klanten zijn. Dat is precies wat deze oplossing samenbrengt. De overdraagbaarheid van gegevens die het CheetahRAID-systeem biedt, is ongeëvenaard in de branche, terwijl de snelheid en betrouwbaarheid van minder 'schipvriendelijke' hardware niet wordt opgegeven.”
Richie vervolgde: “Fusion File Share presteert beter en is volledig compatibel met bestaande creatieve netwerkwerkstations. Bovendien dragen de enorme Solidigm SSD's in combinatie met Graid's RAID-implementatie beide bij aan het idee dat 'deze oplossing groter is dan de som der delen.' De gecombineerde oplossing is buitengewoon aantrekkelijk voor moderne M&E-workloads.”
Conclusie
De sequentiële snelheden Fusion File Share van Tuxera zijn ideaal om beelden snel te uploaden en te verifiëren, vooral als je met veel camera's fotografeert. Snelle opslag is geen onbekende bij gebruik op de set, en snelheid alleen zal niet veel indruk maken, maar de mogelijkheid om te netwerken en meerdere systemen tegelijkertijd te laten ontladen zonder te vertragen, is een specifieke workflow waar Tuxera Fusion in uitblinkt.
Meestal is de beperkende factor op de set niet de opslag, maar de cameramedia, en dit knelpunt wordt problematisch, vooral als je een aantal camera's met dubbele cijfers begint te gebruiken. Het is niet ongebruikelijk dat meerdere systemen meerdere kaarten tegelijkertijd naar onafhankelijke schijven overbrengen, die vervolgens moeten worden geconsolideerd op de set met een identiek paar masterschijven of in het postkantoor op hun servers.
De mogelijkheid om veel systemen op dezelfde Tuxera Fusion-opslagpool te netwerken en tegelijkertijd te offloaden zonder te vertragen, bespaart enorm veel tijd. Belangrijker nog is dat een standaard NAS moeite zou hebben met de mogelijkheid om die gedeelde opslag efficiënt te kunnen schalen met veel clients als hij Samba zou gebruiken, waardoor offloaden, transcoderen, beheren, beoordelen en kwaliteitscontrole allemaal tegelijkertijd kunnen plaatsvinden.
Hoewel we de voordelen die deze oplossing op de set biedt hebben besproken, is het ook van cruciaal belang om te begrijpen dat dit alles met zeer weinig complexiteit gepaard gaat. De CheetahRAID-server, Solidigm QLC SSD's, Graid Technologies RAID-beheer en het Tuxera-protocol zijn allemaal heel eenvoudig te configureren in een basis Linux-installatie. De hele oplossing komt binnen enkele minuten in plaats van uren samen en combineert de beste technologieën in zijn klasse voor M&E-professionals.
Neem contact op met StorageReview
Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
