NAB 2024 öppnade med en enorm stil, när tiotusentals deltagare strömmade till Las Vegas Convention Center för att lära sig om den senaste tekniken för media- och underhållningsproffs. Under de många åren av NAB har en hyresgäst aldrig förändrats – digitala filer blir allt viktigare, och team behöver snabbare tillgång till dem både i datacentret och på fältet.
NAB 2024 öppnade med en enorm stil, när tiotusentals deltagare strömmade till Las Vegas Convention Center för att lära sig om den senaste tekniken för media- och underhållningsproffs. Under de många åren av NAB har en hyresgäst aldrig förändrats – digitala filer blir allt viktigare, och team behöver snabbare tillgång till dem både i datacentret och på fältet. Tack och lov har teknologin gjort viktiga framsteg, som 61.44 TB SSD:er, som kan lösa komplexiteten i samband med M&E-arbetsbelastningar.
Att arbeta med en film eller ett tv-program sätter en annan stressnivå på lagring än vad som vanligtvis ses i datacentret. Lag på set behöver omedelbar tillgång till råmaterial för uppspelning, förvisualisering av VFX i realtid, kontroll av kontinuitet och omkodning. Den senare är den mest lagringskrävande. Det är inte ovanligt att bearbeta bilder snabbare än i realtid samtidigt som du laddar ner färska bilder från kamerorna. Sedan måste dessa massiva filer och deras mindre proxymotsvarigheter transporteras tillbaka till ett posthus där de kan tas in i långsiktiga lagringssystem och göras tillgängliga för efterproduktionsteamet.
CheetahRAID RAPTOR för On-Set Data Storage
För att hjälpa kreativa proffs i denna pågående strävan har CheetahRAID konfigurerat den perfekta edge-servern för datalagring på plats. De CheetahRAID RAPTOR är en robust 2U kortdjupsserver som framhävs av tre enhetsbehållare som stöder fyra SSD:er vardera. Efter filmning kan kapslarna tas bort och skickas till ett posthus för snabb förtäring. För detta projekt innehåller varje kapsel 4x Solidigm P5336 61.44TB SSD, som ger otrolig täthet. Det är nästan 250 TB råblixt per behållare.
Lösningen drar fördel av Graid SR-1010 GPU-baserat RAID-kort och medföljande programvara för att möjliggöra höghastighetsåtkomst till lagringen. Detta är avgörande eftersom Graid-kortet tar bort det mesta av RAID-hanteringen från serverns CPU, vilket frigör det för mer kritiskt arbete. Med AMD EPYC 7003-processorn inuti CheetahRAID-servern är det av yttersta vikt att ha dem tillgängliga för att utföra applikationsuppgifter.
Servern har ett NVIDIA 100GbE nätverkskort för att dela lagringen med professionella arbetsstationer. För det här testet kopplar vi ihop tvillingar HP Z4 Rack G5 rackarbetsstationer, var och en med ett 100GbE NIC direkt anslutet till servern. Detta bör göra det möjligt för oss att uppnå en teoretisk genomströmning på cirka 12.5 GB/s för varje arbetsstation. Otroligt nog är nästan tre fjärdedelar av en petabyte lagring tillgänglig för varje system.
För att på ett tillförlitligt sätt leverera så mycket hastighet till varje arbetsstation måste ett robust protokoll finnas på plats som inte bara kan hantera datarörelse utan datarörelse i denna skala. För det använder systemet Fusion File Share av Tuxera. Fusion File Share gör det möjligt för CheetahRAID-lagringsservern, baserad på Linux, att tillhandahålla SMB-resurser till arbetsstationer. Det är betydligt snabbare än den ursprungliga Linux-implementeringen av SMB-servern Samba. Och det är inte bara rå genomströmning heller; redigeringsprocessen är mycket mer känslig för latens, där även mindre hicka kan krascha redigeringsprogram.
Varför Fusion File Share?
Fusion File Share av Tuxera är ett högpresterande, skalbart distribuerat filsystem som ger tillgång till ostrukturerad eller filbaserad data över ett nätverk. Den tillhandahåller stöd för Microsofts Server Message Block (SMB)-protokoll till offentliga molnplattformar-som-en-tjänst (PaaS)-erbjudanden, mjukvarudefinierade lagringslösningar (SDS), högpresterande datorapplikationer (HPC) och nätverk av företagsklass. -ansluten lagring (NAS). Fusion har alla uppdaterade säkerhets- och SMB-funktioner för att passa krävande organisationsbehov.
Tuxeras Fusion File Share sticker ut som ett alternativ till traditionella SMB-serverlösningar som Samba, designade för att fokusera på hög prestanda och skalbarhet. Dess modulära och flertrådade arkitektur förbättrar I/O-genomströmningen, minimerar CPU-användning, minskar minnesutrymmet och stöder hantering av flera anslutningar samtidigt. Genom att utnyttja SMB-multikanal, komprimering och SMB över RDMA (Remote Direct Memory Access), eliminerar Fusion effektivt vanliga flaskhalsar, och erbjuder en lösning där hög genomströmning, låg latens och effektivt resursutnyttjande är av största vikt. RDMA over Converged Ethernet (RoCE), eller SMB Direct, tillåter också datapaket att kringgå CPU-bearbetning helt, vilket ytterligare minskar latens och CPU-belastning för förbättrad övergripande prestanda.
Fusions skalbarhet är en av dess kärnstyrkor, med dess fildelningsutskalningsfunktion som möjliggör dynamisk justering av SMB- och filservernoder för att möta företagens förändrade behov. Detta kompletteras av ett robust ramverk för feltolerans, som inkluderar transparent failover och kontinuerlig tillgänglighet för att säkerställa oavbruten service, även under serverfel eller underhållsaktiviteter. Dessutom säkerställer Fusions stöd för det senaste SMB 3.1.1-protokollet, tillsammans med tidigare versioner, bred kompatibilitet och interoperabilitet över olika nätverksinställningar.
Fusion File Share erbjuder en strömlinjeformad och säker metod för datahantering. Det underlättar kapacitetsplanering med kvotstöd, ger detaljerade användarrevisioner och åtkomstloggar, och tillåter dynamiska delningskonfigurationer utan systemstarter. Den stöder flera autentiseringsmekanismer, inklusive Kerberos, LDAP och NTLM, och integreras sömlöst med Windows ACL och Active Directory för ökad säkerhet och enklare hantering. Denna omfattande funktionsuppsättning positionerar Tuxeras Fusion som ett mycket pålitligt och effektivt val för organisationer som söker överlägsen prestanda och skalbarhet från sina SMB-serverlösningar.
Samba vs Fusion fildelningsprestanda
CheetahRAID RAPTOR-lagringsservern är byggd kring ett AMD EPYC Gen3-moderkort med en sockel som kör en 24-kärnig 7443P CPU med 256 GB DDR4-RAM. Servern har tre kapslar som rymmer fyra SSD:er (totalt 12 SSD). Inuti varje behållare finns 4x Solidigm P5336 61.44TB SSD:er. Dessa enheter använder direkta NVMe-anslutningar till moderkortet via inbyggda NVMe-risers.
Servern använder Graid SupremeRAID SR-1010 för RAID-hantering. För att skicka ut data över nätverket finns det ett NVIDIA Connect-X 6 Dx dual-port 100GbE-kort. Detta kort erbjuder upp till 200 GB bandbredd kombinerat över båda portarna, vilket ger oss upp till 20 GB/s in och ut ur lådan över vårt nätverksmaterial. Lagringsservern kör Ubuntu 22.04.4 LTS.
Vi utnyttjade två HP Z4 Rack G5-arbetsstationer för att fungera som loadgener i vår testmiljö. Varje system hade 16-kärniga Intel Xeon W5-2465X-processorer och 128 GB DDR5-RAM. De erbjuder också NVIDIA RTX 5000 Ada GPU och NVIDIA ConnectX-6 Dx 100GbE NIC för att bygga in dem till kraftpaket för videoredigering. Systemen konfigurerades med Windows Server 2022. Det är värt att notera att HP inte stöder Windows Server och 100GbE NICs direkt, men att ingendera utgjorde några problem under detta test.
Höghastighetsnätverket ansluter dem till CheetahRAID Raptor över 100GbE-länkar, vilket ger varje klient en 10GB/s-länk till delad lagring. Med 12 61.44 TB Solidigm P5336 QLC SSD:er i en Graid-lagringspool kunde vi dela en enorm 613 TB volym med varje värd.
För att mäta fördelarna med Tuxeras Fusion-programvara jämförde vi 1MB sekventiell läs- och skrivbandbredd och latens från varje klient som interagerar med CheetahRAID-lagringsvärden samtidigt. Vi använde fyra FIO-jobb på varje klient, som var och en mätte prestandan för en 50 GB-fil. Totalt blev det 400 GB fotavtryck. Vår baslinje mättes med Samba version 4.15.13 mot Fusion över TCP och igen med Fusion som utnyttjade RDMA-avlastning.
Samba läste bandbreddsbaslinjen till varje HP Z4 Rack G5-arbetsstation mätte 4 GB/s och 3.8 GB/s, för totalt 7.8 GB/s. I en sekventiell skrivbelastning mätte vi 2.4 GB/s och 2.6 GB/s för totalt 5 GB/s. Den genomsnittliga läslatensen mätte 17.23 ms, med den genomsnittliga skrivlatensen på 26.6 ms.
Att byta till Tuxeras Fusion-programvara hade en enorm inverkan, utan att det behövdes några ändringar på klientsidan. När vi tittar på TCP-protokollet mätte vi 11.1 GB/s och 11.1 GB/s från varje klient, vilket gav oss 22.2 GB/s i läsbandbredd. Detta var gränsen för 100GbE-anslutningen till varje värd. För skrivbandbredd mätte vi 5.7 GB/s och 5.8 GB/s, vilket gav oss totalt 11.5 GB/s. Läslatensen var i genomsnitt 6ms medan skrivlatensen kom in på 11.65ms.
Förutom TCP stöder Fusion File Share av Tuxera också RDMA. Vi mätte Fusion RDMA-protokollet, vilket gav oss avläsningsbandbredd som mätte 11.6 GB/s och 11.6 GB/s till varje värd, eller 23.2 GB/s. Skrivbandbredden kom in på 5 GB/s och 5.2 GB/s, eller totalt 10.2 GB/s. Läsfördröjningen i den här installationen var 5.8 ms, medan skrivfördröjningen var 13.2 ms.
Att jämföra Samba med Fusion visade enorma vinster för Windows-klienterna. Läsbandbredden ökade nästan tre gånger, med latens på bara 3 procent av vad Samba erbjöd. Skrivbandbredden förbättrades också 33 gånger, med latens på bara 2.3 procent av vad vi mätte med Samba.
| Protokoll | metrisk | Client1 | Client2 | Totalt |
|---|---|---|---|---|
| Samba | Läs Bandbredd | 4GB / s | 3.8GB / s | 7.8GB / s |
| Läs Latency | 16.77ms | 17.68ms | 17.23ms | |
| Skriv bandbredd | 2.4GB / s | 2.6GB / s | 5GB / s | |
| Skriv latens | 27.5ms | 25.7ms | 26.6ms | |
| Fusion TCP | Läs Bandbredd | 11.1GB / s | 11.1GB / s | 22.2GB / s |
| Läs Latency | 6ms | 6ms | 6ms | |
| Skriv bandbredd | 5.7GB / s | 5.8GB / s | 11.5GB / s | |
| Skriv latens | 11.8ms | 11.5ms | 11.65ms | |
| Fusion RDMA | Läs Bandbredd | 11.6GB / s | 11.6GB / s | 23.2GB / s |
| Läs Latency | 5.8ms | 5.8ms | 5.8ms | |
| Skriv bandbredd | 5GB / s | 5.2GB / s | 10.2GB / s | |
| Skriv latens | 13.4ms | 13ms | 13.2ms |
Enorma SSD:er håller takten för M&E
Massiva SSD:er som Solidigms 61.44TB P5336 ger betydande fördelar för medie- och underhållningsindustrin, där hastighet och tillförlitlighet är avgörande för att hantera stora filer som högupplösta videor, komplex grafik och omfattande ljudspår. Till skillnad från traditionella hårddiskar (hårddiskar) erbjuder SSD:er snabbare dataåtkomsttider, överlägsna läs-/skrivhastigheter och större I/O-operationer per sekund. Denna prestandafördel möjliggör effektivare redigering, rendering och bearbetning av arbetsflöden, vilket avsevärt minskar tiden det tar att ladda och arbeta med stora mediefiler. Frånvaron av rörliga delar i SSD-enheter förbättrar deras tillförlitlighet och hållbarhet, vilket gör dem mindre känsliga för mekaniska fel och dataförlust (kritiska problem vid hantering av värdefullt medieinnehåll).
Genom att använda täta SSD:er i mediaproduktion och efterproduktionsmiljöer effektiviseras arbetsflöden, vilket möjliggör realtidsredigering, färggradering och effektbearbetning utan att kompromissa med kvalitet eller effektivitet. Dessa enheter kan sömlöst hantera flera strömmar av 4K-video, vilket eliminerar behovet av proxyfiler eller lågupplösta platshållare. Dessutom förenklar den kompakta formfaktorn hos SSD-enheter, i kombination med deras höga lagringskapacitet, datahantering genom att tillåta att hela projekt lagras på en enda enhet eller en minimal array, vilket gör det lättare att komma åt och hantera stora datamängder.
Utöver prestanda- och kapacitetsfördelar bidrar massiva SSD:er till en mer gynnsam produktionsmiljö genom sin tysta drift, lägre värmeeffekt och energieffektivitet. Dessa funktioner är särskilt fördelaktiga i tätt packade eller mobila redigeringssviter, där brusminimering och kylning är ständiga problem. Energieffektiviteten hos SSD-enheter minskar inte bara driftskostnaderna utan stödjer en svalare, tystare arbetsyta – vilket ökar den övergripande produktiviteten och komforten för mediaproffs. I grund och botten förändrar massiva SSD:er medie- och underhållningslandskapet, vilket möjliggör snabbare, mer tillförlitliga och effektivare produktionsprocesser som kan hålla jämna steg med den ökande efterfrågan på digitalt innehåll av hög kvalitet.
Bridge Digital är ett stort fan
I våra egna tester med CheetahRAID-riggen såg vi imponerande fördelar för M&E-arbetsbelastningar. Men vi ville ha en annan åsikt från branschen, för att se om våra resultat stämde överens med dem som är djupt insatta i datahantering. Vi nådde ut till vår vän Richie Murray, grundare och VD för Bridge Digital.
Bridge Digital är ett företag med expertis inom digitala videoarbetsflöden och teknikerna för att få dem att fungera bättre.
De hjälper skapare och ägare av digitalt innehåll att bygga en infrastruktur för att skapa, hantera, distribuera och tjäna pengar på sina videotillgångar på ett effektivt sätt. Bridge Digitals lösningar täcker hela det digitala mediearbetsflödet — från intag till slutleverans.
Richie noterar att "Prestanda, kompatibilitet och supportbarhet är våra kunders högsta prioritet. Det är precis vad denna lösning förenar. Portabiliteten av data som CheetahRAID-systemet tillhandahåller är oöverträffad i branschen, samtidigt som den inte ger upp hastigheten och tillförlitligheten hos mindre "fartygsvänlig" hårdvara."
Richie fortsatte med att säga, "Fusion File Share är mer presterande och är helt kompatibel med befintliga nätverksanslutna kreativa arbetsstationer. Dessutom bidrar de massiva Solidigm SSD:erna ihop med Graids RAID-implementering båda till idén att "den här lösningen är större än summan av dess delar." Den kombinerade lösningen är extremt övertygande för moderna M&E-arbetsbelastningar."
Slutsats
Tuxeras Fusion File Share-sekventiella hastigheter är utmärkta för att få film att ladda ner och verifiera snabbt, särskilt när du fotograferar med många kameror. Snabb lagring är inte främmande för användning på setet, och enbart hastighet kommer inte att imponera särskilt mycket, men möjligheten att vara nätverksansluten och ha flera system som laddas ner samtidigt utan att sakta ner är ett särskilt arbetsflöde som Tuxera Fusion utmärker sig med.
För det mesta på uppsättningen är den begränsande faktorn inte lagringen utan kameramediet, och denna flaskhals blir problematisk, speciellt när du börjar komma in på ett tvåsiffrigt antal kameror. Det är inte ovanligt att flera system laddar bort flera kort samtidigt till oberoende enheter, som sedan måste konsolideras antingen på set till ett identiskt par masterenheter eller vid posthuset på sina servrar.
Möjligheten att nätverka många system till samma Tuxera Fusion-lagringspool och ladda ner samtidigt utan att sakta ner är en enorm tidsbesparing. Ännu viktigare är att en standard-NAS skulle kämpa med möjligheten att ha den delade lagringsskalan effektivt med många klienter om man använder Samba, vilket möjliggör avlastning, omkodning, hantering, granskning och QC för alla att ske samtidigt.
Även om vi har tagit upp fördelarna med den här lösningen på uppsättningen, är det också viktigt att förstå att allt detta kommer med mycket liten komplexitet. CheetahRAID-servern, Solidigm QLC SSD, Graid Technologies RAID-hantering och Tuxera-protokollet är alla mycket enkla att konfigurera i en basinstallation av Linux. Hela lösningen samlas på minuter, inte timmar, och samlar klassens bästa teknologier för M&E-proffs.
Engagera dig med StorageReview
Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde
