主页 Enterprise 存储创新在行动:改变电影和电视工作流程

存储创新在行动:改变电影和电视工作流程

by 布赖恩·比勒

NAB 2024 盛大开幕,成千上万的与会者涌向拉斯维加斯会议中心,了解媒体和娱乐专业人士的最新技术。 NAB 多年来,一个租户从未发生过变化——数字文件变得越来越重要,团队需要在数据中心和现场更快地访问它们。

NAB 2024 盛大开幕,成千上万的与会者涌向拉斯维加斯会议中心,了解媒体和娱乐专业人士的最新技术。 NAB 多年来,一个租户从未发生过变化——数字文件变得越来越重要,团队需要在数据中心和现场更快地访问它们。值得庆幸的是,技术已经取得了重大进步,例如 61.44TB SSD,可以解决 M&E 工作负载所涉及的复杂性。

拍摄电影或电视节目给存储带来的压力水平与数据中心通常看到的压力水平不同。现场团队需要即时访问原始素材进行回放、实时预览视觉特效、检查连续性和转码。后者是存储最密集的。在从摄像机中卸载新镜头的同时,以比实时更快的速度处理镜头的情况并不少见。然后,这些大量文件及其较小的代理副本必须被运回后期制作室,在那里它们可以被摄取到长期存储系统中并提供给后期制作团队。

用于现场数据存储的 CheetahRAID RAPTOR

为了帮助创意专业人士持续不断地努力,CheetahRAID 为片场数据存储配置了完美的边缘服务器。这 猎豹突袭猛禽 是一款坚固耐用的 2U 短深度服务器,其特点是三个驱动器罐,每个驱动器罐支持四个 SSD。拍摄结束后,可以将罐子取出并运送到后期制作室以便快速摄入。对于此项目,每个罐包含 4x Solidigm P5336 61.44TB 固态硬盘,提供令人难以置信的密度。每个容器的原始闪存容量接近 250TB。

该解决方案利用了 Graid SR-1010 基于 GPU 的 RAID 卡 以及随附的软件,可实现对存储的高速访问。这一点至关重要,因为 Graid 卡将大部分 RAID 管理从服务器的 CPU 中解放出来,从而将其腾出来用于更关键的工作。由于 CheetahRAID 服务器内装有 AMD EPYC 7003 处理器,因此让它们能够执行应用程序任务至关重要。

该服务器配有 NVIDIA 100GbE 网卡,可与专业工作站共享存储。对于此测试,我们将双胞胎配对 HP Z4 机架 G5 机架工作站,每个都有一个 100GbE NIC 直接连接到服务器。这将使我们能够为每个工作站实现约 12.5GB/s 的理论吞吐量。令人难以置信的是,每个系统都有近四分之三 PB 的存储空间可供使用。

然而,为了可靠地向每个工作站提供如此高的速度,需要制定一个强大的协议,不仅可以处理数据移动,还可以处理这种规模的数据移动。为此,系统使用 Tuxera 的 Fusion File Share。 Fusion File Share使基于Linux的CheetahRAID存储服务器能够向工作站提供SMB共享。它比 SMB 服务器 Samba 的原始 Linux 实现要快得多。这不仅仅是原始吞吐量;它还包括原始吞吐量。编辑过程对延迟更加敏感,即使是很小的问题也会导致编辑程序崩溃。

为什么选择融合文件共享?

Tuxera 的 Fusion File Share 是一种高性能、可扩展的分布式文件系统,可通过网络访问非结构化或基于文件的数据。它为公共云平台即服务 (PaaS) 产品、软件定义存储 (SDS) 解决方案、高性能计算 (HPC) 应用程序和企业级网络提供对 Microsoft 服务器消息块 (SMB) 协议的支持-附加存储(NAS)。 Fusion 具有所有更新的安全性和 SMB 功能,可以满足苛刻的组织需求。

Tuxera 的 Fusion File Share 作为 Samba 等传统 SMB 服务器解决方案的替代方案脱颖而出,旨在专注于高性能和可扩展性。其模块化和多线程架构增强了 I/O 吞吐量,最大限度地减少 CPU 使用率,减少内存占用,并支持同时管理多个连接。通过利用 SMB 多通道、压缩和基于 RDMA(远程直接内存访问)的 SMB,Fusion 有效地消除了常见瓶颈,提供了一种以高吞吐量、低延迟和高效资源利用为首要因素的解决方案。基于融合以太网的 RDMA (RoCE) 或 SMB Direct 还允许数据包完全绕过 CPU 处理,进一步减少延迟和 CPU 负载,从而提高整体性能。

Fusion 的可扩展性是其核心优势之一,其文件共享横向扩展功能可以动态调整 SMB 和文件服务器节点,以满足企业不断变化的需求。强大的容错框架对此进行了补充,结合了透明的故障转移和持续可用性,以确保服务不间断,即使在服务器故障或维护活动期间也是如此。此外,Fusion 对最新 SMB 3.1.1 协议以及早期版本的支持确保了跨各种网络设置的广泛兼容性和互操作性。

Fusion File Share 提供了一种简化且安全的数据管理方法。它通过配额支持促进容量规划,提供详细的用户审核和访问日志,并允许动态共享配置而无需重新启动系统。它支持多种身份验证机制,包括 Kerberos、LDAP 和 NTLM,并与 Windows ACL 和 Active Directory 无缝集成,以增强安全性并易于管理。这一全面的功能集使 Tuxera 的 Fusion 成为寻求中小型服务器解决方案卓越性能和可扩展性的组织的高度可靠和高效的选择。

Samba 与 Fusion 文件共享性能

CheetahRAID RAPTOR 存储服务器围绕单插槽 AMD EPYC Gen3 主板构建,运行 24 核 7443P CPU 和 256GB DDR4 RAM。该服务器具有三个容器,可容纳四个 SSD(总共 12 个 SSD)。每个容器内有 4 个 Solidigm P5336 61.44TB SSD。这些驱动器通过本机 NVMe 转接卡使用与主板的直接 NVMe 连接。

服务器使用 Graid SupremeRAID SR-1010 进行 RAID 管理。为了通过网络传输数据,可以使用 NVIDIA Connect-X 6 Dx 双端口 100GbE 卡。该卡在两个端口上提供高达 200Gb 的带宽组合,为我们的网络结构提供高达 20GB/s 的开箱即用速度。存储服务器运行Ubuntu 22.04.4 LTS。

我们利用两台 HP Z4 Rack G5 工作站作为测试环境中的负载生成器。每个系统均配备 16 核 Intel Xeon W5-2465X CPU 和 128GB DDR5 RAM。他们还提供 NVIDIA RTX 5000 Ada GPU 和 NVIDIA ConnectX-6 Dx 100GbE NIC,将其打造为视频编辑引擎。这些系统配置了 Windows Server 2022。值得注意的是,HP 不直接支持 Windows Server 和 100GbE NIC,但在测试过程中都没有出现任何问题。

高速网络结构通过 100GbE 链路将它们连接到 CheetahRAID Raptor,为每个客户端提供 10GB/s 的共享存储链路。通过 Graid 存储池中的 12 个 61.44TB Solidigm P5336 QLC SSD,我们可以与每台主机共享 613TB 的海量卷。

为了衡量 Tuxera Fusion 软件的优势,我们比较了每个客户端同时与 CheetahRAID 存储主机交互的 1MB 顺序读写带宽和延迟。我们在每个客户端上使用了四个 FIO 作业,每个作业测量 50GB 文件的性能。总共占用了 400GB 空间。我们的基线是使用 Samba 版本 4.15.13 针对基于 TCP 的 Fusion 进行测量的,并再次使用利用 RDMA 卸载的 Fusion 进行测量。

每个 HP Z4 Rack G5 工作站的 Samba 读取带宽基准测得为 4GB/s 和 3.8GB/s,总计 7.8GB/s。在顺序写入工作负载中,我们测得 2.4GB/s 和 2.6GB/s,总计 5GB/s。平均读取延迟为 17.23 毫秒,平均写入延迟为 26.6 毫秒。

切换到 Tuxera 的 Fusion 软件产生了巨大的影响,客户端无需进行任何更改。查看 TCP 协议,我们测量了每个客户端的 11.1GB/s 和 11.1GB/s,从而得出 22.2GB/s 的读取带宽。这是每台主机的 100GbE 连接的限制。对于写入带宽,我们测量了 5.7GB/s 和 5.8GB/s,总计 11.5GB/s。读取延迟平均为 6 毫秒,而写入延迟为 11.65 毫秒。

除了 TCP 之外,Tuxera 的 Fusion File Share 还支持 RDMA。我们测量了 Fusion RDMA 协议,该协议为每个主机提供了 11.6GB/s 和 11.6GB/s 的读取带宽,即 23.2GB/s。写入带宽为 5GB/s 和 5.2GB/s,总计 10.2GB/s。此设置中的读取延迟为 5.8 毫秒,而写入延迟为 13.2 毫秒。

将 Samba 与 Fusion 进行比较表明,Windows 客户端获得了巨大的收益。读取带宽几乎增加了 3 倍,延迟仅为 Samba 的 33%。写入带宽也提高了 2.3 倍,延迟仅为我们使用 Samba 测量的 44%。

协议 米制 Client1 Client2 合计
桑巴 读取带宽 4GB /秒 3.8GB /秒 7.8GB /秒
阅读延迟 16.77ms 17.68ms 17.23ms
写入带宽 2.4GB /秒 2.6GB /秒 5GB /秒
写入延迟 27.5ms 25.7ms 26.6ms
融合TCP 读取带宽 11.1GB /秒 11.1GB /秒 22.2GB /秒
阅读延迟 6ms 6ms 6ms
写入带宽 5.7GB /秒 5.8GB /秒 11.5GB /秒
写入延迟 11.8ms 11.5ms 11.65ms
融合RDMA 读取带宽 11.6GB /秒 11.6GB /秒 23.2GB /秒
阅读延迟 5.8ms 5.8ms 5.8ms
写入带宽 5GB /秒 5.2GB /秒 10.2GB /秒
写入延迟 13.4ms 13ms 13.2ms

巨大的 SSD 与 M&E 保持同步

像 Solidigm 61.44TB P5336 这样的海量 SSD 为媒体和娱乐行业带来了巨大的好处,在这些行业中,速度和可靠性对于处理高清视频、复杂图形和大量音轨等大型文件至关重要。与传统 HDD(硬盘驱动器)不同,SSD 提供更快的数据访问时间、卓越的读/写速度以及每秒更大的 I/O 操作。这种性能优势可以实现更高效的编辑、渲染和处理工作流程,从而显着减少加载和处理大型媒体文件所需的时间。 SSD 中没有移动部件,增强了其可靠性和耐用性,使其不易出现机械故障和数据丢失(处理有价值的媒体内容时的关键问题)。

在媒体制作和后期制作环境中采用高密度 SSD 可简化工作流程,实现实时编辑、色彩分级和效果处理,而不会影响质量或效率。这些驱动器可以无缝处理多个 4K 视频流,无需代理文件或低分辨率占位符。此外,SSD 的紧凑外形与其高存储容量相结合,允许将整个项目存储在单个驱动器或最小阵列上,从而简化了数据管理,从而更轻松地访问和管理大量数据。

除了性能和容量优势之外,大容量 SSD 还通过其静音运行、较低的热量输出和能源效率,为更有利的生产环境做出了贡献。这些功能在密集的或移动编辑套件中特别有用,因为噪音最小化和冷却是持续关注的问题。 SSD 的能源效率不仅降低了运营成本,还支持更凉爽、更安静的工作空间,从而提高媒体专业人员的整体生产力和舒适度。从本质上讲,海量 SSD 正在改变媒体和娱乐领域,实现更快、更可靠、更高效的生产流程,以满足对高质量数字内容日益增长的需求。

Bridge Digital 是它的忠实粉丝

在我们自己使用 CheetahRAID 设备进行的测试中,我们看到了 M&E 工作负载的显着优势。但我们希望得到业界的另一种意见,看看我们的发现是否与那些深入研究现场数据管理的人一致。我们联系了我们的朋友 Bridge Digital 的创始人兼总裁 Richie Murray。

Bridge Digital 是一家在数字视频工作流程和使其更好运行的技术方面拥有专业知识的公司。
它们帮助数字内容的创作者和所有者构建基础设施,以有效地创建、管理、分发视频资产并使其货币化。 Bridge Digital 的解决方案涵盖整个数字媒体工作流程——从摄取到最终交付。

Richie 指出:“性能、兼容性和可支持性是我们客户的首要任务。这正是该解决方案所带来的。 CheetahRAID 系统提供的数据可移植性在业界是无与伦比的,同时又不放弃不太“船舶友好”硬件的速度和可靠性。”

Richie 继续说道:“Fusion File Share 性能更高,并且与现有的网络创意工作站完全兼容。此外,大量的 Solidigm SSD 与 Graid 的 RAID 实施相结合,都有助于实现“该解决方案大于其各部分之和”的理念。该组合解决方案对于现代 M&E 工作负载而言极具吸引力。”

结论

Tuxera 的 Fusion File Share 顺序速度非常适合快速卸载和验证素材,尤其是在使用许多摄像机拍摄时。快速存储对于现场使用来说并不陌生,仅速度不会给人留下太深刻的印象,但联网和同时卸载多个系统而不减慢速度的能力是 Tuxera Fusion 擅长的特殊工作流程。

大多数时候,在拍摄现场,限制因素不是存储,而是摄像机介质,而这个瓶颈就会成为问题,特别是当摄像机数量开始达到两位数时。多个系统同时将多个卡卸载到独立驱动器的情况并不少见,然后需要在现场将其整合到一对相同的主驱动器或在其服务器上的邮局进行整合。

将多个系统联网到同一个 Tuxera Fusion 存储池并同时卸载而不减慢速度的能力可以节省大量时间。更重要的是,如果使用 Samba,使卸载、转码、管理、审查和质量控制同时发生,标准 NAS 将难以与许多客户端有效地共享存储扩展。

虽然我们已经讨论了该解决方案在现场提供的好处,但了解所有这些都非常简单也很重要。 CheetahRAID 服务器、Solidigm QLC SSD、Graid Technologies RAID 管理和 Tuxera 协议都非常容易在基本 Linux 安装中配置。整个解决方案只需几分钟(而不是几小时)即可完成,并为机电专业人士汇集了一流的技术。

参与 StorageReview

电子报 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | TikTok | RSS订阅