Spectra Logic 的 Verde with Archive SMR 驱动器(以前称为 Verde DPE,现在并入现有的 Verde 产品线)是一个辅助文件存储平台,提供从 48TB 到惊人的 7.1PB 原始存储的解决方案容量。 利用现有的 光谱佛得角 家庭硬件结合 叠瓦式磁记录 (SMR) 磁盘, Verde 为企业、大容量存储、归档、非结构化数据、大文件、随机读取、批量删除和需要不经常更改的文件提供经济实惠(低至 0.075 美元/GB)的大容量存储。 Verde 主机提供 2U 或 4U 外形尺寸,提供 4U 扩展架以达到 PB+ 容量范围,在这个价格范围内很少有其他平台提供。
Spectra Logic 的 Verde with Archive SMR 驱动器(以前称为 Verde DPE,现在并入现有的 Verde 产品线)是一个辅助文件存储平台,提供从 48TB 到惊人的 7.1PB 原始存储的解决方案容量。 利用现有的 光谱佛得角 家庭硬件结合 叠瓦式磁记录 (SMR) 磁盘, Verde 为企业、大容量存储、归档、非结构化数据、大文件、随机读取、批量删除和需要不经常更改的文件提供经济实惠(低至 0.075 美元/GB)的大容量存储。 Verde 主机提供 2U 或 4U 外形尺寸,提供 4U 扩展架以达到 PB+ 容量范围,在这个价格范围内很少有其他平台提供。
Spectra 所做的不仅仅是将一些 Seagate Archive 驱动器放入 Verde 并将其称为 Archive 存储选项。 其一,Verde 专门使用 RAID Z3。 虽然任何种类的 RAID 都可以帮助用户增加数据保护的机会,但对于 Verde 中使用的驱动器,RAID Z3 在超过 20 万年内应该只会丢失一次数据。 光谱并没有就此止步。 单个条带(3 个驱动器加上 3 个用于奇偶校验)将能够恢复任何丢失的数据,最多并包括一个条带中的 4 个完整驱动器故障。 要真正丢失数据,必须在相当短的时间内出现 XNUMX 个驱动器故障,这在统计上是不太可能的——以至于“几乎从不”可以轻松使用。
20+3 条带本身听起来好像可以很好地保护数据。 但是,当声称基本上永远保护数据时,制造它们的公司必须不断将事情提升到一个新的水平,以言出必行。 Spectra 还在每个条带中使用 2 个全局备用。 Verde 持续监控驱动器故障。 当它检测到一个时,它会立即开始重建为全局备用。 在备用驱动器上完成重建后,管理员会收到坏驱动器的通知。 重建速度大约为 30MB/s 或 70 小时。 为了帮助减少重建时间,使用了智能重建过程,其中仅重建实际数据而不是整个驱动器。 重建的设置不会对性能产生不利影响,因为外部数据移动将优先于重建数据。 ZFS 的使用不仅可以实现 RAID Z3 的优势,还可以实现 ZFS 校验和。 这些校验和持续监控数据是否损坏。 ZFS 校验和与奇偶校验的结合将使 Verde 能够以其他 RAID 解决方案无法做到的独特方式进行自我修复。
虽然这种数据保护量限制了它对少数用例的整体吸引力,但一个特别有趣的用例(并且很快将成为几乎所有行业的公司的一个问题)是大容量视频存储。 过去,监控仅限于金融部门、机场和一些制造业等机构。 现在,摄像头变得无处不在,一小部分人在家中安装了监控系统,但这一比例在不断增加。 这些摄像头也不仅仅用于安全目的。 零售店可以监控客户与陈列和产品的互动,以了解将商品放在哪里以获得最佳销售机会。 虽然可以从这些视频中获得见解,但也会生成大量镜头。 从这段镜头中获得价值可能并不那么容易确定。 需要存储这些素材以供日后查看,尤其是在受监管的行业(如执法部门),这些行业可能需要将视频素材存档数月或更长时间。 在这些情况下,素材就不那么空灵了,需要保存在一个每天都在增长的库中。
为了获得足够的视频监控数据以针对此用例对系统进行压力测试,我们与 Milestone Systems 合作。 Milestone 是开放平台 IP 视频管理软件的全球领导者,在全球拥有超过 100,000 家客户。 Milestone 是企业级视频监控软件的事实标准,提供从软件到预装 NVR 的各种产品。 在本次审查中,我们结合使用了 Milestone XProtect 和数百个模拟摄像机来强调 Spectra Verde 和底层希捷存档硬盘。
Spectra Verde 规格
- 来自因素:2U 主节点 | 4U主节点 | 4U扩展节点
- 容量:96TB | 200TB | 高达 800TB,增量为 192TB
- 最大系统容量:96TB | 7.1PB Raw(1 Master,9 扩展)
- 连接性:10 Gig Base T 光纤 | 2x10GbE 光纤(40GbE 可选)
- 医管局特点:
- 冗余、可热插拔的冷却系统
- 冗余电源,每个都有自己的交流电源连接器和一个 LED 来指示状态
- 热插拔/备用驱动器
- 用于操作系统、逻辑卷管理器和文件系统、NFS、CIFS 和 SNMP 服务器以及 Verde Web 界面的冗余模块上数据 (DOM) 驱动器
- 访问协议
- CIFS-SMB2
- NFS – NFS v3 – 用于提高性能的可选硬件套件
- 网络监控和配置支持
- DHCP
- SNMP
- SMTP
- NTP
- 功率 (W):350 活跃,210 空闲 | 1,280 个活跃,1,000 个空闲 | 775 活跃,640 空闲
- 性能:高达 1GB/s
- 尺寸(宽 x 高 x 深):17.2 x 7 x 27.5 | 17.5 x 7 x 40 | 17.2 x 3.5 x 27.5 英寸
- 保固:1年
设计与建造
带有存档驱动器的 Spectra Verde 与 Spectra Verde 系列的其他产品建立在相同的硬件机箱上,它提供许多相同的功能集和界面,但利用传统的 7,200RPM HDD。 为了将 Verde 定位为满足档案存储需求的高容量和低成本产品,Spectra 使用了 Seagate Archive HDD,它使用 SMR 技术和较慢的 5,900RPM 主轴速度。 这些驱动器的价格低于 7,200RPM 型号,但更适合归档用例中的“少写多读”场景。
企业综合工作负载分析
我们的企业 NAS 基准测试流程将每台设备预先设置为稳定状态,工作负载与设备将在 16 个线程的重负载下进行测试,每个线程有 16 个未完成队列。 然后在多个线程/队列深度配置文件中以设定的时间间隔测试设备,以显示轻度和重度使用情况下的性能。 由于 CIFS 测试很快达到其额定性能水平,我们只绘制出每个测试的主要部分。
预处理和初级稳态测试:
- 吞吐量(读+写 IOPS 聚合)
我们的企业综合工作负载分析包括四个基于实际任务的配置文件。 开发这些配置文件是为了更轻松地与我们过去的基准测试以及广泛发布的值(例如最大 4K 读写速度以及连续 8K 和 128K 吞吐量和带宽)进行比较,这在企业中很常见。
- 4K
- 100% 读取或 100% 写入
- 100% 4K
- 8K(连续)
- 100% 读取或 100% 写入
- 100% 8K
- 128K(连续)
- 100% 读取或 100% 写入
- 100% 128K
虽然作为备份目标的主要用例是顺序工作负载,但取决于在给定点达到目标的系统数量,这些多个流对于底层存储来说可能看起来像是随机工作负载。 因此,虽然 128K 连续带宽是综合测试中需要注意的主要指标,但考虑 4K 随机和 8K 连续指标可能会有所帮助。 在 Verde 可能主要用于监视之类的东西,但也可以被企业用于其他应用程序的情况下尤其如此,即使不是专门为以理想方式解决这些问题而设计的。
对于 4K 吞吐量,Verde 为我们提供了 279 IOPS 的读取性能和 1,012 IOPS 的写入性能。
查看 8K 100% 读/写吞吐量,Verde 为我们提供了 41,847 IOPS 读取和 26,411 IOPS 写入性能。
切换到我们的大块 128K,我们看到了 260.3MB/s 的持续写入速度和 1.07GB/s 的读取速度。
虽然综合基准测试在我们的评测中很常见,但它们并不总能清楚地描绘出设备在现实世界中的表现。 在我们的一些评论中,我们运行应用程序工作负载分析基准。 取而代之的是,我们采用了一个实际的模拟用例来测试 Spectra Verde 的性能。
环境包括具有 2016 个虚拟摄像头的旗舰 Milestone 产品 XProtect Corporate 440。
XProtect Corporate 是一款功能强大的 IP 视频管理软件 (VMS),专为大规模和高安全性部署而设计。 其统一管理界面可实现系统的高效管理,包括所有摄像头和安全设备,无论系统大小或是否分布在多个站点。 对于要求最高态势感知和对事件做出精确响应的系统,XProtect Corporate 可以包括 Milestone XProtect Smart Wall。 XProtect Corporate 功能包括高级视频整理功能和加密功能,可帮助组织降低视频存储成本,同时确保视频证据的完整性并遵守行业和联邦法规。
多层存储架构建立在 XProtect 的归档功能之上。 每个记录服务器都配置为将所有 110 台摄像机连续记录到直接连接的实时数据库中。 我们的本地存储由 Supermicro 服务器内的两个 Toshiba PX04 NVMe SSD 组成,利用具有 5GB RAM 的 Intel Broadwell E2699-4 v384 CPU。 在每个小时的顶部,记录服务器计划将实时数据库中超过 2 小时的任何视频传输到 Verde 阵列,以便永久存储在存档数据库中。 这些存档事件(视频从实时数据库读取并写入存档数据库)是离散的(如下图所示)对于 XProtect 系统和 Verde 阵列的长期健康非常重要。 如果存档事件需要很长时间才能完成,则 XProtect 系统可能会在保留期到期之前溢出实时数据库并丢失视频帧或录制视频。 此外,Verde 系统需要一段时间的空闲磁盘活动,SMR HDD 可以从繁重的写入工作负载中恢复过来。
该系统的软件和 VM 拓扑包括一台托管 XProtect Corporate 管理服务器的 VM、用于管理整个系统的管理客户端以及用于查看实时和录制视频的 XProtect 智能客户端。 有四个高性能 VM,每个都支持连接到并记录 110 个虚拟摄像机流的 XProtect 记录服务器。 每个摄像机流大约为 5Mbps。 这会创建超过 2Gbps 的总系统摄取量。
在运行 440 个摄像头的情况下,我们采集了 25 小时的样本,以查看 Verde 上的写入性能。 摄像机的峰值约为 630MB/s。 当性能下降到 0 时,可以看到相机在测试期间何时关闭。
深入研究一个小时,我们可以看到写入性能保持相当稳定,刚好超过 600MB/s。
同样,将这一步骤进一步延长到五分钟,我们可以看到写入性能在 400MB/s 和大约 900MB/s 之间反弹,平均略高于 600MB/s。
结语
Spectra Verde 系列是专为归档和大数据存储而设计的 2U 或 4U NAS。 带有存档驱动器的 Verde 利用希捷 8TB 存档硬盘驱动器的 SMR 硬盘驱动器技术。 该公司利用 SMR 技术并将其与自己的存档技术相结合,以释放 SMR 的全部潜力。 有趣的是,Spectra 看到了 SMR 的完美用例,并将此用例采用到其匹配技术中,以在不改变企业存储消耗方式的情况下处理这种数据类型不断增加的足迹。
因此,Verde 有一组狭窄的用例,重要的是要看到我们的测试反映了这些用例。 在这种情况下,运行我们正常范围的应用程序基准测试没有意义。 例如,如果我们用多租户和不同的工作负载测试这个 NAS,它显然不会表现得那么好。 Spectra Verde 专为获取大量数据并将其写入介质而设计,这些数据将在介质中保存很长时间而几乎没有访问权限。 这使 Verde 更像是磁带更换业务,而不是成熟的主存储 NAS。
为此,我们与 Milestone 合作进行了大部分测试,在其原生环境中展示了 Verde。 利用 Milestone 协调 440 个虚拟摄像机,我们创建了一个类似于中型赌场或市政当局可能使用的环境。 我们用大 RAM 占用空间和 NVMe 存储增强了记录器服务器,以确保我们为 Verde 提供尽可能宽的消防水带以摄取。 最重要的是,当记录服务器填满时,系统愉快地消耗了写入事件,以大约 600MB/s 的速度插入数据。 事实上,Verde 可能可以处理更多,我们刚刚在我们的测试环境中超过了其他资源。
Spectra Logic 在这里用 Verde 做了一些非常巧妙的事情。 他们围绕一种新的 HDD 技术进行了设计,该技术专门设计用于支持近乎恒定的顺序写入,这种写入不会随时间发生太大变化,与磁带的配置文件非常相似。 在我们设计的监控用例中,执行是完美的,Verde 完全按照它应该做的去做。 将此执行与 RAID Z3 可用性和 HDD 的每 TB 定价优势相结合,Verde 是针对此工作负载和类似工作负载的顶级解决方案。