StarWind Software 是软件定义存储 (SDS) 领域的行业领导者,这要归功于灵活的部署模式、整体系统性能以及他们对新兴技术的渴望。 我们在去年年底看到他们的时候亲眼看到了这一点 适用于 Windows 的 NVMe-oF 启动器. 这次我们关注的是 StarWind SAN & NAS 软件,它增加了对光纤通道的支持,以及 GRAID NVMe 加速卡,它对于 SDS 解决方案来说非常雄心勃勃。
StarWind Software 是软件定义存储 (SDS) 领域的行业领导者,这要归功于灵活的部署模式、整体系统性能以及他们对新兴技术的渴望。 我们在去年年底看到他们的时候亲眼看到了这一点 适用于 Windows 的 NVMe-oF 启动器. 这次我们关注的是 StarWind SAN & NAS 软件,它增加了对光纤通道的支持,以及 GRAID NVMe 加速卡,它对于 SDS 解决方案来说非常雄心勃勃。
整个测试平台如下所示,但简而言之,我们采用了最好的可用组件并将它们组合在一起,创建了一个强大的存储平台,具有可靠的网络和足够的客户端负载。 借助 GRAID 加速器,StarWind 可以将 Memblaze NVMe SSD 连接在一起,并通过 Brocade 交换结构和 Marvell QLogic 32G FC HBA 通过网络共享存储。
这对 StarWind 来说是一项了不起的壮举,因为大多数 SDS 平台都无法进行这种级别的工程设计。 集成光纤通道并非易事,这就是为什么大多数 SDS 解决方案都基于以太网的原因。 也就是说,许多组织希望获得 FC 基础架构提供的可靠性和延迟优势。 StarWind SAN & NAS over Fibre Channel 将很快面世,以帮助这些组织利用 SDS 架构。
星风 SAN 和 NAS
StarWind SAN & NAS 旨在将运行行业标准管理程序的现有硬件重新用于高性能存储。 该解决方案是用于 VMware vSphere Hypervisor ESXi 和 Microsoft Hyper-V Server 的完全认证共享存储。
StarWind SAN & NAS 支持基于硬件和软件的存储冗余配置。 该解决方案可以将具有内部存储的现有服务器转变为以 NAS 或 SAN 形式呈现的冗余存储阵列,公开 iSCSI、SMB 和 NFS 等标准协议。 多个管理和配置选项包括基于 Web 的 UI、基于文本的 UI、vCenter 插件和用于集群范围操作的命令行界面。
该解决方案作为基于 Linux 的现成虚拟机 (VM) 部署到您的管理程序、Microsoft Hyper-V 或 VMware vSphere 上,使用 ZFS 共享与 StarWind VSAN 相同的软件定义存储 (SDS) 功能。 StarWind SAN & NAS 易于使用安装向导和基于 Web 的存储管理用户界面 (UI) 进行安装,并通过重新利用老化的服务器来提高投资回报 (ROI)。
StarWind SAN 和 NAS 功能包括:
文件和块存储: 支持所有行业标准块和文件协议,如 SMB3、NFSv3、NFSv4、NFSv4.1 和 iSCSI(包括 iSCSI 上的 VVol、NVMe-over-Fabrics 和 iSER)。
冗余选项: 在 ZFS、Hardware RAID 或 Linux MD/RAID 中选择本地磁盘的首选冗余配置。
结 构: StarWind 的网络附加存储和存储区域网络构建在 Linux、ZFS 和 StarWind Virtual SAN 之上,可以作为 VM 轻松部署在所选虚拟机管理程序、VMware ESXi 或 Microsoft Hyper-V 之上。
认证和准备工作: 易于安装并经过认证可与 vSphere 或 Hyper-V 一起使用。
合作伙伴
StarWind 有一个令人印象深刻的合作伙伴列表,在此测试期间使用了多个。 所有 StarWind 产品均使用已发布的硬件和软件进行测试。 合作伙伴供应商独立测试产品以确保质量和兼容性,以提供有效的解决方案。 我们突出显示了包含在这组特定测试中的供应商。
戴尔技术
StarWind Software 是戴尔技术联盟合作伙伴,经验证可以部署戴尔服务器作为其交钥匙虚拟化解决方案 StarWind HyperConverged Appliance 的一部分。 在此测试场景中,StarWind 为服务器部署了戴尔的 PowerEdge R750,并为客户端部署了 PowerEdge R740xd。
- 戴尔易安信 PowerEdge R750 由第三代英特尔至强可扩展处理器提供支持,以解决应用程序性能和加速问题。 该服务器是双路/3U 机架式服务器,支持每个 CPU 2 通道内存和高达 8 MT/s 速度的 32 个 DDR4 DIMM。 此外,为了显着提高吞吐量,PowerEdge R3200 支持 PCIe Gen 750 和多达 4 个 NVMe 驱动器,具有改进的空气冷却功能和可选的直接液体冷却,以支持不断增长的功率和散热要求。
- PowerEdge R740xd 是一个 2U 双路平台,非常适合软件定义存储、服务提供商或虚拟桌面基础设施。 R740xd 系统支持多达 24 个 NVMe 驱动器,能够混合使用任何驱动器类型,以创建 NVMe、SSD 和 HDD 的最佳配置,以实现性能、容量或两者。 R740xd 是软件定义存储的首选平台,是 VSAN 或 PowerEdge XC 的基础。
网格技术
GRAID SupremeRAID 专为现代软件可组合环境而设计。 GRAID 技术正在提供面向未来的 RAID 卡,它不仅可以保护直接连接的闪存存储,还可以保护通过 NVMe over Fabrics 连接的存储。
- 至尊RAID SR-1010 是第一款释放 SSD 性能全部潜力的 NVMe 和 NVMe-oF RAID 卡。 SupremeRAID 卡直接处理 I/O,减轻了 CPU 的负担。 因为卡是 GPU,卡上有巨大的计算能力,这在标准 RAID 卡上是不存在的。
SupremeRAID SR-1010 功能丰富,提供压缩、加密和自动精简配置。 安装就像即插即用一样简单,不需要布线或修改主板布局。
内存火焰
Memblaze 是企业级 NVMe SSD 产品的领先供应商。 Memblaze成立于2011年,是全球最早开发企业级SSD产品的公司之一。 Memblaze推出的PBlaze系列企业级SSD已广泛应用于数据库、虚拟化、云计算、大数据、人工智能等领域,为互联网、云服务等行业客户提供稳定可靠的高速存储解决方案、金融和电信。
内存火焰 PBlaze6 6920 系列 SSD 提供高达 1600K 随机读取 IOPS、高达 7GB/s 顺序读取带宽、高达 6.8GB/s 顺序写入带宽和高达 11μs 写入延迟的一致性能。 该驱动器具有多种容量,耐用性较低的驱动器具有 3.84TB、7.68TB 和 15.36TB 的容量。 更高耐用性的版本有 3.2TB、6.4TB 和 12.8TB 容量。
Marvell Q逻辑
QLogic 是高性能网络的全球供应商,为数据、存储和服务器网络提供适配器、交换机和 ASIC。 该公司提供多样化的网络产品组合,包括用于 FCoE 的聚合网络适配器、以太网适配器、光纤通道适配器和交换机以及 iSCSI 适配器。
QLogic 2772 适配器支持低延迟访问横向扩展 NVMe,完全支持 FC-NVMe 协议。 它们可以在同一物理端口上同时支持 FC-NVMe 和 FCP-SCSI 存储流量,使客户能够按照自己的节奏迁移到 NVMe。 这些适配器通过提供高达 2 万次 IOPS 和线速 32GFC 性能,同时通过光纤通道网络提供对 NVMe 和 SCSI 存储的低延迟访问,实现了两全其美。
看看我们的深入研究 QLogic 的 FC-NVMe 故事。
SAN 和 NAS 测试平台详细信息
这项工作的测试台包括带有 Memblaze 的 StarWind SAN 和 NAS 存储节点 PBlaze6 6926 12.8TB 固态硬盘 与 GRAID至尊RAID SR-1010 加速卡。 该结构由 Brocade G620 32G 光纤通道交换和 Marvell QLogic 2772 32G FC HBA 组成。 负载生成通过四个客户端节点进行。 存储节点基于 Dell PowerEdge R750 服务器,客户端节点为 Dell PowerEdge R740 服务器。 详细信息在下表中列举。
存储节点 | |
---|---|
服务器 | 戴尔PowerEdge R750 |
中央处理器 | 英特尔® 至强® 铂金 8380 CPU @ 2.30GHz |
套接字 | 2 |
核心/线程 | 80/160 |
DRAM | 1,024GB |
8x 记忆 PBlaze6 6926 12.8TB | |
加速卡 | GRAID至尊RAID SR-1010 |
HBA | 4x 漫威 Q逻辑2772 系列增强型 32GFC 光纤通道适配器 |
StarWind SAN 和 NAS 软件 | 版本 1.0.2(内部版本 2175 – FC) |
客户端节点 | |
---|---|
服务器 | 戴尔 PowerEdge R740xd |
中央处理器 | Intel® Xeon® Gold 6130 CPU @ 2.10GHz |
套接字 | 2 |
核心/线程 | 32/64 |
DRAM | 256GB |
1x Marvell® QLogic® 2772 系列增强型 32GFC 光纤通道适配器 | |
OS | Windows Server 2019 标准版 |
StarWind SAN 和 NAS 性能测试结果
由于活动部件范围广泛,性能测试的重点分为本地和光纤通道远程测试。 第一个目标是展示底层 Memblaze NVMe 存储的功能和性能,以及 GRAID 的 HW RAID 与 SW RAID 的优势。
第二步是比较每个使用 Marvell QLogic HBA 的超过 32Gb FC 的性能,同样使用 GRAID HW RAID 与 SW RAID。 基准测试是使用 Flexible I/O (fio) 实用程序确定的。 Fio 是一种用于基准测试和压力/硬件验证的跨平台工具,被认为是测试本地和共享存储的行业标准。
测试模式:
- 4k 随机 100% 读取/100% 写入
- 4k 随机混合读/写 70/30
- 1MB 顺序 100% 读取/100% 写入
测试时间:
- 单次测试持续时间 = 600 秒
- 在开始写入基准测试之前,存储已先预热 2 小时
测试阶段
- 确认单个 NVMe 驱动器性能以获得参考编号
- 在本地测试 MDRAID 和 GRAID RAID5 阵列性能
- 从客户端节点远程运行基准测试
在阵列测试的初始准备期间,检查了各个 Memblaze PBlaze6 D6926 12.8TB SSD 的基准性能数据,以与规格表值进行比较,并验证每个 SSD 达到稳态性能所需的时间。 在此测试阶段,我们能够测量 4M IOPS 读取的 1.5K 随机性能和 537k IOPS 写入,驱动器需要大约 2 小时才能达到稳定状态。 在随机工作负载下将块大小增加到 64K,每个 SSD 的读取速度为 6.5GB/s,写入速度为 2.6GB/s。 最后,在 1MB 传输大小和顺序传输的情况下,每个 SSD 的读取速度为 6.6GB/s,写入速度为 5.4GB/s。
本地性能在八个 Memblaze D6926 12.8TB SSD 上进行了测量,产生了强大的 4K 随机读取性能,对 GRAID 的 HW RAID 具有巨大优势。 虽然 SW RAID 在较低的队列和线程数方面略有领先,但与 GRAID 的 4 万 IOP 相比,它的上限为 10.8M IOPS。 在此工作负载期间,GRAID 对底层主机的 CPU 利用率大大低于 SW RAID。 在低队列/线程数下,CPU 利用率为 3% 到 7%,峰值为 25% 和 40%。
4K 随机写入测试在低队列和线程数下略微优于 SW RAID,随着工作负载的增加,GRAID HW RAID 迅速超越它。 SW RAID 的性能从 376K IOPS 扩展到 501k IOPS 写入,GRAID HW RAID 从 260k IOPS 扩展到 975k IOPS。 还应该注意的是,GRAID 的性能可以增加到 1.5M IOPS 写入,并为 GPU 提供完整的 Gen4x16 插槽。 根据我们配置 Dell PowerEdge R750 的方式,GPU 位于 Gen4x8 插槽中,稍微向后倾斜。 在此测试期间,软件 RAID 的 CPU 利用率从 8% 扩展到 21%,而硬件 RAID 从 1% 略微增加到 3%。
在 70% 的读/写混合中,使用 4K 传输大小,随着工作负载的扩大,GRAID 配置处于领先地位。 测得的 SW RAID 性能从 765k IOPS 扩展到 1.2M IOPS,而 HW RAID 测量结果为 429k IOPS 到 3.14M IOPS。 HW RAID 的 CPU 利用率显着降低。 SW RAID 测得在 5% 到 49% 之间,而 GRAID 测得在 1% 到 8% 之间。
为了测量大块带宽,块大小增加到 1MB。 与 SW RAID 相比,GRAID 在工作负载中表现突出,范围从 18.2GB/s 到 47GB/s,后者从 10GB/s 开始并扩展到 12.1GB/s。 整个测试中的 CPU 利用率在软件 RAID 的情况下介于 3% 和 10% 之间,而在硬件 RAID 的情况下则在 0% 到 1% 之间。
上一个本地基准测试专注于大块顺序写入性能,其中 SW RAID 在 4T/4Q 上略有优势,然后很快被 GRAID 超越。 此处 SW RAID 测量为 6.9GB/s 至 7.1GB/s,而 GRAID 从 6.4GB/s 上升至 11.4GB/s。 软件 RAID 的 CPU 利用率从 9% 扩展到 17%,而硬件 RAID 的测量结果为 1% 到 3%。
通过使用 GRAID 从 SW RAID5 和 HW RAID5 中的单个 SSD 和八个 SSD 捕获本地性能基线,下一步是在 32Gb FC 上进行 FCP 测试。 本地性能测试的重要收获是,随着工作负载的增加,GRAID HW RAID 提高了整体性能并降低了 CPU 利用率。
FCP 测试包括四个运行 Windows 的 Dell R740xd 客户端节点,每个节点都连接回两个 32Gb FC 交换机。 每个客户端系统都使用相同的 32Gb Marvell QLogic HBA 作为存储端,为我们提供了 8 个 32Gb FC 端口或 25.6GB/s 的总理论带宽。
将四个 Dell PowerEdge R740xd 负载生成器连接到 StarWind NAS 和 SAN 服务器后,我们首先查看线路上的聚合 4K 随机读取性能,其中 SW RAID 从 1.66M IOPS 扩展到 3.5M IOPS,GRAID 从 1.1M IOPS 扩展到 4.6 MIOPS。
转向 4K 随机写入,SW RAID 从 204k IOPS 扩展到 385K IOPS。 后端的 HW RAID 提供了显着的收益,GRAID 在其峰值时从 304k IOPS 扩展到 498k IOPS。
在随机 4k 70/30 混合工作负载中混合读取和写入流量,HW RAID 配置比单独使用 SW RAID 提供更多的 I/O。 SW RAID 从 538k IOPS 扩展到 998k IOPS,HW RAID 从 647k IOPS 扩展到 1.1M IOPS。
返回大块传输以测量从 StarWind NAS 和 SAN 阵列到四个客户端的峰值带宽,我们有效地饱和了 8 个 32Gb FC 端口。 SW RAID 从 9.7GB/s 扩展到 11.7GB/s,而 HW RAID 设法在低端推出 8.5GB/s,在峰值时推出 25.2GB/s。 我们在八个 25.6Gb 端口上达到了 32GB/s 的理论最大值。
在测量 1M 顺序写入带宽的最终测试中,SW RAID 在较低的线程和队列级别上略有优势,达到 4T/8Q 的奇偶校验。 然而,HW RAID 很快超越了 SW RAID,从 6GB/s 扩展到 7.1GB/s,而 HW RAID 测量值介于 2.99GB/s 和 10.5GB/s 之间。
总结
在典型的 RAID 场景中,硬件解决方案的性能有望优于软件解决方案。 但是,在实施软件定义的存储解决方案时,获得混合结果的可能性会增加。 在这种情况下,数字并没有说谎,而且 StarWind SAN 和 NAS 的表现超出了我们的预期。
如上所述,StarWind 解决方案雄心勃勃。 它结合了 FCP、NMVe SSD、GRAID 硬件和软件,将它们整合在一起。 充分利用 GRAID SupremeRAID 卡的计算能力、NVMe SSD 的性能以及光纤通道的低延迟和可靠性,此配置符合所有条件。 如果不在服务器中安装多个卡,则不可能从传统的硬件 RAID 卡获得这些性能数据。
StarWind SAN & NAS 充分利用了 GRAID 卡中的 GPU 处理能力。 在每个测试场景中,StarWind 解决方案都能达到预期。 通过 GRAID 将 I/O 处理卸载到 GPU,与运行软件 RAID 解决方案相比,CPU 利用率显着降低。 存储节点上的 CPU 使用率比使用 SW RAID 时低 2-10 倍,释放 CPU 资源用于其他任务。 即使使用 StarWind 解决方案,SW RAID 测试实际上也达到了典型 RAID 阵列可提供的全部性能,但延迟成本更高。
从本质上讲,最令人印象深刻的共享存储性能是由一个冗余 GRAID 存储阵列提供的,该阵列充满了 PBlaze6 6920 系列 NVMe SSD,顶部带有 StarWind SAN 和 NAS,并使用 Marvell Qlogic 2772 光纤通道适配器通过光纤通道运行到客户端节点。 GRAID 是目前唯一能够保证软件定义的共享存储可以获得最高性能的技术。 GRAID 构建获得了大约 50% 的本地 RAID 阵列性能,延迟与本地存储大致相同。
StarWind SAN & NAS 使充分发挥 GRAID 性能潜力成为可能。 NVMe-oF 和 RDMA 将包含在后续构建中。
单击链接以查找有关的更多信息 GRAID至尊RAID, NVMe-oF及 StarWind NVMe-oF 启动器性能.
参与 StorageReview
电子报 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | Facebook | RSS订阅