我们已经多次查看 Graid SupremeRAID 卡和软件，并且对 Graid 所实现的极端存储性能印象深刻。 传统的硬件和软件 RAID 在性能方面都有很大的不足，这为 Graid 带来更好的捕鼠器打开了大门。 随着 Gen5 SSD 的批量出货，我们组装了一台装备精良的服务器，看看让闪存飞起来会发生什么。
我们已经多次查看 Graid SupremeRAID 卡和软件，并且对 Graid 所实现的极端存储性能印象深刻。 传统的硬件和软件 RAID 在性能方面都有很大的不足，这为 Graid 带来更好的捕鼠器打开了大门。 随着 Gen5 SSD 的批量出货，我们组装了一台装备精良的服务器，看看让闪存飞起来会发生什么。
为什么选择 Grad SupremeRAID 与硬件 RAID？
Graid 解决方案包含两个核心元素：GPU 和软件定义存储 (SDS) 堆栈。 与 RAID 卡一样，GPU 将大部分驱动器管理和数据保护任务从 CPU 中分离出来，从而将 CPU 腾出来来运行应用程序。 然而，与 RAID 卡不同的是，SupremeRAID 的效率要高得多。 它直接通过 PCIe 总线对驱动器进行寻址，无需额外的布线或复杂的机箱配置。 由于 GPU 比 RAID 卡的 ASIC 更具动态性，因此 Graid 的性能扩展得到了极大的提高。
当查看服务器内出现瓶颈的位置时，扩展优势立即显而易见。 当前的 RAID 卡仅限于 Gen4，最高可达 28GB/s。 四个像样的 Gen4 SSD 可以使单个 RAID 卡饱和。 该系统需要多个 RAID 卡才能利用 24 盘位服务器中的所有驱动器。 另一方面，SupremeRAID 可以在单个系统中支持 32 个驱动器，并且没有 PCIe 插槽带宽限制。
随着每一代接口的飞跃，硬件 RAID 的性能问题变得更加复杂。 为了支持 Gen5 SSD，需要新的硬件 RAID ASIC。 但即便如此，硬件 RAID 仍将面临与上述相同的扩展问题。 SupremeRAID GPU 目前使用 Gen4 接口，公平地说，这目前只是 Intel/AMD/NVIDIA 的问题。 但这并不能阻止它释放 Gen5 硬盘的性能。 这意味着高达 260GB/s 和 28M IOPS 的性能水平。 当 Gen5 GPU 上市时，Graid 可以进一步提高 IOPS 数字。
关于 Graid GPU 的最后一点：今天，它们的大部分实现都在 SR-1010的 产品，利用 NVIDIA A2000 GPU。 我们提出这一点是为了指出，Graid 不需要为 SupremeRAID 配备昂贵或难以找到的 GPU，也不需要使用具有外部电源的 GPU。 如果出于某种原因，用户更喜欢备用卡，Graid 的软件几乎可以在我们在实验室的 A2 上测试过的任何 NVIDIA 芯片上运行，并获得出色的结果。 无论如何，GPU 都很容易安装，并且不需要额外的电池。
为什么选择 Grad SupremeRAID 与 Software RAID？
由于早期 NVMe RAID 卡的成本、复杂性和中等性能，软件 RAID 近年来迅速发展。 当我们需要一种快速、简单的方法来将 NVMe SSD 组合在一起并在线时，我们就部署了 Windows 存储空间、Linux MD 或 ZFS RAIDZ。 但与任何不使用硬件加速的存储软件一样，也是有成本的。 主机 CPU 必须运行驱动器管理和数据保护，从而占用应用程序的周期。 Graid 基于 GPU 的产品没有此限制，可确保服务器上的存储和应用程序实现最佳性能。
此外，对于软件 RAID，操作系统的选择限制了选择。 Graid 几乎可以在任何东西上运行，包括超过六种 Linux 发行版和 Windows。 公平地说，与软件 RAID 相比，Graid 的运行难度稍大一些； 系统中必须安装 GPU，而额外的工作量可以说可以忽略不计。 然而，回报是惊人的，正如您将在下面看到的那样。 我们谈论的是 SupremeRAID 比软件 RAID 的数量级。
Grid SupremeRAID Gen5 性能
对于此测试，我们将 Supermicro AS-2125HS-TNR 服务器与两个 AMD EPYC 9654 CPU、384GB DRAM 和 24 个 3.84TB 组合在一起 KIOXIA 的 CM7-R Gen5 SSD.
我们将驱动器配置为 SW RAID 和 Graid 的 RAID5 配置。 对于条带大小，我们为 Graid 使用 4K 条带，为 mdadm 使用 4K、64K 和 512K 块。 软件 RAID 需要改变块大小，才能在优化配置中显示峰值 4K 传输速度，并在最佳状态下显示峰值大块带宽。 这对于 Graid 来说并不那么重要，它可以处理不同的块大小而不会影响性能。
- 服务器：超微 AS-2125HS-TNR
- CPU：2 个 AMD EPYC 9654 96 核处理器 x 2
- 内存：24 个三星 M321R2GA3BB6-CQKVS DDR5 4800 MT/s 16GB x 24
- NVMe 驱动器：24 个铠侠 CM7-R 3.84T KCMY1RUG3T84 x 24
- RAID 控制器：SupremeRAID SR-1010
- SupremeRAID Driver: 1.5.0-659.g10e76f72.010
- Linux 操作系统：Ubuntu 22.04.1 LTS
| RAID 5 FIO 性能 |
||||
| 测试 | 软件 RAID5 4KB 块 |
软件 RAID5 64K 块 |
软件 RAID5 512K 块 |
SupremeRAID 4KB 条带 |
| 1MB 顺序写入 (192T/16Q) | 1.22GB /秒 | 3.51GB /秒 | 801MB /秒 | 148GB /秒 |
| 1MB 顺序读取 (192T/16Q) | 21.8GB /秒 | 279GB /秒 | 235GB /秒 | 279GB /秒 |
| 64K随机写入（192T/16Q） | 822MB /秒 | 627MB /秒 | 795MB /秒 | 30.2GB /秒 |
| 4K随机写入（192T/32Q） | 49.8k IOPS（61.6 毫秒） | 205k IOPS（15.01 毫秒） | 78.7k IOPS（39 毫秒） | 2.02 万 IOPS（1.52 毫秒） |
| 4K随机读取（192T/32Q） | 5.6 万 IOPS（1.1 毫秒） | 5.5 万 IOPS（1.11 毫秒） | 5.53 万 IOPS（1.11 毫秒） | 28.5 万 IOPS（22 毫秒） |
比较软件 RAID 和 Graid 的性能令人大开眼界。 就峰值带宽而言，我们最终在评估期间将 mdadm 块大小从 4K 增加到 64K 和 512K，因为在 4K 时，峰值读取带宽较低。 Mdadm 总体来说不是很好，但最高的顺序读取速度是在 64K 块大小中，测量为 279GB/s，与 Graid HW RAID 配置的速度相匹配。 在 3.51K 块大小下，SW RAID 的顺序写入性能最高为 64GB/s，尽管这与测得的 148GB/s 的 Graid 相比根本不算什么。
转向 64K 的大块随机写入传输时，SW RAID 的速度范围为 627MB/s 到 822MB/s，而 Graid 则将其从水中脱颖而出，测量为 30.2GB/s。
在最后一个方面，通过观察随机 4K 传输速度，我们测量了 4K 块大小的最大 SW RAID 性能，在 5.6 毫秒时测得 1.1M IOPS。 在同一测试中，Graid 的 IOPS 达到了令人印象深刻的 28.5 万。 4K 写入速度在 64K 块上实现了最佳的 SW RAID 性能，在 205 毫秒时测得 15.01k IOPS，而 Graid 在 2.02 毫秒时测得 1.52M IOPS。
最后的思考
我们已经实践了几乎所有现代 RAID 风格，从专用硬件卡到各种基于软件的解决方案。 我们还在三种不同的 GPU 以及各种 SSD 介质类型和 NVMe 接口上多次测试了 Graid 解决方案。 公平地说，许多数据集（例如备份和恢复、大型数据湖、文件共享以及许多其他没有严格性能要求的数据集）都会对这些解决方案感到非常满意。 但如果应用程序需要完全访问底层闪存，Graid 就完全在另一个层面上发挥作用。
虽然大多数客户看到 NVMe 硬件并认为无论如何性能都会很棒，但重要的是要了解这些系统在驱动器组合后将如何执行，然后在其之上添加 RAID 层。 在 Linux 环境中，软件 RAID 在跟上 NVMe 设备（尤其是 Gen5 SSD）方面确实显示出其局限性。
虽然单个驱动器性能很强，但并非所有 RAID 解决方案都最适合。 相互比较优化配置后，Graid 在 279 个 KIOXIA CM148-R Gen24 SSD 上提供了超过 7GB/s 的读取带宽和 5GB/s 的写入带宽，而 SW RAID 管理的带宽为 279GB/s 的读取和 3.51GB/s 的写入。 在 4K 随机传输中，我们看到 Graid 实现了令人难以置信的 28.5M IOPS 读取和 2.02M IOPS 写入，而 SW RAID 仅提供 5.6M IOPS 读取和 205k IOPS 写入。 对于某些环境来说，SW RAID 可能“足够快”，但对于那些需要尽可能最高性能水平的环境来说，它几乎无法与 Graid 的 SupremeRAID 相比。
为了最大限度地提高像这样的单个主机中的 NVMe SSD 性能，我们在市场上还没有看到任何可以触及 Graid SupremeRAID Gen5 解决方案的产品。 太棒了，在本次测试中，我们在廉价的 NVIDIA A2000 GPU 上完成了这项工作。 任何希望最大化 Gen5 闪存投资的组织都应该明智地采用 Graid PoC，以了解其技术的影响力。
参与 StorageReview
订阅电子邮件 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | TikTok | RSS订阅
