MegaRAID 9600 系列是第三代存储适配器，支持 SATA、SAS 和 NVMe 驱动器，旨在为存储服务器提供最佳性能和数据可用性。 与上一代产品相比，9600 系列的带宽提高了 2 倍，IOP 提高了 4 倍以上，写入延迟降低了 25 倍，重建期间的性能提高了 60 倍。
MegaRAID 9600 系列是第三代存储适配器，支持 SATA、SAS 和 NVMe 驱动器，旨在为存储服务器提供最佳性能和数据可用性。 与上一代产品相比，9600 系列的带宽增加了 2 倍，IOP 增加了 4 倍以上，写入延迟减少了 25 倍，重建期间的性能增加了 60 倍。 像往常一样，9600 系列卡包括许多配置。 在这篇评测中，我们关注的是支持 9670 个内部端口的 Broadcom MegaRAID 16W-16i。
MegaRAID 9670W-16i 基于 SAS4116W 片上 RAID (RoC)，这是全面提升性能的关键因素。 用户可以使用 x240 PCIe Gen 32 接口在每个控制器上连接多达 16 个 SAS/SATA 设备或 4.0 个 NVMe 设备。
9600 系列还具有硬件安全启动和 SPDM 证明支持、平衡保护以及 RAID 0、1、5、6、10、50 和 60 和 JBOD 的性能。 CacheVault 闪存缓存保护是那些想要更多保护的人的一个选择。
为什么 NVMe 的硬件 RAID？
硬件 RAID 一直是提供弹性存储的首选选项，因为在今天的 IT 管理员还没有胡子之前。 但随着存储变得更快，特别是 NVMe SSD，RAID 卡一直在努力跟上时代的步伐。 因此，当 Broadcom 让我们对 MegaRAID 9670W-16i 进行评测时，我们有点怀疑。 事实是 RAID 卡存在性能成本，因此我们多年来一直避免使用它们。 也就是说，硬件 RAID 提供的价值是不可否认的。
对于不提供软件 RAID 选项（包括 VMware ESXi）的环境，客户无法轻松地聚合存储或使用 RAID 保护存储。 尽管可以在集群级别轻松实施 vSAN，但它不能用于边缘的独立 ESXi 节点。 在这里，客户可能希望获得将 RAID 中的多个 SSD 组合在一起以获得更大的数据存储或某些数据弹性的好处。
即使在为单个服务器提供存储空间的 Windows 中，某些软件 RAID 类型（例如 RAID5/6）也会受到重大打击。 过去，硬件 RAID 一直是弥合 SAS 和 SATA 设备性能差距的有效解决方案，MegaRAID 9670W 旨在改变 NVMe 设备的性能差距。
Broadcom MegaRAID 9670W-16i 测试台
对于这次审查，我们与美光、超微和博通合作组装了一个测试台。 服务器是 Supermicro AS-1114S-WN10RT 1U 系统，配备 AMD Milan 7643 CPU 和 128GB DDR4。 该系统内部装有 9670W-16i，连接到双 8 槽 NVMe JBOD。 每个内部都有 8 个格式化为 7450TB 容量的 Micron 6.4 SSD。
为了通过 MegaRAID 9670W-16i 适配器测量驱动器的性能，基准测试分为以下配置。 第一个包括 JBOD 配置，测量 RAID 之外的每个驱动器（但仍通过 HBA）、RAID10，然后是 RAID5 配置。 这些配置通过脚本编写过程进行了预处理，以对闪存进行预处理，运行它们经过调节的测试，然后转移到下一个预处理/工作负载组合。 这个过程总共耗时约 16 小时。
- 此顺序的总测试运行时间约为 16 小时：
- 顺序预处理 (~2:15)
- 16x JBOD、2x 8DR10、2x 8DR5 的顺序测试（约 2 小时）
- 随机预处理 - 2 部分（~4:30）
- 16x JBOD、2x 8DR10、2x 8DR5 的随机优化测试（约 3 小时）
- 在 1x 16DR10、1x 16DR5 (~2:30) 上进行随机重建测试
- 优化和重建 1x 16DR5 的随机写入延迟 (~1:40)
性能指标的第一部分侧重于 JBOD、RAID10 和 RAID5 模式下通过卡的带宽。 MegaRAID 9670W-16i 提供 x16 PCIe Gen4 插槽宽度，其单向峰值性能约为 28GB/s，这也是 Gen4 插槽的最高点。 相比之下，U.2 Gen4 SSD 通过 x4 连接进行连接，峰值速度约为 7GB/s，这是大多数企业驱动器在读取工作负载时可以达到的峰值。
话虽如此，MegaRAID 9670W 完全饱和了它所连接的插槽。 在查看读取性能时，JBOD 配置的 RAID28.3 为 10GB/s，而 RAID5 的速度略低于 28GB/s。 当我们将注意力转向写入性能时，JBOD 基线为 26.7GB/s，而 RAID10 配置为 10.1GB/s，RAID5 为 13.2GB/s。 当我们查看同时读取和写入流量的 50:50 分配时，JBOD 配置测量为 41.6GB/s，RAID10 为 19.6GB/s，RAID5 为 25.8GB/s。
| 工作量 | JBOD（MB/秒） | RAID 10 – 最佳 (MB/s) | RAID 5 – 最佳 (MB/s) |
|---|---|---|---|
| 最大顺序读取 | 28,314 | 28,061 | 28,061 |
| 最大顺序写入 | 26,673 | 10,137 | 13,218 |
| 最大 50:50 Seq 读取：写入 | 41,607 | 19,639 | 25,833 |
当我们将注意力转移到小块随机传输时，我们看到 MegaRAID 9670W 的读取性能与 7M IOPS 的 JBOD 基准数字相比保持得相当好。 如果 RAID 组中的一个 SSD 出现故障，则在重建操作期间，该速度会下降到大约一半 (3.2M IOPS)。 观察随机写入性能，JBOD 基线测得 6.3M IOPS，而 RAID2.2 为 10M，RAID1 为 5M。 当组中的 SSD 发生故障并且 RAID 卡被迫重建时，这些数字并没有出现明显下降。 在那种情况下，RAID10 没有改变，尽管 RAID5 从 1M 下降到 788k IOPS。
在具有读写性能混合的 4K OLTP 工作负载中，JBOD 基线测得 7.8M IOPS，而 RAID10 为 5.6M IOPS，RAID5 为 2.8M IOPS。 在重建期间，RAID10 从 5.6M 下降到 2.4M IOPS，RAID5 从 2.8M 下降到 1.8M IOPS。
| 工作量 | JBOD | RAID 10 – 最佳 | RAID 5 – 最佳 | RAID 10 – 重建 | RAID 5 – 重建 |
|---|---|---|---|---|---|
| 4KB 随机读取 (IOP) | 7,017,041 | 7,006,027 | 6,991,181 | 3,312,304 | 3,250,371 |
| 4KB 随机写入 (IOP) | 6,263,549 | 2,167,101 | 1,001,826 | 2,182,173 | 788,085 |
| 4KB OLTP (IOP) | 7,780,295 | 5,614,088 | 2,765,867 | 2,376,036 | 1,786,743 |
RAID 性能的另一个重要方面是存储在最佳条件和驱动器出现故障时的重建性能之间的表现。 如果性能或延迟受到巨大影响，应用程序响应能力可能会成为问题。 为此，我们专注于优化和重建模式下的 RAID5 4K 随机写入延迟。 在整个范围内，延迟仍然非常相似，这正是您希望在生产环境存储系统中看到的。
我们不仅通过时间点性能指标评估了每种模式的整体性能，其中还包括重建操作期间 RAID 卡的性能，而且我们还进行了测试以确定重建所需的总时间。 在 RAID10 中，从 RAID 组中删除一个 6.4TB SSD 并将其重新添加到 RAID60.7 需要 10 分钟，重建速度为 10.4 分钟/TB。 RAID5组耗时82.3分钟，速度为14.1 Min/TB。
最后的思考
老实说，我们进入这篇评论时，头微微翘起，眉毛扬起。 除了围绕 GPU 设计的新兴解决方案类别之外，我们已经有一段时间没有听到针对 NVMe SSD 的 RAID 卡宣传。 所以我们不得不问一个基本问题，硬件 RAID 甚至可以成为 NVMe SSD 的东西吗？
答案显然是肯定的。 PCIe Gen4 的性能使 MegaRAID 9670W-16i RAID 卡能够在各种工作负载中与现代 SSD 保持同步。 是的，带宽等某些领域会因 PCIe 通道减少而受到限制，但大多数生产环境同样不会处于这些水平。
在峰值带宽方面，我们看到 MegaRAID 9670W-16i 的读取带宽达到了 16GB/s 的 x4 PCIe Gen28 限制，在 RAID13 中提供了高达 5GB/s 的写入带宽。 在吞吐量方面，随机 4K 读取性能最高为 7M IOPS，写入范围为 RAID1 和 RAID2.1 之间的 5 到 10M IOPS。 对于希望将闪存整合到更大容量或绕过不支持软件 RAID 的系统的部署，MegaRAID 9670W 可以提供很多功能。
如果您喜欢存储适配器，那么您将获得更多此类报道。 我们已经在探索最新一代的服务器，例如 Dell PowerEdge R760，它提供基于与该卡相同的芯片的双 RAID 卡配置。 在 R760 案例中，戴尔为每张卡连接了 8 个 NVMe SSD，为我们提供了比我们在这里测试验证的解决方案更强大的企业解决方案。 因此，现在看来 RAID 卡又回到了带有 NVMe SSD 的服务器的菜单上，还有很多事情要做。
参与 StorageReview
订阅电子邮件 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | TikTok | RSS订阅
