现代服务器设计正在利用不断扩展的加速卡世界来实现新的或增强的功能。 虽然许多人在考虑加速时会直接使用 GPU,但现在出现了一种新型处理器,它们不仅可以解决性能问题,还可以解决数据保护和经济问题。 Pliops Extreme Data Processor (XDP) 是这些加速器之一,借助基于 QLC 的企业级 SSD,帮助客户利用性能、容量和经济性的独特结合。
现代服务器设计正在利用不断扩展的加速卡世界来实现新的或增强的功能。 虽然许多人在考虑加速时会直接使用 GPU,但现在出现了一种新型处理器,它们不仅可以解决性能问题,还可以解决数据保护和经济问题。 Pliops Extreme Data Processor (XDP) 是这些加速器之一,借助基于 QLC 的企业级 SSD,帮助客户利用性能、容量和经济性的独特结合。
闪存在数据中心的影响简述
NVMe SSD 显着影响了服务器和存储性能,尤其是当它们达到 Gen4 速度时。 不过,这些收益给系统的其他部分带来了压力,这意味着传统的 RAID 卡架构成为阻碍。 随着 QLC 闪存的推出,闪存游戏再次发生变化。 服务器需要新的解决方案来有效利用这些现代技术。
英特尔(现为 Solidigm)率先将高质量 QLC SSD 商业化。 这 固体P5316 就大容量、经济实惠的企业级 SSD 而言,它是现在的事实标准。 过去我们在这些驱动器上花费了大量时间,不仅在我们的评论中,而且在可以正确使用这些驱动器的企业和云部署中。
正确使用是什么意思? 嗯,QLC SSD 传统上在读取性能方面非常好,但在写入驱动器时,系统必须更智能一些。 在我们的 P5316 评论中,我们谈到了一个叫做间接单元 (IU) 的术语。 这或多或少是驱动器要写入的块大小。 对于 P5316,其 IU 为 64K。 虽然您可以将 4K 块写入驱动器,但它在性能和写入放大方面效率极低。
深入研究 SSD 细节对于理解 Pliops XDP 存在的至少一个关键原因很重要。 一方面,它通过聚合和管理 SSD 充当服务器的 RAID 卡。 XDP 还得到板载 DRAM 和电源保护的支持,因此它可以合并进入驱动器的写入,以确保性能和容量利用率优于软件 RAID。
物联网设备对应用的需求
数据收集继续以令人难以置信的速度增长。 使数据和相关应用程序随时可用的要求更加明显,尤其是在边缘收集洞察力和 AI/ML 应用程序开发的重要性。
鉴于容量持续增长,同时变得更具成本效益,企业完全接受了 SSD 技术。 NVMe 驱动器得到广泛采用,其运行速度比硬盘驱动器 (HDD) 快 1,000 倍以上。 数据中心正在部署运行 400Gbps 的网络以跟上这些存储设备的步伐,而 NVMe-over-Fabrics (NVMe-oF) 等高效协议则突破了系统和基础设施的极限。
随着物联网设备需求以前所未有的速度持续增长,应用程序也变得更加高效。 更多的服务器、存储和交换机增加了本已复杂的环境的复杂性。 我们不要忘记高效、安全地备份所有这些数据的重要性。
安装 NVMe SSD 似乎可以解决当今企业面临的性能问题。 但是,这些 NVMe SSD 并未得到有效利用。 摩尔定律落后于 CPU 性能每 20 年翻一番而不是每两年翻一番。 添加更多内核并不能解决性能问题,因为这些内核共享相同的内存和 I/O。 通过添加更多服务器,“越多越好”这句老话会奏效,但这是一种非常昂贵的解决方案,而且对环境不利。
由于所有这些数据都存储在这些高速 SSD 上,处理和管理 CPU 超载的计算密集型存储任务已成为一场噩梦。 服务器无法满足用户社区的需求,也无法在驱动器发生故障时提供可靠保护,尤其是在处理更高性能和容量时。
Pliops Extreme 数据处理器 (XDP) 可以为基于 SSD 的存储和保护的许多性能需求提供解决方案。 Pliops XDP 是应用程序加速的新基准,可提高数据中心基础设施投资的有效性。
正如 GPU 克服处理效率低下以加速 AI 和分析性能一样,Pliops XDP 克服存储效率低下以大幅加速性能并显着降低当今现代应用程序的基础设施成本。 Pliops XDP 简化了数据处理和 SSD 存储管理的方式。 Pliops XDP 在易于部署的 HHHL(半高、半长)PCIe 卡上交付,从根本上提高了各种数据密集型工作负载的性能、可靠性、容量和效率。
Pliops Extreme 数据处理器架构
Pliops XDP 设计有两个接口供主机访问,这是提供更高性能的关键。
第一个是标准块接口,采用最广泛,XDP 看起来像系统中的任何存储设备。 一旦安装了 XDP,它就会简单地显示出来。
第二个主机接口是 RocksDB 兼容的键值库 API。 还支持新兴的 NVMe-KV 标准。 该接口是应用程序直接访问 XDP 并获得更高性能的最有效方式。 XDP 将块视为一种特殊类型的键值对,因此一切都以相同的方式通过引擎运行。
Pliops XDP 的卓越性能可归功于在硬件中完成大部分功能。 使用快速、高效的硬件加速引擎执行线速压缩。 键值存储引擎也是基于硬件的。 Pliops 将其比作芯片上的 RocksDB。 键值引擎是 XDP 的真正主力,执行许多魔法以提供真正的性能优势。
简而言之,当一个块被压缩时,它会创建一个任意大小的对象。 闪存具有固定的块大小,因此这会带来容量管理方面的问题。 这是通过合并压缩块,将它们打包在一起,对它们进行排序和索引以进行快速检索,然后进行垃圾收集来解决的。 随着更新的进行,块被解包并且该过程再次开始。 这就是在基于软件的解决方案中驱动写入放大器、读取放大器和空间放大器的原因。 从 CPU 的角度来看,主机做出了妥协,因此它不会消耗所有的处理能力。
Pliops 已经实施了极其高效的计算密集型算法和数据结构。 例如,XDP 提供相当于 RocksDB 的五百个 Xeon Gold Core 的性能。
可靠性
传统的数据保护解决方案需要在性能和容量之间进行权衡。 但是 Pliops XDP 消除了
这些权衡与高级驱动器故障保护保持恒定的数据可用性并消除
数据丢失和停机。 XDP 支持多个单一驱动器故障并具有虚拟热容量 (VHC),无需热备用。 因为 XDP 管理数据,所以只重建实际数据,这与基于 RAID 的解决方案不同。 换句话说,用户以闪存的速度获得数据保护,性能损失为零。
在突然断电的情况下,XDP 会自动将元数据和用户数据刷新到非易失性内存中,从而保存正在运行的元数据和用户数据。 恢复是自动的,并在使用可用 VHC 容量恢复供电时立即开始,而不会减少可用容量。
容量
Pliops XDP 支持所有命令闪存技术、TLC、QLC、Intel Optane 和来自任何供应商的 SSD。 XDP 的在线压缩实现了多个引擎来防止瓶颈,从而使 CPU 摆脱了这种负担。 压缩、最小驱动器故障保护开销和接近全驱动器利用率 (95%) 可将可用容量扩展多达 6 倍。 可用容量的增加显着降低了每 TB 成本。
SSD 的耐用性有限,这意味着在设备磨损并且无法再安全存储数据之前可以写入和擦除的数据量。 随着行业采用 QLC SSD 及更高版本,耐用性水平下降。 由于 XDP 将所有随机写入转换为顺序写入,因此它消除了这个问题,从而使耐久性提高了 7 倍。
需要注意的是,截至目前,Pliops XDP 每张卡支持 128TB 的用户数据。 对于需要更多存储的用例,可以在主机系统中利用多个 XDP 卡。
效率
XDP 紧凑但功能强大,可以从现有基础架构占用空间中获得更多收益,以跟上组织数据增长和应用程序采用的步伐。 此外,它很容易在整个数据中心进行部署。 Pliops XDP 可以在一系列工作负载中提供高达 80% 的经济效益。
目前,Pliops 利用 CLI 界面来安装 XDP 软件。
界面简单明了。 如果需要,可以轻松配置 XDP 和导航阵列状态。
高级功能
Pliops XDP 高级功能包括:
- 具有高性能和一致性能的标准块设备
- 毫不妥协的驱动器故障保护 (DFP) 可防止多个单一驱动器故障
- 通过压缩、高驱动器填充和最小的 DFP 开销扩展可用容量
- 虚拟热容量消除了对专用热备用的需求
- 减少写入放大器可延长 TLC 和 QLC SSD 的使用寿命
- 通过仅将用户数据重建到分配的虚拟热容量来实现快速恢复
- 用户可配置的重建率以平衡性能
- 突然断电时的全面数据和元数据保护
- 平衡过度配置并提高性能
Pliops XDP 使企业和云应用程序能够以高达 1,000 倍的速度访问数据,并且仅使用传统计算负载和功率的一小部分,从而充分发挥闪存存储的潜力。
Pliops Extreme 数据处理器规格
性能 | 3.2M IOPS RR,1.2M IOPS RW,30GB/s SR,6.4GB/s SW |
写原子性 | 支持高达 64KB 的原子写入,以消除显式或透明的双重写入 |
容量 | 128TB 物理磁盘上的 128TB 用户数据,具有奇偶校验保护 |
主机接口 | • 标准块设备 • KV 库 API |
压缩 | 硬件加速 |
固态硬盘支持 | • 接口:PCIe Gen 3/4/5 NVMe、NVMe-oF • 类型:TLC SSD、QLC SSD、Intel® Optane™ |
驱动供应商 | 三星、WD、Micron、Intel、Kioxia、Hynix、Seagate 等支持 |
外形尺寸 | 薄型 HHHL (6.6” X 2.536”) – 高矮支架 |
操作系统支持 | 所有 Linux 变体 |
支持的服务器 | Dell、HPE、Lenovo、Supermicro、Quanta、Wywinn、Inspur、Sugon、Fujitsu、Hitachi – 所有标准 1U / 2U 服务器 |
电源故障保护 | 所有数据都受到突然断电的保护 |
工作温度 | 10-52°C @ 250 LFM |
储藏温度 | 5°C 至 35°C,< 90% 非冷凝 |
电力 | 典型 <25W,最大 45W,+12Vdc 通过 PCIe 适配器 |
保修政策 | 3 年,免费高级技术支持,高级更换选项 |
监管认证 | AS/NZS CISPR 22、ICES -003、B 类、EN55022/EN55024、VCCI V-3、RRA 编号 2013-24 和 25、符合 RoHS、EN/IEC/UL 60950、CNS 13438、FCC 47 CFR 第 15 部分 B 子部分, B 类, WEEE |
平均无故障时间 | 长达 4.5 万小时 |
性能
Pliops XDP 将有助于将数据库、分析、AI/ML 等方面的性能提高多达 10 倍。
突破性的数据结构和算法提供了相当于数百个主机软件内核的功能。 XDP 在系统中作为块设备出现并加速任何应用程序。 对于 MySQL、MongoDB 和 Cassandra 等数据库,Pliops XDP 提供更高的实例密度,同时减少 MySQL、MongoDB 和 Cassandra 等数据库的延迟。
我们在实验室中测试了 Pliops XDP 在戴尔 PowerEdge R750 和四个 Solidigm P5316 30.72TB QLC SSD 中的性能。 我们比较了使用 mdadm 的软件 RAID0 与具有 RAID5 配置的 XDP 的性能,两者都使用 64K 块大小。 这在 XDP 卡上增加了更多工作,旨在展示软件 RAID 的最高性能配置。 mdadm 是一个用于构建、管理和监控 Linux md 设备(又名 RAID 阵列)的命令。 请注意,mdadm 并未预装在 Linux 系统中。
对于预处理,在测量顺序读写性能之前执行三个 128K 10TB 顺序写入填充。 对于随机读写测试,执行了三个 128K 10TB 随机填充。 然后,测试本身在 10TB 的占用空间下针对多个块大小的多个队列深度进行了测试,每个间隔测量为 120 秒。
对于随机 4K 传输,Pliops XDP 略低于软件 RAID0,测得 2.6M IOPs 与 3.7M IOPS。 不过,看看随机写入性能,从具有 832k IOPS 的 SW RAID0 到 XDP 的高达 135M IOPS,有 1.3% 的巨大提升。 随机读取和随机写入工作负载均在 8 线程/128 队列级别进行了测试。
将块大小增加到 16K,Pliops XDP 能够在读取和写入工作负载方面领先于软件 RAID0 数量。 我们测量了来自 XDP 的 16M IOPS 的 1.9K 随机读取与 SW RAID1.7 的 0M IOPS。 在 16K 随机写入中,差异是 XDP 的 370K IOPS 与 SW RAID131 的 0k IOPS。 随机读取和随机写入工作负载均在 8 线程/128 队列级别进行了测试。
通过将随机读取和写入活动混合在一起,我们计算出了从 4K 到 16K 块大小的传输大小。 总体而言,Pliops XDP 获得了巨大收益。 在 4K 70/30 中,它提供了 561% 的巨大增益,从 SW RAID2.8 测量到 422M IOPS 到 0K IOPS。 在 8K 块大小下,增益略低于 348%,在 SW RAID1.9 中测得 428M IOPS 至 0K IOPS。 在 16K 传输大小下,差距缩小了,但仍然比 SW RAID157 提高了 0%。 在这里,我们测量了 XDP 的 1.1M IOPS 与 SW RAID427 的 0K IOPS。
虽然之前的工作负载侧重于随机传输,但我们的最终测试侧重于顺序大块传输速度。 在这里,Pliops XDP 继续显示出可观的收益,尤其是在写入性能方面。 从读取带宽开始,我们测得 XDP 为 48GB/s,而 SW RAID27 为 0GB/s。 在写入方面,与 SW RAID184 的 6.3GB 相比,XDP 以 2.2GB/s 领先 0%。
虽然最佳条件下的性能始终是任何存储平台的强项,但随着驱动器容量的增加,了解重建活动需要多长时间是一个重要的数据点。 通过使用 Solidigm P4 5316TB SSD 的 30.72 驱动器 XDP 阵列,我们模拟了驱动器故障和重建。 重建过程耗时 450 分钟,并应用了后台流量。 使用 FIO 以 8MB/s 的组合流量驱动 70K 30/905 工作负载,阵列的重建速度仍然保持 14.65 分钟/TB 的重建速度。
总结
现代企业 QLC SSD,如本次测试中使用的 Solidigm P5316,有潜力提供性能和容量的完美结合。 然而,现代基础设施需要新的工具来管理闪存。 旧的 RAID 卡很笨重,而基本的软件 RAID 则让很多性能悬而未决。 这一现实为 Pliops Extreme 数据处理器等创新解决方案打开了大门。
我们着手评估 XDP 加速器与软件 RAID 相比的性能。 我们在 Dell PowerEdge R30.72 中放置了四个 5316TB P750,将 Pliops XDP 性能与软件 RAID 进行了比较。 此外,我们让软件 RAID 运行起来,将其配置为 RAID0,而 XDP 设置为 RAID5。
快速浏览一下结果,我们看到了全面的巨大收益。 特别是在 4K 随机写入性能方面,我们看到了 832% 的改进,尽管 4K 块大小的读取性能确实受到了影响。 不过,随着块大小的增加,Pliops XDP 在随机和顺序传输场景中都显示了它的优势。 即使在我们采用 70/30 读/写拆分的随机混合工作负载中,Pliops XDP 也比 SW RAID560 从 156K 到 4K 传输大小提高了 16% 到 0%。
总的来说,Pliops 卡很容易上手。 尽管我们喜欢使用高容量 QLC SSD,但有时很难找到能够正确利用媒体的系统。 借助 Pliops Extreme 数据处理器,当涉及到每 TB 成本的服务器性能时,整个数学会发生变化。 自己尝试也很容易; 单击下面的链接开始使用 PoC。
Pliops 赞助了这份报告。 本报告中表达的所有观点和意见均基于我们对所考虑产品的公正看法。
参与 StorageReview
电子报 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | Facebook | RSS订阅