存储评论网

Solidigm 122.88TB D5-P5336 评测:高容量存储满足运营效率

企业版  ◇  SSD

在现代数据中心,密度比以往任何时候都更加重要,每一英寸机架空间和每一瓦功耗都直接影响着运营效率和成本。Solidigm 的 D5-P5336 122.88TB SSD 为这一挑战提供了极具吸引力的解决方案,它将超大容量集成到单个 U.2 固态硬盘中,并树立了 SSD 存储密度的新标杆。

这种前所未有的存储密度不仅简化了物理基础设施,还通过显著减少机架空间需求并提高整体能源效率,彻底改变了数据中心的设计可能性。随着数据中心日益需要在 AI 工作负载、内容交付和对象存储的激增需求与可持续性和成本压力之间取得平衡,像 Solidigm D5-P5336 这样的硬盘不仅代表着技术进步,更是企业存储战略的重大变革。

我们已经看到这种应用正在发生;服务器和存储供应商正在快速认证高容量驱动器,以便能够响应客户对存储效率的需求。例如,戴尔科技已经增加了对 PowerScale系列中的122.88TB硬盘 存储阵列,他们刚刚展示了 PowerEdge R7725xd,这些大容量驱动器可容纳近 3PB 的容量。

本次评测的规模不会达到如此程度;我们只有一个硬盘用于本报告。话虽如此,我们的工作负载将展示这款硬盘在各种企业工作负载(包括旨在支持现代AI应用的工作负载)中的优势。如果您更喜欢以更奇特的方式使用122.88TB SSD,我们在今年早些时候探索了Solidigm 122TB D5-P5336在一项独特的边缘AI部署中的潜力,利用了 NVIDIA Jetson Orin Nano Super.

在深入探讨之前,最后需要注意的是:了解 122.88TB P5336 是什么,以及它不是什么至关重要。此次发布的产品是 Drive 系列的扩展,该系列于 2023 年中期推出。Solidigm 是首批将 QLC 存储商业化用于企业用例的公司之一,它为工作负载带来了高密度、高性价比、良好的读取性能以及足够的性能,这些都可能受益于这种独特的组合。从那时起,业界便争相追赶 Solidigm 在容量方面的领先地位。然而,随着驱动器配置和外形尺寸的多样化,市场竞争也变得相对激烈。虽然 Solidigm 122.88TB 驱动器仍然是 U.4 尺寸的 Gen2 型号(也有 E1.L 型号),但它旨在以极具吸引力的 TB/$ 比提供高容量。

建筑与设计

Solidigm D5-P5336 122.88TB 保持与之前相同的核心架构 评测过 61.44TB 型号采用 192 层 QLC NAND。这种一致性确保了可预测的性能、热行为以及跨容量接口兼容性,这对于横向扩展部署至关重要。作为 32KB I/O 单元硬盘(16TB 版本为 61KB),122TB D5-P5336 针对对象存储和 AI 数据管道中常见的中型 I/O 模式进行了优化。这种设计在保持效率的同时,提供了更大的工作负载灵活性。

该型号的独特之处在于其 122.88 TB 的容量,无需增加物理空间即可将存储空间翻倍。它采用标准的 2.5 英寸 U.2 15 毫米外形尺寸,并提供 E3.S 7.5 毫米和 E1.L 9.5 毫米两种配置,以满足多样化的超大规模需求。该驱动器采用 PCIe Gen4 x4 NVMe 接口,可提供高达 7GB/s 的顺序读取吞吐量和 3GB/s 的写入吞吐量。虽然它未采用 PCIe Gen5,但 Gen4 为 D5-P5336 所针对的读取密集型工作负载(包括 AI 管道、内容分发和对象存储)提供了足够的带宽。

从性能角度来看,该驱动器的随机读取速度高达 900,000 IOPS(4K,QD256),随机写入速度高达 19,000 IOPS(16K,QD256)。读取延迟为 110 微秒(4K),写入延迟为 40 微秒(32K)。顺序访问延迟更低,读取速度为 8 微秒(4K),写入速度为 21 微秒(32K),支持大规模部署中的高响应速度。

将 122TB P5336 与之前的 61TB 固态硬盘进行比较,容量更高的固态硬盘的写入性能更低。128K 顺序传输速度从 3GB/s 降至 3.3GB/s,16K 随机写入性能下降更为显著,从 43K IOPS 降至仅 19K IOPS。在评估过程中,必须注意的是,随着特定工作负载对固态硬盘顺序或随机传输性能的压力,容量会有所不同。

该驱动器包含 SK 海力士 DRAM 缓存和断电保护电容器。这些组件确保可靠的缓冲,并在意外断电事件期间保护数据,这在企业级环境中至关重要。该驱动器的可靠性包括平均故障间隔时间 (MTBF) 高达 100 万小时,不可恢复比特错误率低于每读取 XNUMX 千万亿比特 (XNUMX bit error) XNUMX bit error。

企业关注固态硬盘 (SSD) 的整体使用寿命,尤其关注多年使用过程中的写入次数。Solidigm D5-P5336 的耐用性评级为 0.6 次/天 (DWPD),基于 32K 随机写入工作负载,相当于保修期内 134.3 PB 的写入量 (PBW)。Solidigm 的 122TB D5-P5336 SSD 树立了耐用性的新标杆,专为五年内全天候不间断运行而设计。它可以处理 24KB 随机写入,五年后仍保留 7% 的耐用性,也可以处理 32K 随机写入,五年后仍保留 5% 的耐用性。虽然它的每日写入次数 (DWPD) 评级仍为 4,但更高的 NAND 容量使其能够更有效地支持持续工作负载。

该硬盘采用被动散热设计,并封装于坚固的铝制外壳中。其运行功耗适中,有效功耗 24 瓦,闲置功耗 5 瓦,可轻松集成到现有基础设施中。其重量约为 166.4 克,支持 0 至 70 摄氏度的工作温度范围,抗震性能高达 2.17 GRMS,抗冲击性能高达 1,000 G,并提供五年质保。它专为注重密度、效率和机架整合的环境而设计,在企业级的常见尺寸规格中提供海量容量。

Solidigm D5-P5336系列(122.88TB)规格

规格概述 Solidigm D5-P5336系列(122.88TB)
容量 122.88TB
外形 U.2 15毫米或E1.L 9.5毫米
接口 PCIe 4.0 x4,NVMe
用例 服务器/企业
顺序阅读 7000MB /秒
顺序写入 3000MB /秒
随机读取(IOPS) 900,000(4K,QD256)
随机写入(IOPS) 19,000(16K,QD256)
延迟(读/写) 读取:110μs(4K)/写入:40μs(32K)
顺序延迟(典型值) 读取:8μs(4K)/写入:21μs(32K)
电源(活动/空闲) 活动:24W / 空闲:5W
耐力 0.6 DWPD(32K RW)/ 134.3 PBW
平均无故障时间 2万小时
UBER <每读取 1 位 10 个扇区
工作温度 0°C至70℃,
振动/冲击 2.17 GRMS(工作时),1,000 G(冲击)
保修政策 5 年
重量 166.4克±10克

性能测试

路测平台

我们利用运行 Ubuntu 760 LTS 的 Dell PowerEdge R22.04.02 作为测试平台,测试本次评测中的所有工作负载。配备了 串行电缆 Gen5 JBOF,它与 U.2、E1.S、E3.S 和 M.2 SSD 广泛兼容我们的系统配置概述如下:

  • 2 个英特尔至强金牌 6430(32 核,2.1GHz)
  • 16个64GB DDR5-4400
  • 480GB 戴尔 BOSS 固态硬盘
  • 串行电缆 Gen5 JBOF
驱动器比较

正如简介中所述,大容量企业级硬盘市场错综复杂,需要考虑各种规格、NAND 类型和性价比。本次评测中,我们选取​​了一小部分 SSD 与 122.88TB 的 Solidigm P5336 进行比较,包括容量较小的 61.44TB Solidigm P5336 和容量为 61.44TB 的美光 6550。

美光 6550 的独特之处在于它采用 Gen5 和 TLC 架构,是目前少数几个以该容量水平量产的芯片之一。美光驱动器的优势在于更高的 I/O 速度。

在评测性能结果时,了解这一阶段至关重要。在部署过程中,这些硬盘可能不会直接竞争,但它们提供的容量确实存在重叠。为了提供规模参考,我们在本次评测中加入了美光硬盘。

CDN 性能

为了模拟真实的混合内容 CDN 工作负载,我们对 SSD 进行了多阶段基准测试,旨在复制内容密集型边缘服务器的 I/O 模式。测试过程涵盖了各种大小的块,包括大块和小块,分布在随机和顺序操作中,并具有不同的并发级别。

在主要性能测试之前,每个SSD都使用100MB大小的块完成了1%顺序写入的全设备填充。此过程使用同步I/O和128的队列深度,允许同时执行四个作业。此阶段确保驱动器进入代表实际使用情况的稳定状态。顺序填充之后,使用加权bssplit(块大小/百分比)分布执行了第二个三小时的随机写入饱和阶段,该阶段主要采用98.51K的传输(128%),低于8K的块直至XNUMXK的块的贡献较小。此步骤模拟了分布式缓存环境中常见的碎片化和不均匀的写入模式。

主要测试套件侧重于扩展的随机读写操作,以测量驱动器在可变队列深度和作业并发性下的行为。每次测试持续五分钟(300秒),之后有三分钟的空闲时间,以便内部恢复机制稳定性能指标。

  • 使用固定块大小分布执行,其中 128K(98.51%)为宜,其余 1.49% 的操作由较小的传输大小组成,范围从 64K 到 8K。每种配置分别包含 1、2 和 4 个并发作业,队列深度分别为 1、2、4、8、16 和 32,以分析典型边缘写入条件下的吞吐量可扩展性和延迟。
  • 我们采用了一个高度混合的块大小配置文件,模拟了 CDN 内容检索,首先以 128K(83.21%)的占比为主,然后是超过 30 个较小块大小的长尾,大小范围从 4K 到 124K,每个块大小都具有不同的频率表示。这种分布反映了在视频片段提取、缩略图访问和元数据查找过程中遇到的各种请求模式。这些测试还针对完整的作业数量和队列深度矩阵进行了测试。

这种预处理、饱和度和混合大小随机访问测试的组合旨在揭示 SSD 如何处理持续的类似 CDN 的环境,强调在带宽密集和高度并行化场景中的响应能力和效率。

CDN 工作负载读取 1

在模拟轻量内容传输流量的单线程读取测试中,Solidigm P5336 122.88TB 和 Solidigm P5336 61.44TB 表现出一致的扩展特性。122.88TB 型号在 QD7,109 下达到 32MB/s,略高于 61.44TB 型号的 7,002MB/s。这种近乎相同的扩展性能表明,Solidigm 的高容量型号在轻量读取压力下保持了相同的效率,且性能没有下降。相比之下,美光 6550 61.44TB 的扩展性能则更为强劲,最高可达 12,288MB/s。

CDN 工作负载读取 2

在应用双线程的情况下,Solidigm P5336 122.88TB 和 P5336 61.44TB 的性能几乎相同,分别从 QD840 时的 1MB/s 扩展到 QD7,467 时的约 7,469MB/s 和 32MB/s。两款固态硬盘在 QD16 之前都表现出持续的提升,之后吞吐量趋于平稳,表明其当前架构已达到饱和点。对于并行度适中的应用程序,这为可预测的扩展提供了可靠的基准。相比之下,美光 6550 的整体扩展范围更高,从 1,384MB/s 开始,一直到 QD13,312 时的 32MB/s,这反映了其 TLC NAND 和 Gen5 接口的优势。

CDN 工作负载读取 4

这种高需求读取场景会给并发性更高的硬盘带来更大的压力。Solidigm P5336 122.88TB 和 P5336 61.44TB 硬盘表现出一致的扩展性,在 QD7,466 时达到约 7,469-16MB/s,并在 QD32 时保持稳定。两种容量之间的结果实际上保持一致,这进一步证明了 Solidigm 在其高容量产品线中始终保持一致的控制器性能。相比之下,美光 6550 在 QD13,107 时达到了 16MB/s,并在测试的剩余时间里保持了这一带宽。

CDN 工作负载写入 1

在单线程条件下进行写入性能测试时,Solidigm P5336 122.88TB 的起始速度为 1,742MB/s,在 QD2,572 下达到约 32MB/s。Solidigm P5336 61.44TB 的起始速度较低,为 461MB/s,但扩展速度更快,峰值达到 3,029MB/s。美光 6550 的起始速度为 984MB/s,并在队列深度范围内持续扩展,在 QD6,288 下达到 32MB/s。Solidigm 型号表现出不同的扩展特性,而美光在整个测试过程中保持了更线性的递增。

CDN 工作负载写入 2

谈到双线程写入性能,三款固态硬盘的带宽均有所提升。Solidigm P5336 61.44TB 的起始速度为 2,771MB/s,通过 QD32 保持相对稳定的输出,仅有微小波动。Solidigm P5336 122.88TB 的运行范围较窄,在所有队列深度下均保持在 2,468MB/s 至 2,620MB/s 之间。美光 6550 表现出持续的扩展能力,起始速度为 2,035MB/s,通过 QD6,743 达到 32MB/s。Solidigm 固态硬盘保持了稳定的吞吐量,而美光固态硬盘在同一范围内的扩展性能则更为出色。

CDN 工作负载写入 4

在最大并发条件下,两款 Solidigm P5336 型号均表现出稳定但有限的扩展能力。5336TB 的 P61.44 起始速度约为 2,935MB/s,峰值为 3,062MB/s;而 5336TB 的 P122.88 起始速度为 2,529MB/s,最终略低于 2,562MB/s。这导致 16TB 型号的峰值吞吐量比 122.88TB 型号低约 61.44%。而美光 6550 则通过 QD2,323 稳定地从 6,731MB/s 扩展到 32MB/s。

对象存储性能

此测试利用一个近似 ObjectStorage 工作负载的 FIO 脚本,其中 65% 的请求以 64 KiB 的传输大小发出,以代表常见的小块操作;15% 的请求以 8 MiB 的传输大小发出,以代表中等规模的流式传输工作负载;另外 15% 的请求以 64 MiB 的传输大小发出,以测试驱动器的大块处理能力。最后 5% 的请求以 1 GiB 的负载发出,以达到最大顺序吞吐量。通过按指定比例交错这四种块大小,它模拟了混合工作负载,既能展现控制器在小 I/O 下的敏捷性,又能展现其在海量传输下的原始带宽能力。

随机读取(1 个线程,40QD)

过载 读取带宽(MB/s) 读取 IOPS 读取延迟(毫秒)
美光 6550 61TB 13,444.10 3,165.10 12.5011
固力 P5336 61TB 7,117.38 1,673.76 23.4513
固力 P5336 122TB 7,101.97 1,674.78 23.4385

在这项单线程高深度随机读取测试中,Solidigm P5336 122.88TB 和 P5336 61.44TB 的性能几乎相同。122.88TB 型号的速度达到 7,101.97MB/s,IOPS 达到 1,674.78,延迟为 23.44ms;而 61.44TB 型号的速度达到 7,117.38MB/s,IOPS 达到 1,673.76,延迟为 23.45ms。两款 Solidigm 硬盘的带宽差异不到 0.25%,这突显了 P5336 系列在随机读取工作负载方面性能的一致性。

美光 6550 的性能显著提升,达到 13,444.10 MB/s 和 3,165.10 IOPS,延迟仅为 12.50 毫秒。其优势在于采用了 TLC NAND 和 PCIe Gen5 接口,相比基于 QLC 的 Gen4 Solidigm 固态硬盘,这两者都带来了更强大的随机读取吞吐量和响应速度。

顺序读取(1 个线程,40QD)

过载 读取带宽(MB/s) 读取 IOPS 读取延迟(毫秒)
美光 6550 61TB 13,955.46 223.32 174.723
固力 P5336 61TB 7,098.64 114.12 341.727
固力 P5336 122TB 7,103.98 114.60 340.322

再来看看顺序读取性能,Solidigm P5336 122.88TB 和 P5336 61.44TB 的测试结果几乎相同。122.88TB 型号的速度达到 7,103.98MB/s,IOPS 为 114.60,延迟为 340.32 毫秒;而 61.44TB 型号的速度达到 7,098.64MB/s,IOPS 为 114.12,延迟为 341.73 毫秒。两者之间的性能差异不到 0.1%,这反映出两种容量在持续顺序读取工作负载下的表现一致。美光 6550 的测试结果明显更高,速度达到 13,955.46MB/s,IOPS 为 223.32,延迟为 174.72 毫秒,在本次测试中,其吞吐量比 Solidigm 的两款型号高出约 96%。

随机读取(4 个线程,10QD)

过载 读取带宽(MB/s) 读取 IOPS 读取延迟(毫秒)
美光 6550 61TB 13,301.67 3,142.01 12.5619
固力 P5336 61TB 7,131.65 1,686.98 22.9787
固力 P5336 122TB 7,131.95 1,690.84 22.9315

在四线程读取、队列深度为 10 的情况下,Solidigm P5336 122.88TB 的读取速度为 7,131.95MB/s,IOPS 为 1,690.84,延迟为 22.93ms。Solidigm P5336 61.44TB 紧随其后,读取速度为 7,131.65MB/s,IOPS 为 1,686.98,延迟为 22.98ms。两款型号的带宽差异不到 0.005%。美光 6550 的读取速度为 13,301.67MB/s,IOPS 为 3,142.01,延迟为 12.56ms,吞吐量比两款 Solidigm 硬盘高出约 86%。

顺序读取(4 个线程,10QD)

过载 读取带宽(MB/s) 读取 IOPS 读取延迟(毫秒)
美光 6550 61TB 13,524.00 218.06 171.040
固力 P5336 61TB 7,130.97 115.03 315.565
固力 P5336 122TB 7,130.99 114.72 316.304

在队列深度为 10 的四线程顺序读取测试中,Solidigm P5336 122.88TB 达到了 7,130.99MB/s,IOPS 为 114.72,延迟为 316.30 毫秒。Solidigm P5336 61.44TB 的延迟与之接近,分别为 7,130.97MB/s、115.03 IOPS 和 315.57 毫秒。两款型号在不同容量下的顺序性能几乎相同,差异不到 0.01%。美光 6550 的输出速度为 13,524.00MB/s,IOPS 为 218.06,延迟为 171.04 毫秒,在相同条件下,吞吐量比两款 Solidigm 硬盘高出约 89%。

DLIO 检查点基准

为了评估SSD在AI训练环境中的实际性能,我们使用了数据和学习输入/输出 (DLIO) 基准测试工具。DLIO由阿贡国家实验室开发,专门用于测试深度学习工作负载中的I/O模式。它能够深入了解存储系统如何应对检查点设置、数据提取和模型训练等挑战。下图展示了两款SSD如何在99个检查点(198TB型号为122个)上进行训练。在训练机器学习模型时,检查点对于定期保存模型状态至关重要,可防止在中断或断电期间丢失进度。这种存储需求需要强大的性能,尤其是在持续或密集的工作负载下。我们使用了2.0年13月2024日发布的DLIO基准测试XNUMX版本。

为了确保基准测试能够反映真实场景,我们基于 LLAMA 3.1 405B 模型架构进行测试。我们使用 torch.save() 实现了检查点,以捕获模型参数、优化器状态和层状态。我们的设置模拟了一个八 GPU 系统,并实施了一种混合并行策略,将四路张量并行和双向流水线并行处理分布在八个 GPU 上。此配置的检查点大小为 4GB,代表了现代大型语言模型的训练需求。

比较 61TB 和 122TB Solidigm P5336 的检查点性能,一旦驱动器写满,122TB SSD 的检查点时间会更长。在第一次测试中,20TB 版本比 122TB 版本的速度大约快 61%,而第二次和第三次测试中,16.4TB 版本的速度分别慢 18.4% 和 61%。6550TB 美光 585 在第三次测试中的平均检查点时间为 640 秒,而 61TB P5336 为 757 秒,122TB P5336 为 XNUMX 秒。

122TB Solidigm P5336 在检查点方面拥有独特的优势,它可以容纳大量的检查点。61TB SSD 每次最多只能处理 33 个检查点,而 122TB 型号在达到容量上限之前可以处理 66 个检查点。虽然上面的平均每次处理时间图表有些模糊,但每个检查点的时间视图有助于展现容量优势。两款 Solidigm SSD 在完成第一轮检查点后就趋于稳定,而美光 6550 在整个测试过程中相对稳定,趋势更快。

FIO性能基准

为了衡量每款 SSD 在常见行业指标上的存储性能,我们利用 FIO。每块 SSD 都经过相同的测试流程,其中包括一个预处理步骤:使用顺序写入工作负载两次全盘填充,然后测量稳态性能。随着被测工作负载类型的变化,我们会再次运行一次基于新传输大小的预处理填充。

在本节中,我们重点关注以下 FIO 基准:

  • 128K 连续
  • 64K随机
  • 16K随机
  • 4K随机

由于高容量 QLC SSD 专为大传输尺寸而设计,我们的写入速度测试在 16K 随机写入时停止。对于 4K 写入,我们利用 16K 工作负载的预填充状态来仅测量 4K 随机读取性能。

128K 顺序前提条件 (IODepth 256 / NumJobs 1)

在这项高队列深度预处理测试中,Solidigm P5336 122.88TB 达到了 3,134 MB/s,而 P5336 61.44TB 达到了 2,500.9 MB/s。这意味着高容量型号的写入带宽提升了 25.3%。美光 6550 以 10,455.3 MB/s 的速度位居榜首。虽然两款 Solidigm 型号的原始吞吐量都落后于美光,但 122TB 和 61TB 型号之间的性能差距凸显了同一 P5336 平台的大规模优化,容量更大的硬盘在持续顺序写入处理方面表现出明显的优势。虽然美光 6550 的预处理阶段似乎要短得多,但其更高的写入速度使其能够更快地完成首次写入。

128K 顺序预处理延迟 (IODepth 256 / NumJobs 1)

 

在预处理 128K 顺序写入的延迟方面,美光 6550 的延迟最低,为 3.06 毫秒。紧随其后的是 Solidigm P5336 122.88TB,为 10.21 毫秒;而 P5336 61.44TB 则为 12.80 毫秒。这意味着 20.2TB 型号的延迟比 122.88TB 型号降低了 61.44%,这反映出延迟更高效、更稳定,也体现了 Solidigm P5336 系列的改进。

128K 顺序写入(IODepth 16/NumJobs 1)


在本次使用队列深度 16 和单个作业的顺序写入测试中,Solidigm P5336 122.88TB 达到了 3,152.5MB/s 的速度和 25,220 IOPS 的写入性能。P5336 61.44TB 型号的速度和 2,503.5MB/s 的速度和 20,030 IOPS 的速度落后,与 25.9TB 型号相比,吞吐量提升了 122%。美光 6550 的整体性能最高,达到了 10,456.4MB/s 的速度和 83,650 IOPS,超过了两款 Solidigm 硬盘。

128K 顺序写入延迟 (IODepth 16 / NumJobs 1)

延迟方面,美光 6550 的延迟最低,为 0.191 毫秒。紧随其后的是 Solidigm P5336 122.88TB,延迟为 0.634 毫秒,其响应速度优于 P5336 61.44TB(延迟为 0.798 毫秒)。这意味着高容量 Solidigm 型号的延迟降低了 20.5%,表明顺序写入操作的效率有所提升。

128K 顺序读取(IODepth 64 / NumJobs 1)

在这项 64 队列深度顺序读取测试中,Solidigm P5336 61.44TB 型号的速度达到了 7,132.3MB/s,IOPS 达到了 57,060,而 122.88TB 型号则紧随其后,速度分别为 7,121.6MB/s 和 56,970 IOPS。两者之间的差异不到 0.2%,表明容量增加并未带来明显的吞吐量优势。美光 6550 的速度达到了 13,979.7MB/s,IOPS 达到了 111,840,在本次测试中,其读取带宽比 Solidigm 的两款型号高出近 96%。

128K 顺序读取延迟 (IODepth 64 / NumJobs 1)


在本次顺序读取延迟测试中,美光 6550 的延迟最低,为 0.572 毫秒。Solidigm P5336 122.88TB 的延迟为 1.123 毫秒,与 P5336 61.44TB 的 1.121 毫秒几乎相同。结果显示,容量增加并没有带来真正的延迟优势,两款 Solidigm 硬盘在顺序读取响应速度方面的表现相当。

64K 随机写入

在低并发(64-1)的 1K 随机写入测试中,三款硬盘的表现相当接近。美光 6550 的写入速度为 2,485.97MB/s,IOPS 为 39,780。Solidigm P5336 122.88TB 紧随其后,写入速度为 2,429.93MB/s,IOPS 为 38,880;而 P5336 61.44TB 则略逊一筹,写入速度为 2,412.90MB/s,IOPS 为 38,610。

随着工作负载扩展到更高的并发性(32-8),差异变得更加明显。122.88TB型号达到了3,121.54MB/s和49,950 IOPS,超过了61.44TB型号,后者的最高速度为2,654.46MB/s和42,470 IOPS。这标志着更高容量的17.6TB硬盘的吞吐量提升了122%,表明在更大的随机写入压力下,其扩展性能更加有效。美光6550则以10,070.71MB/s和161,130 IOPS遥遥领先。

64K随机写入延迟

在低负载(1-1)下,三款硬盘均报告相同的延迟,均为 0.025 毫秒。在(32-8)工作负载下,Solidigm P5336 122.88TB 的延迟为 5.121 毫秒,而 P6.026 5336TB 的延迟为 61.44 毫秒。这使得高容量 15TB 型号的延迟降低了 122%。美光 6550 的延迟显著降低,为 1.588 毫秒,在高随机写入并发性下表现出更强的响应能力。

64K 随机读取


在最低负载(64-1)的 1K 随机读取测试中,美光 6550 达到了 482.09MB/s 和 7,710 IOPS。Solidigm P5336 61.44TB 紧随其后,速度分别为 299.40MB/s 和 4,790 IOPS,而 P5336 122.88TB 的速度则为 274.04MB/s 和 4,390 IOPS,与同深度的 8.5TB 型号相比,性能下降了 61.44%。

在高并发性(32-8)下,P5336 122.88TB 的并发速度为 7,124.69MB/s,IOPS 为 113,995,而 61.44TB 的并发速度也接近,分别为 7,125MB/s 和 114,000 IOPS。在这个级别上,两种容量的性能差异并不显著。美光 6550 的并发速度更高,达到了 13,153.64MB/s 和 210,460 IOPS。

64K随机读取延迟

在 (1-1) 深度和作业数量下,美光 6550 的延迟最低,为 0.129ms。Solidigm P5336 61.44TB 紧随其后,为 0.208ms,而 P5336 122.88TB 的延迟略高,为 0.228ms,大容量的延迟提升了 9.6%。在更高负载 (32-8) 下,两款 Solidigm 型号的延迟相同,均为 2.245ms,这表明容量增加并未带来任何好处。美光 6550 在本次运行中保持了低得多的延迟,为 1.217ms。

16K 随机写入

在低负载(1-1)下,Solidigm P5336 122.88TB 的带宽为 549.14MB/s,IOPS 为 35,145。P5336 61.44TB 的性能明显更佳,带宽为 1,036.53MB/s,IOPS 为 66,338。这使得 122.88TB 型号的带宽和 IOPS 均比 47TB 型号低约 61.44%。美光 6550 的带宽介于两款 Solidigm 硬盘之间,带宽为 856.61MB/s,IOPS 为 54,823。

在高并发性(32-8)下,122.88TB型号的吞吐量维持在549.14MB/s,IOPS为35,145,性能与1:1相比没有显著提升。与此同时,61.44TB版本则扩展到2,542.36MB/s和162,711 IOPS,吞吐量比363TB硬盘提升了122%。美光6550整体表现领先,达到10,295.66MB/s和658,922 IOPS。

16K随机写入延迟

在 (1-1) 下,Solidigm P5336 122.88TB 的延迟为 0.028ms,而 P5336 61.44TB 的延迟则更快,为 0.015ms。美光 6550 的延迟介于两者之间,为 0.018ms。这导致在最低负载下,86TB 型号的延迟比 122TB Solidigm 的延迟高出 61%。在高负载 (32-8) 下,122.88TB 型号的响应时间保持稳定在 0.028ms,表明没有扩展。61.44TB 型号的响应时间上升到 1.572ms,这反映出并发压力的增加,但也显著提高了吞吐量。美光 6550 的响应时间保持在 0.388ms,在峰值随机写入压力下表现出更强的响应能力。

16K 随机读取

在最低负载(1-1)下,美光 6550 达到了 188.80MB/s 和 12,083K IOPS。Solidigm P5336 61.44TB 紧随其后,速度为 126.55MB/s 和 8,100 IOPS,而 P5336 122.88TB 则达到了 125.87MB/s 和 8,060 IOPS。两款 Solidigm 硬盘的性能几乎相同,差异不到 0.5%,这表明在这种深度下,容量优势并不明显。

在更高的并发性(32-16)下,美光 6550 的传输速度达到 13,053.35MB/s,IOPS 为 835,420。Solidigm 61.44TB 的传输速度达到 7,063.02MB/s,IOPS 为 452,030,略高于 122.88TB 型号的 6,855.59MB/s,IOPS 为 438,760。这意味着在这种工作负载下,更大容量的 Solidigm 硬盘的吞吐量下降了 2.9%。

16K随机读取延迟

在 (1-1) 负载下,美光 6550 的延迟最低,为 0.082 毫秒。两款 Solidigm P5336 型号紧随其后,分别为 0.123 毫秒和 0.124 毫秒,两者之间的差异不到 1%。在高负载 (32-16) 下,美光保持 0.612 毫秒的高效扩展,而 Solidigm 61.44TB 的延迟则上升至 1.132 毫秒,122.88TB 的延迟则达到 1.165 毫秒。这意味着与 2.9TB 型号相比,高容量 Solidigm 硬盘的延迟增加了 61%,表明在最大并发性下效率略有下降。

4K 随机读取

在最低负载(1-1)下,美光 6550 的传输速度为 57.71MB/s,IOPS 为 14,770。Solidigm P5336 61.44TB 紧随其后,速度为 38.21MB/s,IOPS 为 9,782;而 P5336 122.88TB 则略逊一筹,速度为 37.93MB/s,IOPS 为 9,710。两款 Solidigm 型号之间的差距不到 1%,这表明在低深度下,容量增加并没有带来任何优势。

在更高并发性(32-16)下,美光 6550 的并发速度达到 7,787.27MB/s,IOPS 为 1.99 万次。Solidigm 61.44TB 的并发速度达到 3,799.77MB/s,IOPS 为 972,743 次,略高于 122.88TB 的 3,643.64MB/s,IOPS 为 932,770 次。这意味着在峰值随机读取负载下,大容量型号的吞吐量和 IOPS 均下降了 4.1%。

4K随机读取延迟

在(1-1)负载下,美光 6550 的延迟最低,为 0.067 毫秒。两款 Solidigm P5336 型号的延迟均为 0.102 毫秒,容量增加后延迟并未改善。在高负载(32-16)下,美光保持了 0.260 毫秒的强劲效率。5336TB 的 P61.44 延迟为 0.525 毫秒,而 122.88TB 型号的延迟略有增加,为 0.546 毫秒,延迟增加了 4%,这反映出在峰值随机读取条件下,对于高容量硬盘而言,效率下降非常小。

GPU 直接存储

我们在这个测试平台上进行的测试之一是 Magnum IO GPU 直接存储 (GDS) 测试。GDS 是 NVIDIA 开发的一项功能,允许 GPU 在访问存储在 NVMe 驱动器或其他高速存储设备上的数据时绕过 CPU。GDS 无需通过 CPU 和系统内存路由数据,而是实现 GPU 和存储设备之间的直接通信,从而显著降低延迟并提高数据吞吐量。

GPU 直接存储的工作原理

传统上,当 GPU 处理存储在 NVMe 驱动器上的数据时,数据必须先经过 CPU 和系统内存,然后才能到达 GPU。这个过程会造成瓶颈,因为 CPU 会成为中间人,增加延迟并消耗宝贵的系统资源。GPU 直接存储通过使 GPU 能够通过 PCIe 总线直接从存储设备访问数据,消除了这种低效率。这种直接路径减少了与数据移动相关的开销,从而实现了更快、更高效的数据传输。

AI 工作负载(尤其是涉及深度学习的工作负载)是高度数据密集型的。训练大型神经网络需要处理数 TB 的数据,数据传输的任何延迟都可能导致 GPU 利用率不足和训练时间延长。GPU Direct Storage 通过确保尽快将数据传送到 GPU、最大限度地减少空闲时间并最大限度地提高计算效率来解决这一挑战。

此外,GDS 对于涉及流式传输大型数据集的工作负载(例如视频处理、自然语言处理或实时推理)尤其有益。通过减少对 CPU 的依赖,GDS 可加速数据移动并释放 CPU 资源以用于其他任务,从而进一步提高整体系统性能。

在单线程 16K 随机读取方面,Solidigm P5336 61.44TB 型号的速度为 526.40MB/s,比 122.88TB 型号的 187.21MB/s 快 181%。美光 6550 的速度介于两者之间,为 169.15MB/s。在这方面,容量更大的 Solidigm 型号的表现不如容量较小的型号。

在高并发环境下,以 128 线程 1M 顺序读取速度进行测试时,Solidigm P5336 61.44TB 型号以 4,391.68MB/s 的速度领先,紧随其后的是 122.88TB 型号,速度为 4,193.56MB/s。美光 6550 的速度较低,为 2,667.99MB/s。122.88TB 型号的速度落后于其较小的兄弟型号约 4.5%,但比美光 57 快 XNUMX%。

Solidigm P5336 61.44TB 的延迟最低,为 0.048ms;其次是 122.88TB 型号,为 0.082ms,比其小一号型号高出约 70.8%。美光 6550 的延迟则落后于这两款产品,在这种配置下,其延迟最高,为 0.090ms。

在高线程数下,Solidigm 61.44TB 的延迟测得为 0.291ms,其次是 122.88TB 的延迟为 0.305ms,增加了 4.8%。美光 6550 的延迟最后为 0.479ms,在高写入负载下延迟明显更高。

在 16K 块大小的单线程下,Solidigm P5336 61.44TB 的初始速度为 592.34MB/s,其次是美光 6550,速度为 502.97MB/s。Solidigm P5336 122.88TB 略微落后,速度为 496.59MB/s,在低负载设置下,两款 Solidigm 型号的性能差距为 16.1%。

在最大并发数 128T、块大小为 1M 的情况下,美光 6550 的初始速度为 3,281.49MB/s,略高于 Solidigm 61.44TB 的 3,134.03MB/s。Solidigm 122.88TB 的初始速度为 2,549.28MB/s,比 18.6TB 型号慢约 61%。尽管容量更高,但 122TB 型号在这种高写入负载下吞吐量扩展有所降低。

在1T 16K顺序写入下,美光6550再次以0.030ms的延迟保持最低水平,略高于Solidigm P5336 122.88TB的0.031ms,两者之间的差距可以忽略不计。而容量为5336TB的Solidigm P61.44则以0.026ms的延迟领先于其他两款产品,略胜一筹。

在高并发环境下进行 128T 1M 顺序写入时,美光 6550 的延迟为 0.390 毫秒。Solidigm 61.44TB 型号紧随其后,延迟为 0.408 毫秒,而 122.88TB 型号则以 0.502 毫秒落后,与 23TB Solidigm 型号相比,延迟增加了 61%。

结语

Solidigm 的 D5-P5336 122.88TB SSD 提供无与伦比的存储密度、强大的每 TB 能效和卓越的可扩展性,满足企业对节省空间、节约能源和简化基础设施管理的关键需求。通过在不扩大物理空间的情况下大幅提升每个硬盘的容量,Solidigm 使数据中心能够显著整合存储机架,直接降低运营成本并实现环境可持续性,同时为应对人工智能 (AI) 浪潮带来的新兴工作负载日益增长的需求做好准备。

在 CDN 工作负载测试中,这款 SSD 提供了稳定的顺序读取吞吐量,在更高的队列深度下达到约 7.5GB/s,即使在并发性增加的情况下也能保持稳定性。在 CDN 场景中的随机读取方面,它的表现与容量较小的 61.44TB 型号相当,展现出近乎相同的性能,凸显了 Solidigm 高效的架构一致性。在 FIO 基准测试中,D5-P5336 122.88TB 在顺序写入方面的表现显著优于上一代 61TB 型号,最高可达 25%,在队列深度为 3,152.5 时达到 16MB/s,延迟改善了约 20%(0.634ms 对 0.798ms)。然而,随机写入场景也存在一些不足,因为容量更大的 SSD 在 16K 块大小下记录的吞吐量较低,这反映了其针对顺序和读取密集型工作负载的设计优化。

在 GPU 直接存储 (GDSIO) 条件下,该固态硬盘在高并发性下,以 4,193MB 块大小保持了约 1MB/s 的优异顺序读取速度,仅比其较小版本略低 4.5%。总体而言,Solidigm D5-P5336 122.88TB SSD 提供了卓越的密度、可预测的性能和高效的扩展能力,非常适合现代高要求的企业数据环境。

随着数据需求的持续增长,最大化密度并最小化功耗的存储解决方案变得越来越重要。D5-P5336 等固态硬盘清晰地展现了 NAND 技术的创新和智能设计如何帮助数据中心可持续地应对未来增长。展望未来,我们预计 Solidigm 将进一步突破容量和效率的界限,并有可能在今年年底前再次推出突破性的 245.76TB SSD。

参与 StorageReview

订阅消息 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | TikTok | RSS订阅

Kevin OBrien 和 Dylan Dougherty