Solidigm D5-P5430 是 Solidigm QLC 数据中心产品线的主流产品。它的容量低于追求极致容量的D5-P5336,并配备了更小的间接单元,以应对 16KB-IU 硬盘难以处理的混合写入和小块写入工作负载。我们在 2023 年P5430发布之初就对其进行了评测,当时的焦点在于其间接单元从 P5316 的 64KB 提升至 4KB,以及这种提升对小块写入性能的影响。实验室中的 30.72TB E3.S 型号现在凭借 8KB 间接单元成为该系列中的佼佼者,并且它进入了一个非常不同的比较组:高容量 QLC 级别已经发展到 61TB、122TB 和 245TB 的驱动器,其中一些是 Gen5,而 P5430 是一款 PCIe 4.0 x4 驱动器,在这里以 7.5mm E3.S 外形尺寸进行测试,该系列还提供 U.2 和 E1.S。
Solidigm 官方标称该系列硬盘顺序读取速度最高可达 7,000MB/s,顺序写入速度最高可达 3,000MB/s,随机读取 IOPS 最高可达 971K,随机写入 IOPS 最高可达 120K。其中,30.72TB 型号的随机读取 IOPS 最高可达 934.5K,写入寿命为 31.92PBW,在 100% 随机写入工作负载下,五年质保期内的 DWPD 为 0.58。功耗方面,工作功耗最高可达 25W,空闲功耗最高可达 5W。
Solidigm 一直以来都以 QLC 的成本为卖点,力求在保持 TLC 级读取性能的同时,实现高密度存储。这款固态硬盘具备企业级配置:采用 Solidigm 自研控制器和固件支持的 192 层 3D QLC NAND 闪存,支持 PCIe 4.0 x4 和 NVMe 1.4c 标准,提供端到端数据保护(ECC 和 CRC 同时启用),支持断电保护、安全启动、TCG Opal 2.0 和 FIPS 140-2 Level 2 认证选项、OCP 2.0 遥测功能,并通过了 Intel、AMD、Ampere 和 NVIDIA 平台的验证。该系列产品容量范围从 3.84TB 到 30.72TB,采用 U.2 15mm 和 E3.S 7.5mm 封装,E1.S 9.5mm 封装最高容量可达 15.36TB。
Solidigm D5-P5430 30.72TB 技术规格
| 规格 | 固力D5-P5430 30.72TB |
|---|---|
| 平台概述 | |
| 容量(已测试) | 30.72TB |
| 家庭容量 | U.2 和 E3.S:3.84TB、7.68TB、15.36TB、30.72TB E1.S:3.84TB、7.68TB、15.36TB |
| 外形 | U.2 15毫米 E3.S 7.5mm(已测试) E1.S 9.5mm |
| 接口 | PCIe 4.0 x4,NVMe 1.4c |
| NAND闪存 | 192层3D QLC |
| 间接单元 | 8KB (30.72TB) 4KB(3.84TB 至 15.36TB) |
| 性能(厂商评级) | |
| 顺序阅读 | 高达7,000MB /秒 |
| 顺序写入 | 高达3,000MB /秒 |
| 随机 4K 读取 | 最高可达 971K IOPS(系列) 934.5K IOPS (30.72TB) |
| 随机 4K 写入 | 高达120K IOPS |
| 力量与耐力 | |
| 耐力 | 31.92PBW (30.72TB) 最高可达 0.58 DWPD,100% 随机写入 |
| 电力 | 最高可达 25W 有源功率 待机功耗高达 5W |
| 保修政策 | 5 年 |
| 产品特性 | |
| 数据保护 | 端到端数据保护(ECC 和 CRC) 掉电保护 UBER 测试结果为 1E-17 |
| 安保防护 | 安全启动 TCG 蛋白石 2.0 FIPS 140-2 二级(部分 SKU) |
| 管理学 | OCP 2.0 日志页面和遥测 |
| 平台验证 | 英特尔、AMD、Ampere、英伟达 |
Solidigm D5-P5430 30.72TB 高性能硬盘
路测平台
本次评测中,我们使用一台运行 Ubuntu 22.04.2 LTS 的戴尔 PowerEdge R760 服务器作为所有工作负载的测试平台。该服务器配备了 Serial Cables Gen5 JBOF 接口,可广泛兼容 U.2、E1.S、E3.S 和 M.2 固态硬盘。我们的系统配置如下:
- 2 个英特尔至强金牌 6430(32 核,2.1GHz)
- 16个64GB DDR5-4400
- 480GB 戴尔 BOSS 固态硬盘
- 串行电缆 Gen5 JBOF
驱动器比较
- Solidigm D5-P5430 30.72TB (Gen4 | E3.S 7.5mm)
- Solidigm D5-P5336 61.44TB (Gen4 | U.2)
- Solidigm D5-P5336 122.88TB (Gen4 | U.2)
- DapuStor J5060 61.44TB (Gen4 | U.2)
- DapuStor R6060 122.88TB (Gen5 | E3.L)
- Micron 6550 ION 61.44TB (Gen5 | E3.S, TLC)
- Micron 6600 ION 245.76TB (Gen5 | E3.L)
本次对比测试的对象是目前市面上所有高容量QLC固态硬盘,并包含一块TLC固态硬盘作为对比。P5430是该系列中容量最小的硬盘,也是唯一一款低于61TB的硬盘。它与P5336(61.44TB)、P5336(122.88TB)以及DapuStor J5060共享Gen4总线,这三款硬盘均采用U.2接口。DapuStor R6060、Micron 6600 ION和Micron 6550 ION则采用Gen5总线,因此P5430虽然能够与它们并驾齐驱,但总线带宽只有它们的一半。只有TLC 6550 ION与P5430采用相同的E3.S外形尺寸;本次对比测试的目的是为了展示,当市场上存在容量更大、更新或两者兼具的替代产品时,30TB Gen4 QLC固态硬盘的性能处于什么水平。
FIO性能基准
为了衡量每块固态硬盘在常用行业指标上的存储性能,我们使用 FIO 工具。每块硬盘都经过相同的测试流程,包括预处理步骤(使用顺序写入工作负载对硬盘进行两次完整写入),以及稳态性能测量。随着待测工作负载类型的变化,我们会运行一次新的预处理写入,写入量与新的写入量相匹配。
在本节中,我们重点关注以下 FIO 基准:
- 128K 连续
- 64K随机
- 4K随机
128K 顺序写入(IODepth 16/NumJobs 1)
在128K顺序写入测试中,P5430的读写速度达到了3,150.2MB/s,超过了其3,000MB/s的标称速度,与采用Gen4 QLC闪存的Solidigm P5336 122.88TB固态硬盘的3,152.5MB/s读写速度持平。DapuStor R6060 122.88TB固态硬盘采用Gen5闪存,读写速度达到了3,920.6MB/s,而采用TLC闪存的Micron 6550 ION 61.44TB固态硬盘则以10,456.4MB/s的读写速度遥遥领先于其他产品。在 P5430 之下的是 DapuStor J5060(61.44TB,速度 2,883.1MB/s)、Micron 6600 ION(245.76TB,速度 2,838.0MB/s)和 Solidigm P5336(61.44TB,速度 2,503.5MB/s),因此 30.72TB 的 P5430 的速度为 312.2MB/s,领先于 245.76TB 的 6600 ION。
128K 顺序写入延迟 (IODepth 16 / NumJobs 1)
延迟与带宽成正比,P5430 的延迟为 634.5µs,略高于 P5336 122.88TB(634.0µs),仅次于 6550 ION(191.0µs)和 R6060(509.7µs)。J5060(693.3µs)、6600 ION(704.3µs)和 P5336 61.44TB(798.4µs)则稍逊一筹。
128K 顺序读取(IODepth 64 / NumJobs 1)
P5430 在 128K 顺序读取测试中达到了 7,132.1MB/s 的速度,与 P5336 61.44TB(7,132.3MB/s)、J5060(7,126.8MB/s)和 P5336 122.88TB(7,121.6MB/s)的性能基本相同,略高于其标称的 7,000MB/s 的速度。所有四款第四代固态硬盘的性能上限都相同,而第五代固态硬盘则远超这一上限:6550 ION 的速度为 13,979.7MB/s,6600 ION 的速度为 12,729.8MB/s,R6060 的速度为 11,554.0MB/s。
128K 顺序读取延迟 (IODepth 64 / NumJobs 1)
P5430 的 128K 顺序读取延迟为 1,121.3µs,与 P5336 61.44TB 的延迟相同,均为 1,121.3µs,与 J5060 和 P5336 122.88TB 的延迟相差不到 2µs。第五代硬盘的延迟介于 571.9µs(6550 ION)和 692.1µs(R6060)之间。
64K 随机写入
P5430 在 64K 随机写入测试中,初始写入速度为 2,359.9MB/s,IOPS 为 37.8K(队列深度 1/1),达到 3,149.9MB/s(队列深度 2/1),随后在剩余的 16 个测试点中保持在 3,090.7MB/s 至 3,156.5MB/s 之间,在队列深度 32/4 时达到峰值 3,156.5MB/s 和 50.5K IOPS,在队列深度 32/8 时以 3,149.6MB/s 收尾。这与 128K 测试中发现的 3.15GB/s 写入速度上限相同,并且从队列深度 2/1 开始,P5430 在所有队列深度和作业数下都保持在该水平。
在该组中,P5336 122.88TB 的读写速度几乎完全稳定在 2,429.9MB/s 到 3,182.7MB/s 之间;R6060 的读写速度在 3,477.9MB/s 之后稳定在 3,913.8MB/s 到 3,916.9MB/s 之间;J5060 的读写速度基本保持在 2,883MB/s 左右,期间两次降至 2,700MB/s 左右;P5336 61.44TB 的读写速度则在 2,412.9MB/s 到 2,721.4MB/s 之间。根据组合的不同,6600 ION 的读写速度在 569.1MB/s 到 2,999.6MB/s 之间波动,在 32/8 模式下最终达到 694.8MB/s 和 11.1K IOPS,而 TLC 6550 ION 则处于另一个级别,读写速度高达 10,413.1MB/s。
64K随机写入延迟
由于吞吐量保持不变,P5430 的延迟几乎与未完成 I/O 的数量完全成比例:1/1 时为 26.1µs,2/1 时为 39.3µs,4 个未完成 I/O 时为 79.0µs 至 80.5µs,8 个未完成 I/O 时为 158.3µs 至 161.4µs,16 个未完成 I/O 时为 317.1µs 至 322.9µs,32 个未完成 I/O 时为 633.7µs 至 645.2µs,64 个未完成 I/O 时为 1,268.6µs,128 个未完成 I/O 时为 2,533.9µs 至 2,539.5µs,32/8 时为 5,079.3µs。 P5336 122.88TB 的写入延迟为 5,121.2µs,J5060 为 5,548.9µs,P5336 61.44TB 为 6,026.4µs,而 R6060 为 4,086.6µs,6550 ION 为 1,588.0µs。6600 ION 的写入延迟也体现在其写入摆幅上,在 32/8 写入速率下为 23,020.7µs。
64K 随机读取
P5430 的性能从 1/1 时的 273.3MB/s 和 4.4K IOPS 提升到 1/4 时的 1,038.8MB/s、1/8 时的 1,951.8MB/s、2/8 时的 3,447.6MB/s 和 4/8 时的 5,591.4MB/s,然后在 8/8 时达到 Gen4 的瓶颈,性能为 7,124.8MB/s 和 114.0K IOPS,并在最后五个测试点保持在该水平,误差在 1MB/s 以内。其他三款 Gen4 硬盘,J5060 和两款 P5336,最高速度均为 7,125MB/s,而 Gen5 硬盘则以较大优势超过了它:R6060 的速度为 13,274.8MB/s,6550 ION 的速度为 13,204.6MB/s,6600 ION 的速度为 11,946.5MB/s。
64K随机读取延迟
P5430 的读取延迟在 1/1 时为 228.2µs,在 8 个未加载点之间保持在 240µs 到 296µs 之间,然后在 16 个未加载点上升到 290µs 到 321µs,32 个未加载点上升到 357µs 到 374µs,64 个未加载点上升到 560.9µs,128 个未加载点上升到 1,122µs,在 32/5 时达到 2,244.9µs,此时硬盘已达到带宽极限。J5060 和两款 P5336 硬盘的读取延迟均在 2,245µs 的 1µs 范围内,因为这四款硬盘都占用了同一链路;第五代硬盘的读取延迟介于 R6060 的 1,204.5µs 和 6600 ION 的 1,467.8µs 之间。在性能较弱的一端,P5430 的首次访问速度为 228.2µs,是该组中最慢的首次访问速度之一,与 P5336 122.88TB 的 227.5µs 并列,而 6600 ION 的速度最快,为 110.3µs。
4K 随机读取
P5430 的 IOPS 性能从 1/1 模式下的 10.0K 逐步提升至 1/8 模式下的 77.1K、2/8 模式下的 147.0K、4/8 模式下的 273.3K、8/8 模式下的 495.5K 和 16/8 模式下的 822.6K,最终在 32/8 模式下达到峰值 975.2K IOPS 和 3,809.2MB/s。该峰值性能高于 Solidigm 30.72TB 型号的 934.5K IOPS 额定值,并且优于 P5336 系列的两款硬盘(61.44TB 型号为 948.9K,122.88TB 型号为 935.8K)。单任务 IOPS 的提升速度则慢得多,在 32/1 模式下仅达到 130.2K,因此该硬盘需要并行处理才能达到其额定性能。 Gen5 硬盘和 J5060 在 32/8 模式下远远超过了它:6550 ION 为 1.797M,6600 ION 为 1.727M,R6060 为 1.656M,J5060 为 1.322M。
4K随机读取延迟
P5430 的 4K 读取延迟在 1/1 时为 99.8µs,在多作业模式下(直至 8/8)保持在 102µs 至 130µs 之间;而单作业深度队列模式下(8/1、16/1 和 32/1)的延迟范围为 166µs 至 245µs。随着硬盘接近其 IOPS 上限,延迟分别上升至 142.4µs(16/4)、155.0µs(16/8)、172.6µs(32/4)和 261.8µs(32/8)。两块 P5336 硬盘的延迟曲线与之基本一致,在 32/8 时分别达到 268.8µs 和 272.0µs。 6600 ION 的首次访问时间最低,为 52.4µs,而 6550 ION 的首次访问时间最高,为 141.5µs。
4K 随机写入
P5430 在 1/1 模式下以 81.8K IOPS 的 4K 随机写入速度开始测试,延迟为 11.8µs;在 1/4 模式下攀升至 134.1K;在 1/8 模式下达到峰值 152.5K IOPS 和 595.8MB/s。在此峰值之后,在剩余的 64 个未完成 I/O 操作之前,其性能保持在 111.7K 到 149.7K 之间,但在 32/1 模式下单次作业性能下降至 84.6K 后,在 16/8 模式下稳定在 88.2K,在 32/4 模式下稳定在 90.3K,在 32/8 模式下稳定在 74.2K(当未完成写入操作达到 128 个或更多时)。 Solidigm 将该硬盘的额定性能评为 120K,而 P5430 在 18 个测试点中的 9 个测试点上达到了该性能,这 9 个测试点的未完成 I/O 操作数均在 4 到 32 个之间。在未完成 I/O 操作数为 64 个时,其性能与额定性能的偏差在 7% 以内;而在队列最深的两个级别,其性能则比额定性能低了 25% 到 38%。
最接近的QLC固态硬盘6600 ION,峰值写入速度为113.8K,但在整个测试过程中,其数值在41K到114K之间波动,最终稳定在41.4K;R6060的峰值写入速度为51.2K,最终稳定在30.8K;P5336 122.88TB的峰值写入速度为45.5K,最终稳定在25.9K。TLC固态硬盘6550 ION是唯一一款处于同一范围内的硬盘,其峰值写入速度为116.2K,在32/8速率下稳定在95.5K。J5060和P5336 61.44TB在最初进行该组测试时并未完成4K随机写入测试,因此未包含在此图表中。
4K随机写入延迟
延迟在队列深度为 1/1 时为 11.8µs,在队列深度为 2/1 时为 19.2µs,在队列深度为 1/4 时为 29.3µs,在队列深度为 1/8 时为 51.8µs,在队列深度为 16 时为 106µs 至 126µs,然后随着队列深度的增加而上升,在队列深度为 32 时为 255µs 至 378µs,在队列深度为 64 时为 558µs 至 572µs,在队列深度为 128 时为 1,416µs 至 1,450µs,在队列深度为 32/8 时为 3,449.4µs。最终结果与 6550 ION 的 2,676.6µs、6600 ION 的 6,141.0µs、R6060 的 8,295.3µs 以及 P5336 122.88TB 的 9,859.8µs 相比。
GPU 直接存储
我们在此测试平台上进行的测试之一是 Magnum IO GPU 直接存储 (GDS) 测试。GDS 是 NVIDIA 开发的一项功能,它允许 GPU 在访问存储在 NVMe 驱动器或其他高速存储设备上的数据时绕过 CPU。GDS 直接在存储设备和 GPU 内存之间传输数据,而无需将其暂存在系统内存中,从而降低延迟并提高吞吐量。
传统上,当GPU处理存储在NVMe驱动器上的数据时,数据必须先经过CPU和系统内存才能到达GPU。这个过程会造成瓶颈,因为CPU充当中间环节,增加了延迟,并消耗了CPU周期和内存带宽。GPU直接存储(GDSIO)通过允许GPU直接通过PCIe总线访问存储设备中的数据,从而消除了这一环节。对于在训练或推理管道中传输TB级数据的AI工作负载而言,这种直接路径可以避免GPU因I/O操作而闲置。我们的GDSIO测试在1到128个线程上以16K、128K和1M的传输大小进行顺序读写操作,并报告每个点的吞吐量、IOPS和平均延迟。
GDSIO 顺序读取吞吐量
P5430 的读取曲线符合我们对 Solidigm QLC 控制器的预期:在 16K 时略显不稳,之后随着传输容量的增加而平稳上升。在 16K 时,单线程读取速度为 537MiB/s,四线程降至 166MiB/s,八线程降至 179MiB/s,随后在 16 线程、32 线程和 64 线程时分别回升至 345MiB/s、501MiB/s 和 808MiB/s,最终在 128 线程时达到 1.1GiB/s。单线程性能下降和恢复的模式与 P5336 驱动器和两款 DapuStor 驱动器在小块部分所表现出的模式相同,这使得 P5430 处于该组的中游水平,速度为 16K,远远落后于高端的 Micron 6600 ION 的 1.9GiB/s,但领先于两款 DapuStor,并在中线程范围内与 6550 ION 持平。
在 128K 容量下,P5430 的读写速度从单线程的 290MiB/s 提升到四线程的 713MiB/s,八线程的 1.1GiB/s,1.6 线程的 16GiB/s,32 线程的 2.0GiB/s,64 线程的 2.1GiB/s,以及 128 线程的 2.3GiB/s。这与 122.88TB 的 P5336 的性能几乎完全一致,并且与 6550 ION 的性能相当,但第五代硬盘在此阶段遥遥领先:6600 ION 在 128 线程下达到了 5.3GiB/s,R6060 达到了 4.9GiB/s,J5060 达到了 3.8GiB/s,而 61.44TB 的 P5336 仅为 2.8GiB/s。
在 100 万次测试结果中,P5430 的 Gen4 链路展现出了其性能极限。单线程测试速度为 1.0GiB/s,四线程时跃升至 2.9GiB/s,八线程时达到 3.3GiB/s,之后在 16 线程、64 线程和 128 线程时分别稳定在 3.6GiB/s、3.7GiB/s 和 3.8GiB/s。从 16 线程开始速度趋于平缓,表明硬盘已达到总线带宽上限。这使得 P5430 的性能与其他三款 Gen4 硬盘的性能非常接近:P5336 122.88TB(4.1GiB/s)、P5336 61.44TB 和 J5060(均为 4.3GiB/s)。第五代固态硬盘(Gen5)性能排名前列,R6060 和 6600 ION 的速度均为 5.9GiB/s,而 TLC 6550 ION 则以 2.6GiB/s 的速度垫底。在大块 GPU 读取流测试中,P5430 的性能约为第四代 QLC 固态硬盘的 90%,约为第五代领先产品的三分之二。
GDSIO 顺序读取 IOPS
在16K工作负载和128线程下,P5430的IOPS峰值达到74.8K,在该组中排名第四,落后于6600 ION(130.4K)、P5336 61.44TB(93.3K)和P5336 122.88TB(83.0K),领先于R6060(62.6K)、6550 ION(62.1K)和J5060(54.7K)。128K和1M IOPS曲线与上述吞吐量平台曲线相似,P5430在128K负载下IOPS略低于19K,在1M负载下,一旦Gen4链路达到饱和,IOPS约为3.8K。
GDSIO 顺序读取延迟
在性能测试的轻量级部分,P5430 的单线程 16K 读取延迟为 27.8µs,仅次于两款 DapuStor 固态硬盘,J5060 为 20.2µs,R6060 为 22.1µs,略优于 P5336 61.44TB(28.4µs)。6600 ION 的延迟为 38.6µs。在 QD1 测试中表现不佳的两款硬盘分别是 P5336 122.88TB(82.1µs)和 6550 ION(90.9µs),这两款硬盘都存在 P5430 所没有的首次访问延迟问题。随着线程数的增加,延迟随着队列深度的增加而增加,就像该组中的每个驱动器一样,在 1M 线程和 128 个线程的情况下,P5430 的延迟最终约为 33 毫秒,高于 Gen5 驱动器的 21 毫秒,但低于 6550 ION 的 48 毫秒,与两个 P5336 驱动器的延迟相当。
GDSIO 顺序写入吞吐量
在 1M 内存容量下,P5430 在单线程下的写入速度为 2.9GiB/s,在四线程下的写入速度为 3.0GiB/s,在八线程到三十二线程下的写入速度为 2.9GiB/s,在六十四线程和十二十八线程下的写入速度为 2.7GiB/s。从 1 线程到 32 线程,其读写速度达到或超过该硬盘 3,000MB/s 的额定速度(约 2.8GiB/s),在 128 线程时速度比峰值下降约 10%。在 1M 容量的硬盘中,P5430 的读写速度排名第四,落后于 R6060(3.8GiB/s)、6550 ION(32 线程时峰值速度为 3.9GiB/s)和 P5336 61.44TB(32GiB/s),但优于 6600 ION(2.95GiB/s)、J5060(2.8GiB/s)和 P5336 122.88TB(2.86GiB/s)。
在 128K 写入队列下,P5430 的写入速度从单线程的 1.7GiB/s 提升至四线程的 2.8GiB/s,八线程和十六线程则分别为 2.9GiB/s,随后下降至三线程的 2.1GiB/s、六线程的 1.7GiB/s 和十二线程的 1.7GiB/s。P5336 122.88TB 的写入速度也呈现类似的下降趋势,但基数更低,从八线程的 2.8GiB/s 降至十二线程的 2.1GiB/s;P5336 61.44TB 的写入速度则从 32GiB/s 降至 2.4GiB/s。因此,在 128K 深度写入队列下,写入速度的下降似乎是 Solidigm QLC 系列固态硬盘的共同特性。在128K采样率下,DapuStor R6060和Micron 6550 ION在64线程下读写速度分别保持在3.7GiB/s至3.8GiB/s之间;J5060在整个读写过程中速度稳定在2.8GiB/s。在16K采样率下,P5430的读写速度在582MiB/s至1.3GiB/s之间波动,与除P5336 122.88TB以外的所有固态硬盘的读写速度处于同一区间,P5336 122.88TB在16K采样率下读写速度从未超过0.8GiB/s。
GDSIO 顺序写入 IOPS
P5430 的 16K 顺序写入 IOPS 在 16 线程下峰值达到 88.2K,在 94K 到 100K 之间的五款硬盘中排名第六:6550 ION 为 100.0K,R6060 为 98.4K,6600 ION 为 98.0K,P5336 61.44TB 为 94.4K,J5060 为 89.0K。P5336 122.88TB 为 53.3K,是唯一一款远低于此值的硬盘。从 6550 ION 到 P5430,容量是 P5430 两到八倍的硬盘之间的性能差距为 12%。
GDSIO 顺序写入延迟
P5430 的单线程 16K 写入延迟为 26.0µs,仅次于 R6060 的 21.9µs,与 P5336 61.44TB 并列,J5060 为 26.9µs,6600 ION 为 30.6µs,6550 ION 为 30.7µs,P5336 122.88TB 为 31.2µs。在 16K 和 128K 的轻负载和中等负载下,P5430 也保持了这一领先地位。在高负载端,它的表现则朝着另一个方向发展:在 128K 和 128 个线程时,它的 9.4ms 是该组中最高的,这是由于上述吞吐量逐渐下降造成的;而在 1M 和 128 个线程时,它的最终成绩约为 47ms,介于 6600 ION 的 54ms 和 P5336 122.88TB 的 50ms 之间,以及 J5060、R6060、P5336 61.44TB 和 6550 ION 的 39ms 至 45ms 之间。
DLIO 检查点基准
为了评估固态硬盘 (SSD) 在人工智能 (AI) 训练环境中的实际性能,我们使用了数据与学习输入/输出 (DLIO) 基准测试工具。DLIO 由阿贡国家实验室开发,专门用于测试深度学习工作负载中的 I/O 模式。它能够深入了解存储系统如何应对诸如检查点、数据摄取和模型训练等挑战。该测试的设计使得每个驱动器都完全填充了完整的检查点;容量更大的 SSD 可以容纳更多的检查点。在训练机器学习模型时,检查点对于定期保存模型状态至关重要,可以防止在中断或断电期间丢失训练进度。这种存储需求需要持续的写入性能,尤其是在长时间的训练过程中。我们使用了 2024 年 8 月 13 日发布的 DLIO 基准测试 2.0 版本。
为了确保我们的基准测试能够反映真实场景,我们基于 LLAMA 3.1 405B 模型架构进行了测试。我们使用 torch.save() 实现了检查点机制,用于捕获模型参数、优化器状态和层状态。我们的设置模拟了一个八 GPU 系统,并采用了混合并行策略,将四路张量并行和两路流水线并行分布在八个 GPU 上。这种配置产生的检查点大小为 1,636GB,符合现代大型语言模型训练的需求。
每块容量为 1,636GB 的 P5430(30.72TB)每次写入检查点可保存 15 个,相比之下,两块 61.44TB 的硬盘每次写入检查点可保存 33 个,P5336(122.88TB)每次写入检查点可保存 66 个,R6060 每次写入检查点可保存 68 个,6600 ION 每次写入检查点可保存 130 个。J5060 未包含在本次测试组中。结果为三次写入检查点过程中每次写入一个检查点的平均时间。
在首次测试中,P5430 的平均每个检查点耗时 526.03 秒,排名第三,落后于 R6060(该组首次测试速度最快)和 6550 ION(每个检查点耗时 484.30 秒)。它略微领先于 P5336 122.88TB(耗时 530.75 秒),6600 ION(耗时 580.98 秒)和 P5336 61.44TB(耗时 662.68 秒)。P5430 的首次测试速度约为 3.1GB/s,每个检查点写入 1,636GB,接近 FIO 测得的 3,150MB/s 的写入速度上限。
第二次扫描开始时,所有硬盘都已在第一次扫描后装满。P5430 的平均扫描时间增加了 27%,达到 666.85 秒。R6060 的第二次扫描时间几乎是第一次的两倍,是该组中最慢的;6600 ION 的扫描时间增加了 60%,达到 926.70 秒;P5336 122.88TB 的扫描时间增加了 41%,达到 746.14 秒;6550 ION 的扫描时间增加了 18%,达到 570.23 秒;P5336 61.44TB 的扫描时间略有加快,为 640.71 秒。
在所有硬盘上,第三次扫描的平均耗时与第二次扫描相比变化不到 5%。P5430 的最终耗时为 677.89 秒,比第二次扫描增加了 1.7%,再次位列第三,排在 6550 ION(585.03 秒)和 P5336 61.44TB(639.63 秒)之后。与 P5336 122.88TB(757.31 秒)相比,P5430 的每个检查点耗时减少了约 10%,与 R6060(965.27 秒)和 6600 ION(968 秒)相比,则减少了约 30%。
在第一个检查点用时 501.2 秒后,P5430 在第一轮测试的其余 14 个检查点中,用时保持在 526.2 秒至 528.4 秒之间,相差 2.2 秒;P5336 122.88TB 的用时紧随其后,在第一轮测试中,用时范围为 520.3 秒至 548.6 秒。从第 16 个检查点到第 45 个检查点,P5430 的用时范围扩大到 601.4 秒至 713.6 秒之间,第二轮和第三轮测试之间没有明显变化。P5336 122.88TB 也呈现出同样的两级模式,在第一轮测试后,用时在 661 秒至 848 秒之间;R6060 和 6600 ION 的最终用时则在 878 秒至 1,034 秒之间。
结语
Solidigm D5-P5430 30.72TB 是一款采用第四代接口的固态硬盘,设计已有三年历史。GDSIO 测试结果表明,就其同级别产品而言,它的性能依然出色。在 1M 内存下,其大块 GPU 直接读取速度达到 3.8GiB/s,约为 61TB 和 122TB 第四代 QLC 固态硬盘的 90%,以及第五代 R6060 和 6600 ION 的三分之二。写入速度方面,从单线程到 32 线程,其速度均保持在 3,000MB/s 或以上,在 128 线程时速度衰减约为 10%。其 3.0GiB/s 的峰值速度也优于 6600 ION、J5060 和 P5336 122.88TB。这款硬盘的单线程读取延迟为 27.8 微秒,写入延迟为 26.0 微秒,两项数据均位列同组前三。其 16K 写入 IOPS 性能与容量是其两到八倍的硬盘相比,差距仅为 12%。它在两个方面略逊一筹,而这两个方面也正是第四代硬盘的预期表现:128K 和 1M 读取速度上限(第五代硬盘在这方面遥遥领先),以及深度队列 128K 写入速度(与同系列的 P5336 硬盘一样,最终降至 1.7GiB/s)。
在 FIO 测试中,P5430 在所有以读取为密集型工作负载的情况下都达到了 Gen4 性能的顶峰:128K 顺序读取速度为 7,132.1MB/s,64K 随机读取速度为 7,125MB/s,4K 随机读取速度为 975.2K IOPS。其写入速度在 128K 顺序和 64K 随机模式下均稳定在 3,150MB/s,且在任何队列深度下均未出现衰减。4K 随机写入性能是其脱颖而出的关键:峰值 IOPS 达到 152.5K,除一种情况外,在最多 64 个未完成 I/O 操作的组合下,其他所有组合的 IOPS 均达到 111.7K 或更高。相比之下,两块 122TB QLC 固态硬盘的峰值 IOPS 分别为 45.5K 和 51.2K,而 6600 ION 的峰值 IOPS 则在 41K 到 114K 之间波动。 P5430 在此容量下运行 8KB 间接单元,而 P5336 和 6600 ION 则运行 16KB。
在 DLIO 检查点测试中,P5430 的首次写入速度约为 3.1GB/s,接近其 FIO 写入上限,最后 14 个检查点的写入时间相差 2.2 秒,到第三次写入时,每个 1,636GB 检查点的写入时间稳定在 677.89 秒。这使其在该组排名中位列第三,落后于 TLC 6550 ION 和 P5336 61.44TB。与 P5336 122.88TB 相比,其每个检查点的写入时间缩短了约 10%,与 R6060 和 6600 ION 相比缩短了约 30%。122TB 和 245TB 的硬盘每次填充可容纳的检查点数量是 P5430 的四到九倍,但首次写入之后,每个检查点的写入时间都更长。
尽管我们对这款硬盘的评测稍显迟缓,但P5430依然符合Solidigm为2026年设计的主流QLC插槽硬盘的目标市场:读取密集型内容和对象层、以大块数据为GPU提供热数据湖,以及P5336的16KB间接寻址单元无法胜任的虚拟化或混合工作负载。它的缺点也与第四代QLC硬盘的缺点类似:如果购买者主要考虑的是性能,那么基于第五代QLC硬盘构建新系统的用户可以获得更高的128K顺序读取带宽(提升62%至96%)以及每插槽容量两到八倍的容量。对于其他用户而言,P5430仍然是一款合理的30TB硬盘,它拥有更大容量QLC硬盘所不具备的耐用性、功耗和小块数据性能。




Amazon