Kioxia CD9P-R 是該公司新一代資料中心級 NVMe SSD 的讀取密集型產品,也是首款採用 BiCS FLASH 第八代 TLC 快閃記憶體的 CD 系列固態硬碟。此系列產品採用 Kioxia 自研的控制器和韌體,支援 PCIe 5.0 和 NVMe 2.0,額定效能最高可達 14,800 MB/s 順序讀取速度和 260 萬個隨機讀取 IOPS(具體數值取決於容量)。 E3.S 型號的容量範圍從 1.92TB 到 30.72TB,而 2.5 吋版本則將容量擴展至 61.44TB。我們評測的這款是 7.68TB 的 E3.S 型號,採用 SED 封裝(KCD9DPJE7T68)。
在分析容量表之前,需要先了解一個值得注意的細節。鎧俠公佈的規格參數並非在最高容量,而是在中階容量上達到峰值:7.68TB 和 15.36TB 型號擁有該系列最佳的順序讀取速度(14,800 MB/s)和最佳的隨機寫入速度(450K IOPS),而 30.72TB 的旗艦型號則分別降至 133,50209729,000 旗艦型號則分別降至)此外,容量最小的兩款產品採用的是上一代 BiCS 第五代 NAND 閃存,而非第八代。換句話說,我們測試的 7.68TB 硬碟充分展現了該平台的全部效能,而追求 30.72TB 最大容量的用戶則需要犧牲一部分效能,這種情況並不少見。
Kioxia 的賣點在於 CD9P-R 在 CD8P 基礎上的世代提升,而公佈的規格表也印證了這一點。上一代 CD8P-R E3.S 容量為 7.68TB,隨機寫入 IOPS 為 20 萬;CD9P-R 則提升至 45 萬,提升幅度高達 2.25 倍。順序讀取速度也提升了 23%,從 12,000 MB/s 提升至 14,800 MB/s;隨機讀取速度提升了 30%,從 200 萬 IOPS 提升至 260 萬 IOPS。功耗略有增加,從典型值的 21W 提升至 23W,使 CD9P-R 與其他 Gen5 讀取密集型固態硬碟處於同一水平。這裡討論的重點在於該硬碟在這些功耗限制下的實際效能表現。
這款硬碟的定位在於其規格參數:CD9P-R 採用單一連接埠、1 DWPD(每日寫入量)設計。它不適用於傳統的企業級儲存陣列,而寫入密集型工作負載則應使用 CD9P-V 混合用途版本。這款硬碟專為超大規模和雲端伺服器叢集、OLTP 讀取層、內容分發以及以讀取為主且功耗預算固定的虛擬化環境而設計。它滿足了平台的各項預期功能,包括支援 OCP 資料中心 NVMe SSD v2.5(並非所有要求都支援)、斷電保護、端對端資料保護、SIE 和 SED 安全選項、50°C 下 2.5 萬小時的平均故障間隔時間 (MTTF) 以及五年保固。
KIOXIA CD9P-R 技術規格
下表概述了 KIOXIA CD9P-R 系列 E3.S 外形尺寸的各種容量點,重點介紹了性能指標、耐久性等級、功率和可靠性規格。
| KIOXIA CD9P-R 系列規格 (E3.S) | |||||
| 30.72TB | 15.36TB | 7.68TB | 3.84TB | 1.92TB | |
| 型號 | |||||
| SIE 型號 | KCD9XPJE30T7 | KCD9XPJE15T3 | KCD9XPJE7T68 | KCD9XPJE3T84 | KCD9XPJE1T92 |
| SED 型號 | KCD9DPJE30T7 | KCD9DPJE15T3 | KCD9DPJE7T68 | KCD9DPJE3T84 | KCD9DPJE1T92 |
| 基本規格 | |||||
| 應用場景 | 閱讀密集型(每天 1 行) | ||||
| 外形 | E3.S,厚度 7.5 毫米 | ||||
| 介面/協定 | PCIe 5.0 x4,NVMe 2.0 | ||||
| 最大接口速度 | 128 GT/s(PCIe Gen5 x4) | ||||
| NAND閃存 | KIOXIA BiCS 快閃 3D TLC(第 8 代,容量 7.68TB-30.72TB;第 5 代,容量 1.92TB-3.84TB) | ||||
| OCP 合規性 | OCP 資料中心 NVMe SSD 規範 v2.5(部分) | ||||
| 安全性 | SIE(消毒即時擦除),SED(TCG Opal & Ruby SSC) | ||||
| 性能(最高) | |||||
| 順序讀取(128KiB,MB/s) | 13,500 | 14,800 | 14,800 | 14,500 | 14,500 |
| 順序寫入(128KiB,MB/s) | 7,000 | 7,000 | 7,000 | 7,000 | 3,600 |
| 隨機讀取(4KiB,K IOPS) | 2,600 | 2,600 | 2,600 | 2,600 | 2,000 |
| 隨機寫入(4KiB,K IOPS) | 270 | 450 | 450 | 320 | 160 |
| 電源要求 | |||||
| 電源電壓 | 12伏特±10%,3.3伏特±15% | ||||
| 功率(有效) | 23W 典型值。 | ||||
| 電源(就緒/空閒) | 5W 典型值。 | ||||
| 可靠性 | |||||
| 平均無故障時間 | 2,500,000 小時(0–50°C)| 2,000,000 小時(0–55°C) | ||||
| UBER | < 1 個扇區/1017 位讀取 | ||||
| DWPD | 1 | ||||
| 保固 | 5年 | ||||
| 資料保護 | 斷電保護 (PLP)、端對端資料保護 | ||||
| 尺寸 | |||||
| 厚度 | 7.5毫米+0.2/-0.5毫米 | ||||
| 信號寬度 | 76毫米±0.25毫米 | ||||
| 總長: | 112.75毫米±0.4毫米 | ||||
| 重量 | 最大110克 | ||||
| 環境建議 | |||||
| 溫度(工作) | 0°C至75℃, | ||||
| 溫度(非工作) | -40°C到85°C | ||||
| 濕度(工作) | 5% to 95% RH | ||||
| 振動(操作) | 21.27 公尺/秒² { 2.17 Grms } (5–800 赫茲) | ||||
| 衝擊(操作) | 9.8 km/s² { 1,000 G } (0.5 ms) | ||||
KIOXIA CD9P-R 效能
路測平台
在本次評測中,我們使用一台執行 Ubuntu 22.04.2 LTS 的戴爾 PowerEdge R760 伺服器作為所有工作負載的測試平台。該伺服器配備了Serial Cables Gen5 JBOF接口,可廣泛相容於 U.2、E1.S、E3.S 和 M.2 固態硬碟。我們的系統配置如下:
- 2 個英特爾至強金牌 6430(32 核,2.1GHz)
- 16 個 64GB DDR5-4400
- 480GB 戴爾 BOSS 固態硬碟
- 串行電纜 Gen5 JBOF
- 英偉達 L4
驅動器比較
- 帕斯卡里 X200P 7.68TB
- 閃迪 SN861 7.68TB
- 固力 PS1010 7.68TB
- 金士頓 DC3000ME 7.68TB
- 美光 7600 最大 6.4TB
- Micron 9550 MAX 12.8TB
- Micron 9550 Pro 7.68TB
DLIO 檢查點基準
為了評估固態硬碟在人工智慧訓練環境中的實際效能,我們使用了資料與學習輸入/輸出(DLIO)基準測試工具。 DLIO 由阿貢國家實驗室開發,專門用於測試深度學習工作負載中的 I/O 模式。它能夠深入了解儲存系統如何處理諸如檢查點、資料攝取和模型訓練等挑戰。
下圖展示了硬碟如何處理 18 個檢查點。在訓練機器學習模型時,檢查點對於定期保存模型狀態至關重要,可以防止在中斷或斷電期間丟失進度。這種儲存需求要求硬碟具備強大的效能,尤其是在持續或高強度工作負載下。我們使用了 2024 年 8 月 13 日發布的 DLIO 基準測試 2.0 版本。
為了確保我們的基準測試能夠反映真實場景,我們基於 LLAMA 3.1 405B 模型架構進行了測試。我們使用 torch.save() 實作了檢查點機制,用於擷取模型參數、最佳化器狀態和層狀態。我們的設定模擬了一個八 GPU 系統,採用了混合平行策略,將四路張量並行和雙路管線並行處理分佈在八個 GPU 上。這種配置產生了 1,636GB 的檢查點大小,符合訓練現代大型語言模型的需求。
從平均測試時間來看,KIOXIA CD9P-R 在第一輪測試中耗時 464.7 秒,第二輪測試增加到 575.6 秒,第三輪測試中穩定在 572.2 秒。這一表現與大多數對比產品基本一致,它們在最後一輪測試中的耗時大致集中在 553 秒到 590 秒之間。其中,Pascari X200P 的表現特別突出,耗時高達 674.5 秒。總體而言,CD9P-R 在重複的檢查點操作中展現了可預測的性能擴展性,並在測試中保持了與主流企業級第五代 SSD 的競爭力。
在DLIO Checkpoint基準測試中,截至第12個檢查點,KIOXIA CD9P-R 7.68TB硬碟的表現始終是對照組中最穩定的硬碟之一。在第一個檢查點,其耗時471.4秒,之後便穩定在560至580秒左右的相對較窄的運行範圍內,並在第12個檢查點結束時達到569.7秒。在大部分工作負載下,KIOXIA硬碟的效能與Solidigm PS1010、Micron 7600 MAX和Kingston DC3000ME的表現非常接近。
Pascari X200P 的表現明顯異常出色,在第 4 個檢查點後速度大幅提升,並始終遙遙領先於其他產品,到第 12 個檢查點時已接近 690 秒。 Micron 9550 MAX 在測試後半段的持續檢查點時間最短,最低降至 531.3 秒,最終穩定在 569.1 秒。雖然 CD9P-R 在任何單一檢查點都不是最快的,但它避免了部分競爭對手出現的大幅波動,並在整個測試過程中保持了穩定的檢查點效能。
FIO性能基準
為了衡量每個 SSD 在常見產業指標上的儲存效能,我們利用了 FIO。每個 SSD 都經過相同的測試流程,其中包括一個預處理步驟:使用順序寫入工作負載對硬碟進行兩次全碟填充,然後進行穩態效能測量。隨著每種被測工作負載類型的變化,我們會根據新的傳輸大小再次進行預處理填充。
在本節中,我們將重點放在以下 FIO 基準:
- 128K 連續
- 64K隨機
- 16K隨機
- 4K隨機
128K 順序寫入(IODepth 16/NumJobs 1)
在 IOD 深度降低至 16 的穩態 128K 順序寫入測試中,整體排名與預處理階段相比基本保持不變。 Micron 9550 Max (12.8TB) 繼續以 10,957.9 MB/s 的速度領先,Micron 9550 Pro (7.68TB) 緊隨其後,速度為 10,354.6 MB/s。 Kingston DC3000ME (7.68TB) 位居第三,速度為 8,477.4 MB/s,Pascari X200P (7.68TB) 緊隨其後,速度為 8,369.7 MB/s。
KIOXIA CD9P-R (7.68TB) 的讀寫速度為 6,912.4 MB/s,排名墊底。 Solidigm PS1010 (7.68TB) 的讀寫速度為 7,126.5 MB/s,SanDisk DC SN861 (7.68TB) 的讀寫速度為 7,116.5 MB/s,均落後於中游產品,但仍略高於 CD9P-R 和 Micron 7600. Max (696)。對於一款讀取優化的 NVMe 固態硬碟而言,KIOXIA 的讀寫速度表現穩定且符合預期。
128K 順序寫入延遲 (IODepth 16 / NumJobs 1)
在穩態寫入測試中,當 IODepth 為 16 時,所有硬碟的延遲相比預處理條件均顯著降低。 Micron 9550 Max (12.8TB) 再次以最低的平均延遲(182.2 µs)領先,遠超 Micron 9550 Pro (7.68TB) 的 192.9 µs。這兩款硬碟均受益於其更高的寫入吞吐量,從而能夠更有效率地處理 I/O 作業。
KIOXIA CD9P-R (7.68TB) 的寫入延遲為 289.0 微秒,是該隊列深度下該組產品中最高的。 Solidigm PS1010 (7.68TB) 的寫入延遲為 280.3 微秒,SanDisk DC SN861 (7.68TB) 的寫入延遲為 280.7 微秒,略低於 CD9P-R,而 Micron 7600 Max (6.4TB) 微秒的寫入延遲為 287.1 微秒。 Kingston DC3000ME (7.68TB) 和 Pascari X200P (7.68TB) 的寫入延遲分別為 235.6 微秒和 238.6 微秒,處於中等水平。
128K 順序讀取(IODepth 64 / NumJobs 1)
128K 順序讀取測試的結果與寫入效能排名完全相反,KIOXIA CD9P-R (7.68TB) 成為該組產品中的佼佼者之一。 CD9P-R 的讀取速度達到了 14,235.9 MB/s,與 Pascari X200P (7.68TB) 的 14,242.1 MB/s 並列榜首。 Solidigm PS1010 (7.68TB) 的讀取速度為 14,163.3 MB/s,Micron 9550 Pro (7.68TB) 為 14,050.1 MB/s,Micron 9550 Max (12.8TB) 為 14,047.5 集內三款產品都在前款的範圍內都為 200 集內。
金士頓 DC3000ME (7.68TB) 的讀寫速度為 13,513.8 MB/s,落後於領先者;閃迪 DC SN861 (7.68TB) 的讀寫速度為 12,631.2 MB/s。美光 7600 Max (6.4TB) 的讀寫速度為 11,240.5 MB/s,是唯一一款低於 12 GB/s 閾值的硬碟。
128K 順序讀取延遲(IODepth 64 / NumJobs 1)
128K 順序讀取延遲測試結果與頻寬測試結果高度吻合。 Pascari X200P (7.68TB) 以 561.4 µs 的延遲領先,KIOXIA CD9P-R (7.68TB) 與之基本持平,為 561.7 µs。 Solidigm PS1010 (7.68TB) 為 564.5 µs,Micron 9550 Pro (7.68TB) 為 569.0 µs,Micron 9550 Max (12.8TB) 為 569.1 µs,這三款硬碟的延遲皆在領先者的 8 µs範圍內,證實了這一級別的硬碟效能瓶頸在於第五代介面頻寬,而非內部延遲。
金士頓 DC3000ME (7.68TB) 的延遲為 591.6 µs,SanDisk DC SN861 (7.68TB) 的延遲為 633.0 µs,而 Micron 7600 Max (6.4TB) 的延遲順序為 711.4 µs,比最佳的性能
64K 隨機寫入
在完整的 64K 隨機寫入測試中,KIOXIA CD9P-R (7.68TB) 展現了穩定且令人滿意的頻寬表現,平均速度在 3-6 GB/s 範圍內,並在測試的最高隊列深度(IODepth 32 / NumJobs 8)下達到了 6,906 MB/s 的峰值。這使得 CD9P-R 在 64K 寫入吞吐量方面處於中等水平,明顯落後於峰值超過 10 GB/s 的 Micron 9550 Max (12.8TB),但領先於排名靠後的 Solidigm PS1010 (7.68TB) 和 SanDisk DC SN861 (7.68TB)。 Micron 7600 Max (6.4TB) 的表現與之非常接近,達到了類似的峰值,最終略高於 CD9P-R。
64K隨機寫入延遲
對 KIOXIA CD9P-R (7.68TB) 的 64K 隨機寫入延遲測試表明,這是一款效能較為均衡的硬碟。在低佇列深度下,延遲控制良好,在 IODepth 1 / NumJobs 1 時,延遲低於 100 微秒。隨著併發量的增加,延遲在中等隊列深度下逐漸上升,在 300-700 微秒範圍內波動,然後在隊列深度峰值時進一步攀升,達到 2,000 微秒左右。這使得 CD9P-R 在大部分測試中處於中等水平,其性能比 Solidigm PS1010 (7.68TB) 和 Pascari X200P (7.68TB) 更為穩定,後兩者在高並發量下延遲峰值高達 4,000-6,000 微秒。
在整個測試過程中,Micron 9550 Max (12.8TB) 的延遲最為穩定,即使在峰值深度下也很少超過 1,700 µs,而 Micron 7600 Max (6.4TB) 和 Micron 9550 Pro (7.68TB) 的表現也相差無幾。
64K 隨機讀取
64K 隨機讀取測試揭示了 KIOXIA CD9P-R (7.68TB) 的一項顯著優勢:在低隊列深度下擁有卓越的效能。在測試的低端(IODepth 1 / NumJobs 1),CD9P-R 的讀取速度約為 1,334 MB/s,憑藉其極低的單次 I/O 讀取延遲,遙遙領先。這種優勢在較低的佇列深度範圍內依然存在,其效能始終保持在最高或接近最高水準。
隨著隊列深度增加到 8/4-32/4 範圍,其他硬碟的效能趕上並超越了 CD9P-R。在最高並發等級下,CD9P-R 的讀寫速度穩定在 11.0-12.0 GB/s 左右,落後於 Pascari X200P (7.68TB)、Micron 9550 Pro (7.68TB) 和 Micron 9550 Max (12.8TB),後三者的讀寫速度。
64K隨機讀取延遲
64K 隨機讀取延遲測試證實了 KIOXIA CD9P-R (7.68TB) 在低佇列深度下的讀取延遲優勢。從 IODepth 1 / NumJobs 1 到低並發範圍,CD9P-R 的延遲始終保持在同類產品中的最低水平,遠低於大多數競爭對手,並且在中等隊列深度下也保持在一個較窄的範圍內。
隨著隊列深度超過 32/1 到 16/4 的範圍,該組逐漸收斂,到掃描結束時,所有驅動器的延遲都上升到 600 µs 到 1,400 µs 的範圍。
16K 隨機寫入
在 16K 隨機寫入 IOPS 測試中,KIOXIA CD9P-R (7.68TB) 在測試中段表現出穩定的效能。 Micron 9550 Max (12.8TB) 再次佔據主導地位,持續保持遠超其他產品的 IOPS 性能,在高隊列深度下通常能達到 600-690K IOPS,而 Micron 7600 Max (6.4TB) 則保持了 400-450K 的強勁吞吐量。
在大部分測試中,CD9P-R 的效能與 Kingston DC3000ME (7.68TB)、Micron 9550 Pro (7.68TB) 和 SanDisk DC SN861 (7.68TB) 基本持平,在中等寫入深度下,IOPS 通常在 20 萬到 25 萬之間,而在最高點可達 365 萬到 44 萬。 Solidigm PS1010 (7.68TB) 在 16K 隨機寫入測試中表現最差,經常落後於其他所有硬碟。
16K隨機寫入延遲
在 16K 隨機寫入延遲測試中,KIOXIA CD9P-R (7.68TB) 在大部分佇列深度範圍內始終保持在中低水準。在低隊列深度下,該硬碟的延遲低於 50 微秒,並在測試的中等隊列深度範圍內保持了穩定且可控的延遲。隨著隊列深度增加到 8/8 至 32/8 範圍,所有硬碟的延遲都急劇上升,CD9P-R 的延遲在 500 至 750 微秒之間波動,最終峰值約為 1,165 微秒。
在整個測試過程中,Micron 9550 Max (12.8TB) 的延遲最為穩定,在大多數數據點上都低於其他產品。 Solidigm PS1010 (7.68TB) 和 Pascari X200P (7.68TB) 在高隊列深度下出現了最明顯的延遲峰值,分別達到 3,300 微秒和 2,050 微秒。相較之下,CD9P-R、Micron 7600 Max (6.4TB) 和 Kingston DC3000ME (7.68TB) 在高並發範圍內表現更為穩定。在混合並行負載下,CD9P-R 的 16K 寫入延遲也是同類產品中最穩定的之一。
16K 隨機讀取
在 16K 隨機讀取 IOPS 測試中,Pascari X200P (7.68TB) 和 Micron 9550 Max (12.8TB) 取得了最高的持續讀取 IOPS,飽和狀態下接近 900 萬。 Micron 9550 Pro (7.68TB) 緊追在後,效能提升幅度相近,而 Solidigm PS1010 (7.68TB) 則排名第三。
KIOXIA CD9P-R (7.68TB) 在峰值測量點 (IODepth 32 / NumJobs 8) 實現了 734.3K IOPS,使其處於中上水平,領先於 Micron 7600 Max (6.4TB) 的 719.3K、Kingston DC3000, Max (6.4TB) 的 719.3K、Kingston DC3000 (57686963K 17. (7.68TB) 的 661.1K IOPS。
16K隨機讀取延遲
在 16K 隨機讀取延遲測試中,KIOXIA CD9P-R (7.68TB) 在大部分測試佇列深度範圍內都展現出了優異的讀取延遲效能。在測試的低端,CD9P-R 在 IODepth 1 / NumJobs 1 時讀取延遲約為 33 µs。在中等並發測試階段,其延遲始終保持在 100 µs 以下,與性能最佳的固態硬碟保持緊密的聯繫。
隨著隊列深度增加到最高並發範圍,所有硬碟的延遲都急劇上升。 CD9P-R 的峰值延遲約為 713 微秒,落後於 SanDisk DC SN861 (7.68TB) 和 Kingston DC3000ME (7.68TB),後兩者的延遲均超過 820-845 微秒,而 Micron 9550 Max (12.8TB) 和 Micron 9689696950996969 則保持在較低的峰值水平。
4K 隨機寫入
在 4K 隨機寫入 IOPS 測試中,Micron 7600 Max (6.4TB) 和 Micron 9550 Max (12.8TB) 在大部分測試時間內都保持領先地位,峰值並發 IOPS 可達 1,500-1,780K。 Micron 9550 Pro (7.68TB) 和 Pascari X200P (7.68TB) 緊隨其後,位列前茅,而 Solidigm PS1010 (7.68TB) 和 SanDisk DC SN861 (7.68TB) 則在中高階區間交替領先。
KIOXIA CD9P-R (7.68TB) 在 IODepth 32 / NumJobs 16 時達到了 1,263.1K IOPS,在 4K 隨機寫入效能方面處於中下層。
4K隨機寫入延遲
4K隨機寫入延遲測試的結果在所有測試產品中波動較大,KIOXIA CD9P-R (7.68TB) 的表現再次處於中等水平。在低隊列深度下,CD9P-R 在 IODepth 1 時的寫入延遲在 9-13 微秒範圍內,雖然具有競爭力,但略高於同設定下性能最佳的產品。在中等隊列深度下,此硬碟的寫入延遲與大多數同類產品一樣,保持在 20-120 微秒的範圍內。
在最高隊列深度下,CD9P-R 的延遲攀升至 200-410 微秒,遠低於 Solidigm PS1010 (7.68TB)(峰值接近 740 微秒且波動較大)和 Pascari X200P (7.68TB)(544 微秒)。 Micron 9550 Max (12.8TB)、Micron 7600 Max (6.4TB) 和 Micron 9550 Pro (7.68TB) 在整個測試範圍內表現出最穩定的延遲特性。
4K 隨機讀取
在針對 KIOXIA CD9P-R (7.68TB) 的 FIO 測試中,4K 隨機讀取測試的結果相當引人注目。在最低隊列深度(IODepth 1 / NumJobs 1 和 IODepth 2 / NumJobs 1)下,CD9P-R 的性能明顯優於其他產品,達到了約 32.3K IOPS(126 MB/s)。隨著並發量的增加,其他產品的性能逐漸趕上,並在測試峰值時發生了排名變化。 SanDisk DC SN861 (7.68TB) 在並發量方面領先,達到了 2,555.6K IOPS。同時,KIOXIA CD9P-R 在 IODepth 32 / NumJobs 16 的測試條件下達到了 2,165.0K IOPS,與 Micron 9550 Max (12.8TB) 的 2,164.8K IOPS 並列第二。 Solidigm PS1010 (7.68TB) 和 Pascari X200P (7.68TB) 緊隨其後,而 Micron 7600 Max (6.4TB) 和 Kingston DC3000ME (7.68TB) 則排名靠後。
4K隨機讀取延遲
4K隨機讀取延遲測試證實了IOPS圖表所顯示的結論:在低隊列深度下,KIOXIA CD9P-R (7.68TB) 在我們測試的對比組中擁有最低的讀取延遲。在IODepth 1 / NumJobs 1的條件下,CD9P-R的讀取延遲約為30微秒,幾乎只有大多數競爭對手的一半,而這些競爭對手在同一數據點的延遲則集中在60-90微秒範圍內。在測試的中等隊列深度下,CD9P-R保持了其延遲優勢,在IODepth 8和16時略低於其他競爭對手,但隨著並發數的增加,其延遲逐漸接近其他競爭對手。在最高的測試佇列深度下,所有硬碟的延遲都達到了120-275微秒,其中SanDisk DC SN861 (7.68TB) 的延遲最高,約為200微秒。 KIOXIA CD9P-R 在大約 236 µs 時結束了掃描,處於該組的中間位置。
GPU直接儲存
我們在這個測試台上進行的測試之一是 Magnum IO GPU 直接儲存 (GDS) 測試。 GDS 是 NVIDIA 開發的功能,可讓 GPU 在存取儲存在 NVMe 磁碟機或其他高速儲存裝置上的資料時繞過 CPU。 GDS 不再透過 CPU 和系統記憶體來路由數據,而是實現了 GPU 和儲存設備之間的直接通信,從而顯著減少了延遲並提高了數據吞吐量。
GPU 直接儲存的工作原理
傳統上,當 GPU 處理儲存在 NVMe 磁碟機上的資料時,資料必須先經過 CPU 和系統內存,才能到達 GPU。由於 CPU 充當了中間環節,這個過程會造成瓶頸,增加延遲並消耗寶貴的系統資源。 GPU 直接儲存技術使 GPU 能夠透過 PCIe 總線直接從儲存裝置存取數據,從而消除了這種低效率。這種直接路徑減少了資料移動開銷,從而實現了更快、更有效率的資料傳輸。
人工智慧工作負載,尤其是涉及深度學習的工作負載,是高度資料密集的。訓練大型神經網路需要處理 TB 級的數據,資料傳輸中的任何延遲都可能導致 GPU 利用率不足和訓練時間更長。 GPU 直接儲存透過確保資料盡快傳輸到 GPU、最大限度地減少空閒時間並最大限度地提高運算效率來解決這一挑戰。
此外,GDS 對於涉及串流大型資料集的工作負載特別有利,例如視訊處理、自然語言處理或即時推理。透過減少對 CPU 的依賴,GDS 可以加速資料移動並釋放 CPU 資源用於其他任務,從而進一步增強整體系統效能。
GDSIO 順序讀取吞吐量
GDSIO 順序讀取吞吐量測試突顯了 KIOXIA CD9P-R (7.68TB) 出色的讀取效能。在所有三個區塊大小段中,CD9P-R 在大多數執行緒數下均表現出最高的吞吐量。
在 16K 區塊大小的固態硬碟領域,CD9P-R 在 16K/1 執行緒下的初始讀寫速度約為 0.3 GiB/s,落後於大多數競爭對手。像 Pascari X200P (7.68TB) 和 Micron 7600 Max (6.4TB) 這樣的固態硬碟,在單執行緒下的讀寫速度約為 0.55-0.6 GiB/s。隨著線程數的增加,CD9P-R 的效能迅速提升,在中端階段便超越了其他產品。到了 16K/16 線程,它已經超越了大多數競爭對手;到了 16K/64 線程,其讀寫速度達到了約 2.0 GiB/s,成為當時該級別中的最高吞吐量。在 16K/128 執行緒下,CD9P-R 的讀寫速度保持在約 1.9 GiB/s,並繼續保持領先地位,而其他一些固態硬碟的效能則趨於平緩甚至下降。 CD9P-R 的 16K 讀取吞吐量優勢源自於其隨線程數的高效擴展,而不是單流優勢。
進入 128K 區塊大小級別,CD9P-R 在 128K/1 線程下初始速度約為 1.6 GiB/s,與 SanDisk DC SN861 (7.68TB) 並駕齊驅,在該線程數下接近領先水平。其性能在中等線程數範圍內保持穩定,在 128K/8 線程下達到約 3.9 GiB/s,是當時該級別中吞吐量最高的,而大多數競爭對手的速度仍在 1.7 至 2.0 GiB/s 之間。在 128K/16 和 128K/32 執行緒下,隨著其他硬碟的執行緒數增加,CD9P-R 繼續保持領先地位。在 128K/64 和 128K/128 時,Micron 9550 Pro (7.68TB) 和 Micron 9550 Max (12.8TB) 追上並超過了 CD9P-R,達到了大約 5.2 至 5.3 GiB/s,而超過了 CD9P-R,達到了大約 5.2 至 5.3 GiB/s,而 CD9P-R 的峰值約為 12/1K時回落到大約 4.8 GiB/s。
在 1M 區塊大小的測試段,CD9P-R 在 1M/1 執行緒數下初始讀取速度約為 3.9 GiB/s,並隨著執行緒數的增加而穩定提升。在 1M/128 執行緒數下,其讀取速度達到約 6.2 GiB/s,是對比組中最高的峰值讀取速度。 Pascari X200P (7.68TB) 和 Micron 9550 Max (12.8TB) 緊隨其後,讀取速度均約為 6.1 GiB/s;Solidigm PS1010 (7.68TB) 和 Micron 9550 Pro (7.68TB) 的讀取速度約為 6.0B/s。 Kingston DC3000ME (7.68TB) 的讀取速度約為 5.9 GiB/s,而 Micron 7600 Max (6.4TB) 則明顯落後,讀取速度約為 5.6 GiB/s。
GDSIO 順序讀取延遲
GDSIO 順序讀取延遲圖表顯示,所有八個硬碟在整個測試過程中都呈現出幾乎相同的軌跡。延遲值主要受資料區塊大小和執行緒數的影響,而非硬碟本身的特性,因此該圖表不如吞吐量和 IOPS 結果那樣具有區分度。
在單執行緒基準測試(16K 資料區塊,1 個執行緒)下,CD9P-R 的讀取延遲約為 44 微秒,處於該組產品的中等水平。在此配置下,速度更快的硬碟包括 Pascari X200P (7.68TB)(約 26 微秒)、SanDisk DC SN861 (7.68TB)(約 26 微秒)和 Micron 7600 Max (6.4TB)(約 27 微秒)。而速度最慢的硬碟是 Kingston DC3000ME (7.68TB)(約 83 微秒)和 Solidigm PS1010 (7.68TB)(約 71 微秒),它們的單線程讀取延遲明顯高於其他兩款產品。
在剩餘的掃描過程中,各條曲線逐漸收斂。所有驅動器在 1M/128 時均達到 20,000-22,000 µs 的範圍,其中 CD9P-R 的響應時間約為 20.3 ms,處於該組的較低位置,這與其在該配置下較高的吞吐量相符。
GDSIO 順序寫入吞吐量
GDSIO 順序寫入吞吐量測試結果顯示,各組間有顯著差異。
Solidigm PS1010 (7.68TB) 在 128K 區塊大小下,高執行緒數時寫入吞吐量出現顯著下降。在 128K/32 塊大小下,其寫入吞吐量曾達到頗具競爭力的 3.9 GiB/s,但在 128K/64 塊大小下,吞吐量驟降至約 2.5 GiB/s,隨後在 128K/128 塊大小下更是跌至僅 1.6 GiB/s,同等的同一半配置。這種效能下滑趨勢在 1M 區塊大小下依然持續,在中等執行緒數下,其峰值寫入吞吐量僅為 4.2 GiB/s,隨後在高執行緒數下再次下降。這種在繁重的多執行緒寫入負載下持續的吞吐量下降,是該資料集中最顯著的異常現象。 Micron 9550 Max (12.8TB) 在 1M 段也出現了明顯的吞吐量下降,從 1M/32 時的約 4.7 GiB/s 下降到 1M/64 時的約 2.2 GiB/s,然後在 1M/128 時有所恢復。
在 16K 區塊大小的測試段,所有硬碟的讀寫速度都集中在 0.6 到 1.5 GiB/s 之間,大多數執行緒數下的讀寫速度差異僅為零點幾 GiB/s。 CD9P-R 在 16K/1 區塊大小下初始讀寫速度約為 0.7 GiB/s,在 16K/32 區塊大小下提升至約 1.5 GiB/s,之後趨於穩定。 Micron 9550 Max (12.8TB) 則表現異常,在 16K/128 區塊大小下讀寫速度驟降至約 0.7 GiB/s,而其他硬碟的讀寫速度則保持在 1.2 到 1.4 GiB/s 之間。
在 128K 容量等級中,CD9P-R 在低線程數下表現優異。在 128K/1 執行緒時,其讀寫速度約為 2.7 GiB/s,接近同等級產品中的佼佼者;在 128K/8 執行緒時,讀寫速度提升至約 4.7 GiB/s,成為該等級產品中的最高值。從 128K/16 執行緒開始,Micron 9550 Pro (7.68TB) 和 Micron 9550 Max (12.8TB) 的效能超越了 CD9P-R,峰值讀寫速度分別達到了約 5.1 至 5.3 GiB/s。在 128K 容量等級的其餘部分,CD9P-R 的讀寫速度則保持在約 4.1 至 4.5 GiB/s 之間。
在 1M 區塊大小的儲存段中,CD9P-R 在 1M/1 執行緒配置下以約 4.9 GiB/s 的吞吐量進入該段,是同組產品中該單執行緒配置下的最高吞吐量。然而,在後續所有執行緒數下,其吞吐量基本上保持不變,約為 4.3-4.4 GiB/s,並未繼續提升。大多數其他硬碟透過增加執行緒數來進一步提升吞吐量:Micron 9550 Pro (7.68TB)、Micron 7600 Max (6.4TB) 和 Pascari X200P (7.68TB) 在 1M/4 及更高執行緒數下均超越了 CD9P-R,峰值約為 7 Gi2 吞吐量。 CD9P-R 的峰值寫入吞吐量為 4.9 GiB/s,在八款硬碟中排名第五,落後於 Micron 9550 Max(5.69 GiB/s)、Micron 9550 Pro(5.54 GiB/s)、Micron 7600 Max(5.44 GiB/s)。
GDSIO 順序寫入延遲
在 16K 讀寫速度下,所有硬碟在低執行緒數下的效能表現都非常接近。在 16K/1 讀寫速度下,CD9P-R 的寫入延遲約為 21 微秒,是此配置下所有硬碟中最低的,僅略高於 Solidigm PS1010 (7.68TB) 的約 22 微秒。 Pascari X200P (7.68TB) 緊隨其後,約為 25 微秒,而 Micron 9550 Max (12.8TB) 和 Micron 7600 Max (6.4TB) 的寫入延遲都在 30 微秒左右。在 16K/128 讀寫速度下,Micron 9550 Max 的寫入延遲飆升至約 2,500 微秒,是該配置下所有硬碟中最高的,而 CD9P-R 的寫入延遲則保持在約 1,500 微秒,仍然是該配置下較低的數值之一。
在 128K 段,Solidigm PS1010 的吞吐量驟降在延遲圖中表現為 128K/64 時延遲急劇上升至約 9,700 µs,這是該段測試中最明顯的異常。 CD9P-R 在整個 128K 段的表現與主流晶片組基本一致,在 128K/64 和 128K/128 兩種模式下均保持在 1,900 至 3,800 µs 的範圍內。
在 1M 寫入測試段,兩款硬碟在 1M/64 寫入速率下均出現延遲峰值,與其在該配置下的吞吐量下降相符。 Micron 9550 Max (12.8TB) 和 Micron 9550 Pro (7.68TB) 在 1M/64 寫入速率下均達到約 27,000-28,000 微秒,隨後在 1M/128 寫入速率下進一步攀升。 CD9P-R 在 1M/64 寫入速率下達到約 14,500 微秒,反映出其在該配置下更穩定的寫入吞吐量,並在 1M/128 寫入速率下最終達到約 29,100 微秒。 Pascari X200P (7.68TB) 在 1M/128 寫入速率下實現了最低的寫入延遲,約為 25,000 微秒。在 1M/128 下,Micron 9550 Pro 的反應時間最高,約 44,900 µs,Solidigm PS1010 的反應時間最高,約 40,700 µs,Micron 7600 Max 的反應時間次之,約為 36,000 µs。
結語
KIOXIA CD9P-R E3.S 7.68TB 固態硬碟完美詮釋了讀取密集型硬碟的應有特性,測試資料也從頭到尾印證了這一點。在我們的 128K 測試中,其順序讀取速度高達 14,235.9 MB/s,位列同類產品前列,與 Pascari X200P 不相上下。而這款硬碟的真正實力則體現在低隊列深度:在 QD1 隊列深度下,4K 隨機讀取延遲僅為 30 µs 左右,遠低於大多數同類產品 60 至 90 µs 的延遲。這種低延遲的讀取效能也延續到了 GPU Direct Storage 測試中,CD9P-R 的效能能夠隨著執行緒數的增加而平滑擴展,並實現了同類產品中最高的 1M 讀取吞吐量,約為 6.2 GiB/s。
這些權衡取捨同樣清晰明了,並且與該硬碟的 1 DWPD 設計相符,而非背道而馳。寫入效能處於中游水平,128K 順序寫入速度為 6,912.4 MB/s,在同組產品中排名墊底;GDSIO 順序寫入吞吐量峰值為 4.9 GiB/s,在八款硬碟中排名第五。 Micron 9550 系列在吞吐量和延遲方面均領先其他寫入工作負載。以上並非對 CD9P-R 的貶低;它是一款讀取密集型 SSD,需要持續寫入效能的使用者應該考慮混合用途的 CD9P-V。
負載下的穩定性是另一個亮點。在針對 LLAMA 3.1 405B 配置的 DLIO 檢查點測試中,CD9P-R 的單次運行時間穩定在 572 秒左右,保持在 553 至 590 秒的主流 Gen5 固態硬碟的範圍內,避免了像 Pascari X200P 那樣出現高達 674.5 秒的波動。該平台的擴展性也遠超我們的測試樣品:CD9P-R 系列採用相同的架構,E3.S 規格最高可達 30.72TB,2.5 英寸規格最高可達 61.44TB,這意味著一次認證即可涵蓋從高效能運算節點到高密度讀取層的所有應用場景。
對於雲端叢集、AI 資料管道、內容分發以及以讀取為主的虛擬化讀取層,CD9P-R 硬碟無疑是值得推薦的選擇。它兼具頂級的第五代讀取吞吐量、我們對比組中最低的低 QD 讀取延遲以及強大的容量儲備,並且在持續負載下也能保持穩定。
產品頁面 – KIOXIA CD9P-R 7.68TB
排行榜: Kioxia CD9P-R 在最佳企業級 SSD排行榜上佔據最佳讀取密集型 SSD 位置。




Amazon