KIOXIA CM9-R 是首款基於第八代 BiCS 快閃記憶體的企業級 SSD 系列，我們實驗室評測的 15.36TB E3.S 型號是該系列容量的最佳選擇：隨機讀取 IOPS 高達 340 萬，順序讀取速度高達 14,800 MB/s，而典型功耗僅為 25W。第五代企業級 SSD 的標稱效能通常只有 20 多 IOPS，而 KIOXIA 對 CM9 系列的賣點在於，BiCS8 的 CBA（CMOS 直接鍵結陣列）設計能夠在不增加功耗的情況下提供一流的吞吐量。
KIOXIA CM9-R 15.36TB E3.S：BiCS FLASH，第 8 代，典型額定功率為 25W。
CM9-R 是該系列中讀取密集型產品，擁有 1 DWPD 的讀寫速度；與之並行的是 3 DWPD 的 CM9-V 混合用途產品線。容量範圍從 1.92TB 到 30.72TB（E3.S 介面），其中 61.44TB 的旗艦型號為 2.5 吋 U.2 版本。 7.68TB 以下的機型採用 BiCS 第五代快閃記憶體；7.68TB、15.36TB 和 30.72TB 機型則採用第八代快閃記憶體。我們評測的 15.36TB 型號（KCM9XRJE15T3）的容量恰好是該系列寫入性能最佳的容量：順序寫入速度高達 11,000 MB/s，隨機寫入 IOPS 高達 540K，這兩個數據均為該系列最高，其他容量版本均未達到。
此硬碟採用 PCIe 5.0 x4 接口，支援雙埠 x2，適用於高可用性拓撲結構，符合 NVMe 2.0 和 NVMe-MI 1.2c 標準，並支援 OCP 資料中心 NVMe SSD v2.5 規範（並非所有要求）。斷電保護和端對端資料保護為標配，型號清單中提供 SIE、SED 和 FIPS 140-3 SED 安全版本。
E3.S 7.5mm 修剪，帶 EDSFF 連接器；該系列產品採用 2.5 英寸外形尺寸，容量高達 61.44 TB。
KIOXIA CM9-R 技術規格
| 規格 | KIOXIA CM9-R 15.36TB (E3.S) |
|---|---|
| 平台概述 | |
| 型號 | KCM9XRJE15T3 (SIE) KCM9DRJE15T3 (SED) KCM9FRJE15T3（FIPS SED） |
| 容量 | GB 15,360 |
| 外形 | E3.S，7.5 毫米 |
| 介面 | PCIe 5.0（單 x4、雙 x2）、NVMe 2.0、NVMe-MI 1.2c |
| NAND閃存 | KIOXIA BiCS FLASH 第 8 代 3D TLC (CBA) |
| 性能（單埠 x4，最高） | |
| 順序讀取（128 KiB） | 14,800 MB / s的 |
| 順序寫入（128 KiB） | 11,000 MB / s的 |
| 隨機讀取（4 KiB） | 3,400K IOPS |
| 隨機寫入（4 KiB） | 540K IOPS |
| 讀/寫延遲（4 KiB QD1，典型值） | 65 微秒/10 微秒 |
| 力量與耐力 | |
| 電源（啟動/就緒） | 25瓦（典型值）/ 5瓦（典型值） |
| 耐力 | 1 DWPD |
| MTTF / 保固 | 2,500,000 小時 / 5 年 |
| 產品特性 | |
| 保護性能 | 電源丟失保護 端到端數據保護 用於高可用性的雙端口 |
| 合規性 | OCP 資料中心 NVMe SSD v2.5（部分） |
測試背景和比較
在本次評測中，我們使用一台執行 Ubuntu 22.04.2 LTS 的戴爾 PowerEdge R760 伺服器作為所有工作負載的測試平台。該伺服器配備了 Serial Cables Gen5 JBOF 接口，可廣泛相容於 U.2、E1.S、E3.S 和 M.2 固態硬碟。我們的系統配置如下：
- 2 個英特爾至強金牌 6430（32 核，2.1GHz）
- 16 個 64GB DDR5-4400
- 480GB 戴爾 BOSS 固態硬碟
- 串行電纜 Gen5 JBOF
- 英偉達 L4
驅動器比較
- KIOXIA CD9P-R 7.68TB （1 DWPD）
- 閃迪 DC SN861 7.68TB （1 DWPD）
- 固力 PS1010 7.68TB （1 DWPD）
- Solidigm PS1030 12.8TB (3 DWPD)
- Micron 7600 MAX 6.4TB （3 DWPD）
- Micron 9550 MAX 12.8TB （3 DWPD）
- Micron 9550 Pro 7.68TB (1 DWPD)
與 KIOXIA 自家的CD9P-R搭配使用最為重要：CD9P-R 展示了 BiCS8 在資料中心定位的表現，而 CM9-R 是同一快閃記憶體的企業旗艦版本。
FIO性能
128K 順序寫入（IODepth 16/NumJobs 1）
CM9-R 在 FIO 測試中開局表現出色，128K 順序寫入速度穩定在 8,668.1 MB/s，耗時 230.4 µs，在同組產品中排名第三，僅次於 Micron 9550 MAX (10,957.9 MB/s) 和 9550 遙遙感/遙速6,370 MB/s 至 7,127 MB/s 之間）。與同系列的 CD9P-R (6,912.4 MB/s) 相比，這款企業級固態硬碟的優勢高達 25%，考慮到兩者均採用相同的 BiCS8 閃存，這一差距意義重大。
128K 順序讀取（IODepth 64 / NumJobs 1）
在我們的資料集中，讀取效能是唯一一項與硬碟標稱效能相差甚遠的測試結果。在 IODepth 64 的單執行緒測試中，CM9-R 的讀取速度為 9,974.6 MB/s，耗時 801.7 µs，在所有測試產品中排名墊底，遠低於 14,800 MB/s 的標稱速度，也遠低於其同系列產品 CD9P-R 在相同配置下的 MB/s 的標稱速度，也遠低於其同系列產品 CD9P-R 配置下的 MB/s 1955 195 的速度。這是一項單執行緒測試，下面的掃描圖顯示了當任務分散到多個執行緒時，CM9-R 的讀取速度能夠達到全速。然而，對於採用單流大塊讀取模式的使用者來說，應該注意這種效能表現，並自行測試其資料流。
64K 隨機寫入
在 64K 隨機寫入測試中，CM9-R 位元列第二，峰值速度達到 9,635.3 MB/s（IODepth 8 / NumJobs 2，延遲僅為 103.4 µs），僅次於 Micron 9550 MAX 的 10,878.1 MB/s。低佇列深度下的效能更是遙遙領先：在 IODepth 1 / NumJobs 1 的條件下，速度達到 3,334.8 MB/s，延遲僅為 18.4 µs，領先於 Solidigm PS1030（速度為 2,901.7 MB/s，延遲為 21.1 µs）以及其他所有產品。延遲上限控制在 1,942.5 µs，而一些競爭對手的延遲超過了 2,300 µs，PS1010 的延遲更是接近 6,000 µs。
64K 隨機讀取
在 64K 讀取測試中，CM9-R 的單流讀取速度在所有參賽產品中名列前茅，在 IODepth 1 / NumJobs 1 的配置下，讀取速度達到 1,359.0 MB/s，延遲僅為 45.6 µs，甚至超過了 CD9P-R（1,334.0 MB/s），而大約只有其他參賽產品的速度讀取。同樣引人注目的是它所需的並發性極低：在 IODepth 4 / NumJobs 8 的配置下，該硬碟的峰值讀取速度達到 13,402.4 MB/s，延遲僅為 148.7 µs，而大多數參賽產品需要 IODepth 32 的配置才能達到相同的速度。 Solidigm PS1030 以 14,162.9 MB/s 的速度榮登深度隊列讀取速度榜首，但在低並發性下，沒有其他產品能像 KIOXIA 的兩款硬碟那樣出色地完成 64K 讀取任務。
16K 順序寫入
程式說明：我們的 16K 覆蓋率現在是順序的而不是隨機的，這是我們在Micron 9550 MAX 評測中首次提出的工作負載，並且在整個組中都適用，因為中等規模的順序流在實際部署中佔據主導地位，特別是 AI 管道，它們按順序運行數據，而不是分散隨機命中。
這項改變非常適合 CM9-R。其峰值速度達到 10,812.2 MB/s，僅次於 Micron 9550 MAX 的 10,970.8 MB/s。但 9550 MAX 需要 IODepth 32 / NumJobs 4 和 181.9 µs 的延遲才能達到這一速度，而 CM9-R 僅需 IODepth 1 / NumJobs 16 即可達到峰值，延遲僅為 22.8 µs，這與該硬碟在其他所有深度測試中展現的低階隊列。 10.4 µs 的單工作線程延遲再次成為同組最佳，並且在 IODepth 1 到 32 的三個不同測試點上，該硬碟均突破了 10,400 MB/s 的速度。
16K 順序讀取
在讀取測試中，CM9-R 在 IODepth 32 / NumJobs 8 的條件下達到了 13,393.2 MB/s 的速度，僅次於其同系列產品 CD9P-R 的 13,819.7 MB/s。在 IODepth 16 / NumJobs 8 的條件下，CM9-R 的速度也達到了 13,390.1 MB/s，與 CD9P-R 幾乎相同，但延遲卻只有 CD9P-R 的一半，分別為 149.0 µs 和 298.3 µs。值得注意的是：與隨機讀取測試不同，單流 16K 順序讀取測試中，Sandisk SN861（12.5 µs）和 Micron（13.9 至 21.3 µs）的效能優於 KIOXIA 的兩款產品（接近 32 µs）。在引入並行處理後，CM9-R 的性能得到了很好的提升，在 IODepth 4 / NumJobs 16 的條件下達到了 12,400 MB/s 的速度。
4K 隨機寫入
在 IODepth 8 / NumJobs 16 的條件下，CM9-R 的 IOPS 達到了 1,502.9K，延遲僅為 84.6 µs，在同組產品中排名第四，僅次於 Micron 7600 MAX (1,781.2K)、Solidi, 1030 (Kgm9509995095 (K19509950995 (K1950 (1,544.2K)。其效能幾乎是標稱值 540K 的 2.8 倍，而標稱值 540K 是在固定隊列深度下測得的。在隊列深度為 1 時，CM9-R 以 115.8K IOPS 和 8.2 µs 的延遲領先所有產品，這是我們在同組產品中測得的小塊寫入響應速度最快的。
4K 隨機讀取
CM9-R 的 4K 深度佇列讀取測試是其表現最弱的一項：在 IODepth 16 / NumJobs 16 的峰值下，IOPS 僅為 1,973.4K，在八款產品中排名第七，僅高於 Micron 7600 MAX，遠低於 Sandisk SN861 的 2K,655（該組最高）。需要注意的是，KIOXIA 的 3,400K IOPS 規格是在超出我們測試 IODepth 32 / NumJobs 16 上限的隊列深度下測得的，因此我們將此差距視為測試配置的差異，而非效能不足。但像 SN861 和 PS1030 這樣的產品在相同的測試條件下卻取得了顯著更高的效能。圖表的另一半屬於 CM9-R：在隊列深度為 1 時，4K 讀取延遲為 29.3 µs，達到 33.6K IOPS，是該組中最低的 4K 讀取延遲，略微領先於 CD9P-R，後者在 6 月份以同樣的特性為標誌。
GDSIO 效能
GPU Direct Storage 讀取是 CM9-R 線程擴展性表現最突出的地方，與它在 6 月展示的 CD9P-R 一脈相承。兩款 KIOXIA 固態硬碟在 16K 塊大小的測試中始終領先，而 CM9-R 的 16K 峰值 IOPS 達到 136.4K，在所有測試產品中名列前茅，領先於 CD9P-R 的 134.2K，並遠超墊底的 Solidigm 兩款產品的 1030 2K。在 1M 區塊大小的測試中，CM9-R 的峰值讀取速度為 6.06 GiB/s，僅次於 CD9P-R 的 6.16 GiB/s，Solidigm PS1010 和 Micron 9550 MAX 的讀取速度則為 6.05 GiB/s。單執行緒 16K 讀取延遲為 44.5 µs，處於測試產品中游水平，與 CD9P-R 基本相同。 Sandisk SN861 的單線程邊緣精度為 26.1 µs。
CM9-R 的寫入效能表現悄悄脫穎而出。其峰值寫入速度為 5.51 GiB/s（1M 區塊，16 執行緒），理論上僅次於 Micron 9550 MAX 的 5.69 GiB/s，但兩條曲線的走勢是關鍵所在：9550 MAX 在其已知的波動視窗期內，在 1M/64 1M/2.2 下位時則降至 9 時而下降約塊寫入區間內保持了最穩定的性能。此外，它還避免了 Solidigm 兩款固態硬碟在 128K 高執行緒寫入時出現的效能崩潰問題。單執行緒 16K 寫入延遲為 21.4 µs，與 CD9P-R 並列最佳。對於持續的 GPU 鄰近寫入流，這款固態硬碟是測試中最可預測的。
DLIO 檢查點性能
我們的 DLIO 檢查點測試會在三個階段寫入重複的訓練檢查點，它既測試速度，也測試穩定性；耗時越短越好，第一階段和第三階段之間的差距反映了硬碟在持續高負載下，其 FTL 工作狀態的穩定性。需要注意的是：檢查點數量會隨著硬碟容量的增加而增加，因此容量更大的硬碟（例如 15.36TB 的 CM9-R）每次運行會記錄更多檢查點，並且每個檢查點的結果在不同硬碟之間並不完全相同。因此，下表列出了每個階段的平均值，將每個硬碟的運行結果標準化為一個可以直接比較的數值；數值越低越好。在第一階段，所有對比硬碟的耗時都集中在 459 到 465 秒的範圍內，CM9-R 的耗時為 462.8 秒。差距在後續階段才會顯現。經過第三次測試，CM9-R 的成績為 580.9 秒，處於中後段：比 Solidigm PS1030 的 599.2 秒快，但落後於 Sandisk SN861 (553.3)、Micron 9550 MAX (555.3) 和它自己的 CD9P-R6 兄弟產品 (570.R6)。
| 雲端硬碟 | 第三次通過平均成績（秒） | 第三次通過平均成績（秒） | 第三次通過平均成績（秒） |
|---|---|---|---|
| 閃迪 DC SN861 7.68TB | 461.3 | 558.6 | 553.3 |
| Micron 9550 MAX 12.8TB | 462.8 | 558.9 | 555.3 |
| Micron 9550 Pro 7.68TB | 461.4 | 577.9 | 559.7 |
| 固力 PS1010 7.68TB | 458.8 | 561.1 | 564.6 |
| Micron 7600 MAX 6.4TB | 464.2 | 581.5 | 567.3 |
| KIOXIA CD9P-R 7.68TB | 464.7 | 575.6 | 570.6 |
| 鎧俠 CM9-R 15.36TB | 462.8 | 571.9 | 580.9 |
| 固力 PS1030 12.8TB | 462.3 | 578.0 | 599.2 |
第三輪測試結果值得解讀，而非擔憂。 1 DWPD 的讀取密集型硬碟並非為持續的檢查點寫入而購置，而 FIO 測試結果則體現了該硬碟的真正優勢：在讀寫操作中均實現了該系列最佳的低隊列深度延遲，且性能穩定。值得注意的是，CM9-R 的性能在測試過程中呈現漸進且可預測的下降趨勢，而非劇烈波動，展現出與其 GDS 寫入性能相同的穩定性——這正是硬碟投入使用後檢查點調度所關注的。需要檢查點突發性能的使用者應考慮Micron 9550 系列，或等待 CM9-V 混合用途版本上市。
結語
KIOXIA CM9-R 15.36TB 是首款採用 BiCS8 的企業級 SSD，我們在測試中採用了該系列產品寫入性能最佳的容量規格，測試數據清晰地展現了其卓越性能：在所有測試的工作負載下，其低隊列深度延遲均低於同類產品。在佇列深度為 1 時，它在 4K 讀取（33.6K IOPS，延遲 29.3 微秒）、4K 寫入（115.8K IOPS，延遲 8.2 微秒）、16K 順序寫入（單工作進程延遲 10.4 微秒）和 6456K 延遲寫入（單工作進程延遲 10.4 微秒）和 645 延遲（1,3339.微秒）等測試中均遙遙領先，且其 64K 讀取峰值所需的並發數遠低於競爭對手。在 GPU 直接儲存方面，它實現了該組最佳的小塊讀取 IOPS，達到 136.4K，並且在基準測試中實現了最穩定的持續寫入線，峰值達到 5.51 GiB/s，沒有像幾個競爭對手那樣出現高線程波動。
在我們運行的所有工作負載中，該組的最低隊列深度 1 延遲為 25W（典型值）。
在我們的測試中，深度佇列 4K 讀取峰值達到 1,973.4K IOPS，在八款產品中排名第七（KIOXIA 的 3,400K 評級是在超出我們測試上限的隊列深度下測量的，但競爭對手在同一測試中發現了更高的性能），而單工作線程 128K 順序將其不符/96949474），而單工作線程 128K 順序讀取其速度為 99949494。
對於延遲敏感的讀取層、OLTP 前端、基於雙端口高可用性基礎設施的虛擬化環境，以及讀取密集型 AI 服務（在這些應用中，實際隊列深度下的響應時間比模擬的深度隊列峰值響應時間更為重要），CM9-R 是迄今為止最有力地證明 BiCS8 的 CBA 設計顛覆行業格局的產品。持續高寫入管線則應考慮 CM9-V 或該系列中的混合用途硬碟。其他使用者則可選擇在關鍵時刻提供最快反應速度的硬碟，其容量堆疊最高可達 30.72TB（E3.S）和 61.44TB（2.5 吋）。
CM9-R 的隊列深度為 1 的掃描性能也使其在排行榜上佔有一席之地：它現在在我們評測的延遲關鍵型工作負載中名列前茅。 最佳企業級固態硬碟 頁。
Amazon