美光 P320h 2.5″ PCIe 應用加速器評測

by 凱文·奧布萊恩 on 2013 年 5 月 24 日

企業 ◇ SSD

去年三月，美光宣佈為其P320h 應用加速卡推出全新的 2.5 吋規格。對於任何希望最大限度提升儲存響應速度的企業而言，PCIe 卡一直是事實上的標準配置。然而，這種規格也存在一些傳統 2.5 英吋和 3.5 英吋規格所沒有的問題，例如熱插拔。關閉伺服器電源並將其從機架中取出以維護內部儲存設備幾乎是不切實際的。因此，2.5 吋 PCIe 規格既能提供 PCIe 介面所能提供的速度，又能提供標準硬碟的可維護性。當然，如果沒有伺服器支持，新的介面就毫無意義。作為美光發布新產品的一部分，戴爾也宣佈在其多款第 12 代 PowerEdge 伺服器中提供對新硬碟的伺服器支援。戴爾伺服器，例如我們的戴爾 PowerEdge R720 12G（配備 Express Flash，戴爾對 2.5 吋 PCIe 的品牌命名），最多可安裝四個 2.5 吋 P320h 硬碟，可透過伺服器前面的專用背板進行標準存取。

由於 2.5" PCIe 驅動器本質上是較大同級驅動器的一半版本，因此容量也相應減少。美光和戴爾提供 175GB 和 350GB 容量的驅動器，最高可達 1.2TB，可填充 PowerEdge 12G 服務器的所有四個插槽。有趣的是，驅動器的性能並沒有減少一半，即使它們是 4 通道而不是全尺寸卡的 8 通道。兩種容量都提供 415,000 範圍內的隨機讀取 IOPS，而全尺寸卡為 785,000，並且順序讀取吞吐量高達 1.75Gb/s，高於 3.2Gb/s。

儘管服務器可以在系統前端獲得 PCIe 閃存的性能，但還是有一些妥協。例如，背板佔用的空間通常專用於 8U 服務器中常見的第二批 2.5 x 2" 驅動器托架。因此，在 2U 機箱中，一台服務器最多可配置四個 2.5" P320h 閃存驅動器及以上到 8 個標準 2.5" 驅動器托架。另一個明顯的潛在問題是，由於接口的原因，這些驅動器不能配置在硬件 RAID 中。但是它們可以放在軟件 RAID 中。

戴爾方面則透過幾種方式來解決這些問題。首先，部署此平台的使用者通常可以接受諸如硬碟托架數量或總容量之類的權衡，因為他們更關注的是在為應用程式提供一定程度的儲存效能的同時，還能獲得易於維護的額外優勢。對於那些資料庫規模過大，單一 2.5 吋 P320h 硬碟無法處理，且軟體 RAID 方案不適用的用戶，戴爾發布了Fluid Cache 軟體，該軟體可以使 2.5 吋 P320h 硬碟加速其他托架中更大容量的硬碟。此外，值得注意的是，這種部署方案並非適用於所有人；它仍然是一個新興的解決方案，匯集了業內頂尖的硬件，為伺服器市場提供了一些目前尚不存在的產品。

本次評測中，我們的配置包括一台戴爾 R720伺服器，其四個 Express Flash 插槽全部安裝了 350GB 2.5 吋 Micron P320h 硬碟。

美光 P320h 2.5" PCIe 規格

容量
- 175GB（MTFDGAL175SAH-1N3AB）
- 350GB（MTFDGAL350SAH-1N3AB）
美光 SLC NAND（34 納米）
接口：x4 PCIe Gen2
連接器：SATA/SAS/PCIe 組合
美光RAIN（獨立NAND冗餘陣列）技術
自我監控、分析和報告技術 (SMART) 命令集支持
性能
- 順序讀/寫性能：高達 1.75/1.1 GB/s
- 隨機讀/寫性能：高達 415,000/145,000 IOPS
- 延遲：<50μs
電力
- 有源功耗：25W（最大）
- 空閒/待機/睡眠功耗（平均）：6.5W
工作溫度：0C- 70C – 溫度節流支持
震動
- 衝擊：400 毫秒時為 2.0G
- 振動：3.1 Grms，5–500 Hz，每軸 30 分鐘
不可糾正的誤碼率：<每 1 個扇區¹⁷ 位讀
MTTF：2 萬設備小時
耐力 – 硬盤壽命：12.5PB (175GB)、25PB (350GB)
戴爾服務器支持 – PowerEdge 12G 背板最多支持四個驅動器
尺寸（高x寬x長）：15 x 69.85 x 100.5 毫米
重量：172g (175GB), 175g (350GB)

設計和建造

想想美光的 2.5" P320h，本質上就好像美光將標準 PCIe P320h 切成兩半，然後將其重新包裝成 15mm 2.5" 外形。從表面上看，大多數人永遠不會注意到；甚至端口看起來也與標準 SAS 接口非常相似。正如我們在下面的 R720 中看到的那樣，神奇之處在於專用背板。

專用背板最多支持四個 2.5" P320h 驅動器，這些驅動器通過電纜連接到服務器背面的 PCIe 擴展卡。R720 內部的佈局簡潔且易於維修。事實上，戴爾已經確認背板、擴展卡和佈線都可以隨著存儲的發展而升級，即升級到 NVMe。該平台的靈活性對於希望能夠將其存儲遷移到最新和最好的早期採用者來說很有吸引力。

當我們檢查各個驅動器本身時，外殼由實心鋁製成，其灰色具有持久的工業外觀。頂蓋帶有戴爾產品信息標籤，其中包含所有相關信息（容量、型號等）。側面輪廓顯示了四個螺絲孔，使驅動器能夠安裝在熱插拔驅動器盒中。移動到設備的後部，有一個 Express Bay SFF-8639 連接器，它類似於 SAS 或 SATA 連接器，但也承載 x4 PCIe 信號。

機箱底部有脊狀結構，以幫助驅動器被動冷卻，拆下驅動器後，我們可以看到機箱底部的內部襯有幾個導熱墊。這些導熱墊吸入熱量，然後通過外殼散熱。

在 2.5" 美光 P320h 內部，有一個定制的 16 通道美光/IDT ASIC 控制器，類似於全尺寸 HHHL 美光 P320h 中使用的控制器，但內存通道只有一半。美光還提供 NAND 封裝跨兩個 PCB，總計 512GB，超額配置為 350GB 可用。

頂部 PCB 包括連接器、控制器和 DRAM 以及 8 個 NAND 封裝。底部 PCB 具有流線型佈局，12 個 NAND 封裝排列在一側的中心，12 個在另一側。它還在 PCB 的每一側都有兩個連接器，用於連接兩個子板。

測試背景

我們使用 Dell PowerEdge R720 12G 作為 2.5" Micron P320h 的測試平台，因為它配備了使用 Micron SSD 的 Dell Express Flash 配置。我們的測試系統配置了以下硬件：

2 x Intel Xeon E5-2640（2.6GHz，15MB 緩存，6 核）
英特爾 C602 芯片組
內存 – 192GB (24 x 8GB) 1333Mhz DDR3 Registered RDIMM
中央操作系統 6.3 64 位
- 8 x 300GB Seagate Savvio 15K.3 in RAID10 啟動

應用性能分析

在企業級市場，產品紙面性能與實際生產環境性能之間存在巨大差異。 StorageReview 深知拓展應用測試的重要性，我們推出的首個測試項目就是MarkLogic NoSQL 資料庫儲存基準測試。雖然綜合測試仍將是我們評測的重要組成部分，但我們計劃擴展應用測試範圍，涵蓋 VDI 效能、虛擬機器負載產生、擴展資料庫效能測試等許多領域。

在我們的 MarkLogic NoSQL 數據庫環境中，我們測試了四個 SATA 或 SAS SSD 組，單個全尺寸 PCIe 解決方案，可用容量大於或等於 200GB。由於我們的 Dell PowerEdge R720 12G 配備了四個 Express Flash SSD，我們在 MarkLogic 測試中利用了所有這些，每個數據庫集群專用一個。我們的 NoSQL 數據庫需要大約 650GB 的可用空間才能使用，平均分配給四個數據庫節點。在我們的測試環境中，我們使用 SCST 主機（R720 位於其中）並在 JBOD 中呈現每個單獨的 SSD，每個數據庫節點分配一個。該測試以 24 個間隔重複進行，對於此類 SSD 總共需要 30-36 小時。測量 MarkLogic 軟件看到的內部延遲，我們記錄了總平均延遲以及每個 SSD 的間隔延遲。

Dell PowerEdge R720 12G 是我們通過 MarkLogic NoSQL 測試運行的計算領域中第一台出廠時提供高性能閃存的服務器。它的平均整體延遲為 1.239 毫秒，非常出色，在我們的整體排名中名列前茅。

查看我們測量的每個區域的總體平均延遲，我們記錄了高達 16 毫秒的峰值，大多數峰值在 3-11 毫秒之間。

企業綜合工作負載分析

閃存性能在每個存儲設備的整個預處理階段各不相同。我們的企業存儲基準流程首先分析驅動器在徹底預處理階段的運行方式。每個可比較的驅動器都使用供應商的工具進行安全擦除，在 16 個線程的重負載下使用相同的工作負載預處理到穩定狀態，每個線程有 16 個未完成隊列，然後按設定的時間間隔進行測試在多個線程/隊列深度配置文件中顯示輕度和重度使用情況下的性能。

預處理和初級穩態測試：

吞吐量（讀+寫 IOPS 聚合）
平均延遲（讀+寫延遲一起平均）
最大延遲（峰值讀取或寫入延遲）
延遲標準偏差（讀+寫標準偏差一起平均）

我們的企業綜合工作負載分析包括四個基於實際任務的配置文件。開發這些配置文件是為了更容易與我們過去的基準測試以及廣泛發布的值（例如最大 4K 讀寫速度和 8K 70/30，通常用於企業驅動器）進行比較。我們還包括兩個傳統的混合工作負載，傳統的文件服務器和網絡服務器，每個都提供廣泛的傳輸大小組合。

4k
- 100% 讀取或 100% 寫入
- 100% 4k
8k 70/30
- 70% 讀取，30% 寫入
- 100% 8k
128k（連續）
- 100% 讀取或 100% 寫入
- 100% 128k
文件服務器
- 80% 讀取，20% 寫入
- 10% 512b、5% 1k、5% 2k、60% 4k、2% 8k、4% 16k、4% 32k、10% 64k
網絡服務器
- 100% 閱讀
- 22% 512b、15% 1k、8% 2k、23% 4k、15% 8k、2% 16k、6% 32k、7% 64k、1% 128k、1% 512k

我們的第一個測試是 128k 測試，這是一個大塊順序測試，顯示了最高的順序傳輸速度。查看 128% 寫入和 100% 讀取活動的 100k 性能，美光 P320h x 4 實現了 6.88 GB/s 讀取和 4.7GB/s 寫入。

在我們的下一個企業工作負載中，我們將研究具有 4T/16Q 出色工作負載的完全隨機 16k 寫入預處理配置文件。美光 P320h x 4 測得的突發速度為 1.1 萬 IOPS，穩定在略低於 600,000 IOPS。單個 P320h 的測量速度幾乎相同。

在我們的預處理 4k 隨機寫入 16T/16Q 工作負載中，美光 P320h 的突發時間為 0.9-1.7 毫秒，穩態時間為 1.8 毫秒。

查看我們 4k 預處理工作負載的最大延遲，美光 P320h 的峰值響應時間從 70-175 毫秒開始，隨著它接近穩定狀態增加到 60-200 毫秒。

比較延遲標準偏差，美光 P320h x 1 的峰值比美光 P320h x 4 低，但即使是最高峰也只有 1.3 毫秒左右。

在我們對 Micron P6h x 320 的 4 小時預處理期結束後，其穩態隨機讀取 4k 性能測得峰值接近 1.65 萬 IOPS，寫入速度為 571,173 IOPS。 Micron P320h x 1 在規模上表現出幾乎相同的性能。

將平均延遲與具有 16% 16k 隨機讀取活動的繁重 100T/4Q 工作負載進行比較，測得美光 P320h x 4 的讀取活動為 0.62 毫秒，寫入活動為 1.79 毫秒——幾乎與美光 P320h x 1 相同。

在我們的 4k 穩態測試中比較最大延遲時，美光 P320h x 4 的峰值讀取延遲為 115.9 毫秒，峰值寫入延遲為 27.3 毫秒。美光 P320h x 1 表現更好，峰值讀取延遲為 45.4 毫秒，峰值寫入延遲為 6.2 毫秒。

從延遲標準偏差來看，Micron P320h x 1 在讀取和寫入活動方面提供了更多的延遲一致性。

我們的下一個測試切換到 8K 70/30 混合工作負載，其中 Micron P320h x 4 的突發速度高達 900,000 IOPS，然後穩定在穩定狀態下的 480,000 IOPS 左右。同樣，美光 P320h x 1 的性能在規模上也相當。

比較我們 8k 70/30 預處理 16T/16Q 工作負載的平均延遲，美光 P320h x 1 和 x 4 提供的突發延遲在 2.0-1.2 毫秒之間，增加到接近穩態的 2.2 毫秒。

在 8k 70/30 工作負載下，美光 P320h x 4 的峰值延遲範圍從突發期間的 25-130 毫秒到接近穩態時的 40-80 毫秒。

比較我們 8k 70/30 預處理工作負載中的延遲一致性，美光 P320h x 4 的標準偏差略高於美光 P320h x 1。

與我們在 16% 16K 寫入測試中執行的固定 100 線程、4 隊列最大工作負載相比，我們的混合工作負載配置文件可在各種線程/隊列組合中擴展性能。在這些測試中，我們將工作負載強度從 2 個線程和 2 個隊列擴展到 16 個線程和 16 個隊列。在我們擴展的 8K 70/30 測試中，美光 P320h x 4 從 150,000-450,000 IOPS 擴展，從 2T/16Q 開始具有更高的 IOPS。 Micron P320h x 1 的縮放比例類似。

在我們 8k 70/30 測試的縮放平均延遲部分中，美光 P320h 從 0.15T/2Q 的 2ms 縮放到 1.9T/2.2Q 的 16-16ms。

在我們的 8k 70/30 主測試中，從 320T4Q 開始，在美光 P8h x 16 上測得的最大延遲更高，峰值響應時間的總體範圍為 12-78 毫秒。

美光 P320h x 4 和美光 P320h x 1 的延遲一致性相似，只是美光 P0.87h x 320 的峰值僅達到 4 毫秒。

文件服務器工作負載代表了每個特定設備的更大傳輸大小頻譜，因此驅動器必須處理從 4b 到 8k 的請求，而不是適應靜態 512k 或 64k 工作負載。在此工作負載中，美光 P320h x 4 提供了 300-365,000 IOPS 的突發速度，並且在接近穩定狀態時達到約 280,000 IOPS。

在我們的文件服務器預處理測試中的低工作負載下，平均延遲測量為 2.8-3.3 毫秒，在測試中略微增加到 3.6 毫秒。

在我們的文件服務器測試的預處理階段，Micron P320h x 4 的峰值響應時間在突發模式下為 7-35 毫秒，並在接近穩態時增加到 12-70 毫秒。

評估延遲一致性，在突發模式下，美光 P320h x 4 和美光 P320h x 1 具有幾乎相同的延遲標準偏差。

在文件服務器預處理過程以恆定的 16T/16Q 負載完成後，我們開始進行主要測試，測量 2T/2Q 和 16T/16Q 之間設定水平的性能。在我們的主要文件服務器工作負載中，美光 P320h x 4 的範圍從 115,000T/2Q 的 2 IOPS 到 280,000T/16Q 的 16 IOPS。美光 P320h x 1 在比例尺上有類似的標記。

Micron P320h x 4 的平均延遲範圍從 0.52T/0.53Q 的 2-2 到 2.75T/3.60Q 的 16-16ms。

比較最大延遲時，美光 P320h x 4 有幾個峰值，使其性能無法與峰值時間為 320 毫秒的美光 P1h x 990 相匹配。

從峰值延遲到延遲標準偏差，美光 P320h x 4 和美光 P320h x 1 的表現幾乎相同。

在我們最後一個涵蓋 Web 服務器配置文件的綜合工作負載（傳統上是 100% 讀取測試）中，我們應用 100% 寫入活動以在我們的主要測試之前完全預處理每個驅動器。在這種壓力很大的預處理測試下，美光 P320h x 4 的突發速度在 110,000-190,000 IOPS 之間，儘管當它接近穩態性能時，該數字約為 77,000-80,000 IOPS。

在我們的壓力 Web 服務器預調節測試中，平均延遲從 5-10 毫秒開始，隨著 Micron P12.5h 接近穩定狀態而增加到 320 毫秒。

當 Micron P320h x 4 接近穩態時，其峰值響應時間介於 40-55 毫秒之間。

美光 P320h 的延遲一致性隨著驅動器接近穩態條件而降低，保持在 2.5 毫秒左右。

切換到我們使用 100% 讀取配置文件的 Web 服務器測試的主要部分，Micron P320h x 4 的性能從 125,000-365,000 IOPS 擴展。與 Micron P320h x 1 相比，這些數字在比例上相匹配。

在我們的讀取密集型 Web 服務器主測試中，美光 P320h 提供的平均延遲從 0.2T/2Q 的 2 毫秒擴展到 2.2T/2.8Q 的 16-16 毫秒。

與 Micron P320h 相比，Micron P4h x 16 從 4T320Q 開始的峰值響應時間更高。在工作負載過程中測得的最大延遲在 2-23 毫秒之間。

切換到延遲一致性後，美光 P320h 提供的延遲標準偏差範圍為 0.1-0.68 毫秒。

結語

2.5" 美光 P320h PCIe 應用程序加速器很有趣，原因有很多。不過最重要的是發揮 PCIe 閃存的性能潛力，並將其壓縮為前置式易於維護的外形尺寸。美光是率先將這種外形推向市場，戴爾率先採用它，創新的服務器背板設計與許多 R720 12G 服務器兼容。雖然該平台迫使用戶放棄四個驅動器托架，但對於市場來說，這種類型的存儲是有針對性的因為，這可能是一個可以接受的權衡。這當然不是也不應該被解釋為大眾市場遊戲，它與服務器一樣小眾。但對於那些擁有較小數據庫或較大數據庫的人來說，可以從中受益來自 Fluid Cache，新穎的設計完美地滿足了某些需求。

PowerEdge 720 12G 的 Express Flash 配置在配備四個 SSD 時，無疑是我們迄今為止測試過的最快的存儲平台，在我們所有的存儲基準測試中都獲得了最高分。在原始帶寬方面，2.5 個 320" Micron P6.9h SSD 能夠推動 4.7GB/s 的讀取和 4GB/s 的順序加載寫入。切換到 1.6K 傳輸峰值隨機 I/O 吞吐量，系統沒有問題在穩定狀態下管理 571M IOPS 讀取和 8k IOPS 寫入。當查看我們的 70k 30/720 工作負載時，R480,000 穩定在 XNUMX IOPS 穩定狀態，即使按照全尺寸 PCIe 應用加速器標準也需要兩個或更多達到或超過該領域班級領導者的水平。

一個特定的服務器或存儲產品通常不會聲稱是業內最快的，但戴爾和美光合作做到了這一點。我們的 R720 搭配四個 2.5" P320h 閃存驅動器，得分超過市場上任何單個 PCIe 卡，並且具有驅動程序支持，可以很好地擴展總體性能。要使這些驅動器具有計算內存儲，至少需要兩個標準 PCIe 卡和取決於驅動程序集可能無法提供可擴展的性能。此外，該平台可以從前端進行維護，從而可以進行無中斷的配置更改。

優點