Mangstor NX6325 NVMf 陣列評測

by StorageReview 企業實驗室 on 2016 年 8 月 28 日

企業 ◇ 企業存儲

Mangstor NX6325 NVMe Over Fabrics (NVMf) 共用儲存陣列可在 HP DL380 2U 伺服器中提供高達 21.6TB 的快閃記憶體容量。與我們今年稍早評測的 NX6320類似，NX6325 聚合了 Mangstor 的附加卡 (AIC) NVMe 驅動器，並透過網路共用這些驅動器。這使得對延遲敏感的應用能夠充分利用 NVMe 儲存的所有優勢，而無需在每台伺服器中安裝 AIC。當與 Mellanox SN2700 100GbE 交換器和 ConnectX4（乙太網路或 InfiniBand）搭配使用時，NX6325 的效能令人印象深刻，據報道，單一陣列的讀取速度可達 12GB/s，寫入速度可達 9GB/s。

負責協調儲存的是 Mangstor 的 TITAN 軟體。我們曾在 NX6320 中見過 TITAN 的早期版本；Mangstor於本月初正式發布了該軟體。 TITAN 的核心在於將 NVMe SSD 與遠端直接記憶體存取 (RDMA) 網路介面卡 (NIC) 緊密整合，同時高效利用 HPE 伺服器的效能。 TITAN 使 IT 管理員能夠透過集中管理，在本地或遠端動態配置快閃記憶體。此外，TITAN 還具備儲存快取和叢集管理等功能，並提供 REST API 和 GUI 工具，方便 IT 管理員輕鬆部署和管理大型 NVMe 儲存叢集。

Mangstor 提供為以太網或 InfiniBand 配置的兩種容量選項。買家可以選擇配備四個 10.8TB 驅動器的 2.7TB 系統或配備四個 21.6TB 驅動器的 5.4TB 系統。我們的審查系統是 10.8TB 以太網配置。

Mangstor NX6325 規格

閃存陣列
- 乙太網路 - ENET
  - NX6325R-016TF-2P100GQSF，10.8TB（4 個 2.7TB SSD）
  - NX6325R-032TF-2P100GQSF，21.6TB（4 個 5.4TB 固態硬盤）
- InfiniBand
  - NX6325I-016TF-2P100GQSF，10.8TB（4 個 2.7TB 固態硬盤）
  - NX6325I-032TF-2P100GQSF，21.6TB（4 個 5.4TB SSD）
帶寬 Rd/Wr (GB/s)：12.0 / 9.0
吞吐量 Rd/Wr (4K) (IOPS)：3.0M / 2.25M
電力
- 450W（典型值）
- 最大峰值功率 800W
輸入/輸出連接
- 2x100Gb/s QSFP 以太網
- 2x100Gb/秒 QSFP 無限帶寬
讀/寫延遲：110uS / 30uS
設備屬性
- 2U 機架安裝 (HxWxD)：3.44 x 17.54 x 26.75 英寸（8.73 x 44.55 x 67.94 厘米）
- 電源電壓：100 至 240 VAC，50/60 Hz – 800W 冗餘電源
- 散熱 (BTU/hr)：3207 BTU/hr（100 VAC 時）、3071 BTU/hr（200 VAC 時）、3112 BTU/hr（240 VAC 時）
- 最大浪湧電流：30A（持續時間 10ms）
- 大約重量：51.5 磅（23.6 千克）完全填充
環境
- 標準操作支持：海平面 10° 至 35°C（50° 至 95°F），海拔高度每 1.0 米（每 305 英尺 1.8°F）降額 1000°C，最高 3050米（10,000 英尺）
- 濕度：非工作時相對濕度 (Rh) 為 5% 至 95%，最大濕球溫度為 38.7°C (101.7°F)，無冷凝
結構協議支持：RDMA over Converged Ethernet (RoCE)、InfniBand、iWARP
客戶端操作系統支持：RHEL、SLES、CentOS、Ubuntu、Windows、VMware ESXi 6.0 (VMDirectPath)
運營管理：CLI、RESTful API、OpenStack Cinder
陣列和 SSD 保修：硬件 5 年；基本軟件 90 天
軟件保修：涵蓋 1 年、3 年、5 年金牌或白金級服務和支持選項

構建和設計

在之前評測過的 NX6320 陣列中，Mangstor 使用了基於戴爾 R730 的平台。這一次，對於 NX6325，他們使用的是 HPE ProLiant DL380 Gen9。雖然從表面上看，此舉似乎是“對等”，但對於希望部署 100Gb 以太網或 Infiniband 的客戶來說，這一變化意義重大，將存儲潛力推向了最大化。 Dell R730 提供 7 個 PCIe 3.0 插槽；四個全高 x16 和三個半高 x8。 HPE DL380 Gen9 只有 6 個 PCIe 3.0 擴展插槽，但使用合適的 PCIe 轉接卡套件，用戶可以創建具有六個全高 x16 插槽的配置。

這種差異很明顯，因為 Mangstor 提供的卡是全高 PCIe SSD，而 100GbE Mellanox ConnectX-4 NIC 是 x16 插槽。在戴爾配置中，用戶必須放下一個 PCIe SSD 才能裝入 100GbE 卡，而在 HPE 配置中，用戶可以同時為系統配備 4 個 PCIe SSD 和兩個 100GbE NIC。這不是關於哪個服務器比另一個更好的爭論，而是關於哪個服務器更適合這種相當獨特的卡組合的分析。 Mangstor 指出，對於希望使用 40Gb 以太網或 56Gb Infiniband 的客戶，NX6320 和 NX6325 產品都提供同等的功能和性能。由於我們在本次評測中測試的是 100Gb 以太網，因此 NX6325 是正確的選擇。

系統性能

每個Sysbench虛擬機器都配置了三個虛擬磁碟：一個用於啟動（約 92GB），一個用於預先建置的資料庫（約 447GB），第三個用於待測資料庫（307GB）。 LUN 平均分配了 90% 的可用儲存空間（11TB），以充分滿足資料庫（253GB）的需求。從系統資源角度來看，我們為每個虛擬機器配置了 16 個虛擬 CPU、60GB DRAM，並使用了 LSI Logic SAS SCSI 控制器。負載產生系統採用Dell R730 伺服器；本次評測中使用了 4 到 8 台伺服器，每 4 個虛擬機器組成一個負載產生群組，伺服器數量也相應增加。

Dell PowerEdge R730 8 節點群集規格

Dell PowerEdge R730 服務器 (x8)
CPU：5 個 Intel Xeon E2690-3 v2.6 12GHz (24C/XNUMXT)
內存：128 x 16GB DDR4 RDIMM
Mellanox ConnectX-4 LX
VMware ESXi 6.0

我們之前對 Mangstor NX6320 的審查利用了 Mellanox ConnectX-3 卡和 OFED ESXi 6.0 驅動程序，其中為每個 VM 分配了一張卡（將我們的規模限制在手頭的 NIC 數量）。 NX6325 的當前迭代與 Mellanox ConnectX-4 LX 卡和最新的 SRIOV 驅動程序允許我們同時與最多 4 個 VM 共享多個虛擬適配器。通過為每台服務器分配一張卡，我們使用此配置允許我們擴展到總共測試 32 個虛擬機。

在 32 個虛擬機的滿負載下，我們看到每台服務器的 CPU 使用率穩定在大約 86%。

Sysbench 測試配置（每個虛擬機）

中央操作系統 6.3 64 位
存儲空間：1TB，已使用 800GB
Percona XtraDB 5.5.30-rel30.1
- 數據庫表：100
- 數據庫大小：10,000,000
- 數據庫線程：32
- 內存緩衝區：24GB
測試時長：3 小時
- 2 小時預處理 32 個線程
- 1 小時 32 個線程

在我們的 Sysbench OLTP 測試中，我們將陣列從 4 個 VM 的小負載到 32 個 VM 的完全飽和點。 Mangstor NX6325 創下了一些令人印象深刻的記錄。對於初學者來說，它在 Sysbench 中提供了非本地附加閃存的最快性能，並且與我們測試過的任何其他產品相比，它提高了兩倍以上的性能。 NX6325 最高達到 38,673 TPS，而現代閃存共享存儲解決方案之前的記錄保持者“僅”達到 17,316 TPS。

查看延遲，我們發現 NX6325 在負載下處理得很好，將整體事務延遲保持在 14.3 個虛擬機的 4 毫秒到 26.6 個虛擬機的 32 毫秒的範圍內。因此，雖然負載增加了 8 倍，但延遲甚至沒有翻倍。

通過我們的第 99 個百分位數字查看邊緣延遲，Mangstor NX6325 在負載下處理得很好。我們看到值隨著整體負載的增加而緩慢增加，但沒有顯著增加。

結語

Mangstor NX6325 NVMe Over Fabrics (NVMf) 共享存儲陣列是首批商用系統之一，可將非常快速的 NVMe 存儲從應用服務器中取出並放入一個盒子中，供整個服務器集群使用. 在這種情況下，我們正在審查的 NX6325 通過由 Mellanox SN10.8 380GbE 交換機和 ConnectX9 LX 適配卡組成的結構，在 HPE ProLiant DL2700 Gen100 中提供高達 4TB 的 NVMe 存儲。最終結果是一個絕對炙手可熱的軟件包，它是實驗室有史以來最快的共享存儲。公平地說，這不能直接與我們見過的其他快速事物（如更傳統的全閃存 SAN）相比較，因此需要弄清楚一些事情。

NVMf 在執行方面仍然是一個非常年輕的概念。就 Mangstor 而言，他們在這條道路上走得很遠，對於對延遲極其敏感的應用程序，結果是驚人的。一些事情仍然需要成熟才能取代 SAN 技術，但對於關鍵工作負載來說，這是一個極好的選擇。與其他 NVMf 解決方案相比，Mangstor 將現有的以太網或 IB 用於結構，使其比某些使用定制硬件的解決方案更具兼容性。同樣重要的是要注意，存儲在此陣列中的呈現方式不提供針對 PCIe SSD 故障的保護。該陣列在 RAID0 中配置，以實現最佳性能和容量。有一些應用程序可以應對這樣的系統，但對於傳統的工作負載，必須強調的是，這個陣列並不是“一刀切”。

查看我們的 Sysbench OLTP 測試中的性能，我們看到了非凡的數字。在 4 個 VM 時，總 TPS 高於大多數陣列提供的總和，或者高於本地連接的 NVMe 閃存可能提供的。通過增加虛擬機數量來增加工作負載，我們看到總體性能繼續攀升，直到它超過最近的閃存共享存儲解決方案兩倍以上。目前我們環境的主要缺點是驅動程序支持，這會阻止它被用作 VMware 共享數據存儲。這帶來了一些挑戰，例如 VM 遷移（綁定到虛擬網絡設備）或客戶操作系統支持，目前以 Linux 為中心。然而，對於能夠解決這些限制的用戶而言，Mangstor NX6325 打開了通往性能水平的大門，幾乎沒有其他競爭解決方案可以與之匹敵。

優點