Mangstor NX 系列全閃存陣列 (AFA) 是一系列設備，旨在將 NVMe 的性能和低延遲優勢帶入共享存儲環境。 共享存儲當然不是新事物，但能夠在共享環境中利用 NVMe 的優勢卻是新事物。 從概念上講，NVMe over Fabrics 發揮了僅限於服務器內使用的同類最佳 SSD 的強大功能，並通過高速網絡（以太網或 Infiniband）共享它們。 具體而言，Mangstor NX6320 使用具有 RDMA 網絡訪問的 NVMe over Fabrics，以便為延遲敏感型應用程序提供性能優勢。 這種可擴展存儲有多個用例，包括關鍵應用程序、數據庫和 HPC。
Mangstor NX 系列全閃存陣列 (AFA) 是一系列設備，旨在將 NVMe 的性能和低延遲優勢帶入共享存儲環境。 共享存儲當然不是新事物，但能夠在共享環境中利用 NVMe 的優勢卻是新事物。 從概念上講，NVMe over Fabrics 發揮了僅限於服務器內使用的同類最佳 SSD 的強大功能，並通過高速網絡（以太網或 Infiniband）共享它們。 具體而言，Mangstor NX6320 使用具有 RDMA 網絡訪問的 NVMe over Fabrics，以便為延遲敏感型應用程序提供性能優勢。 這種可擴展存儲有多個用例，包括關鍵應用程序、數據庫和 HPC。
Mangstor NX6320 的主要優勢在於它能夠跨網絡共享 NVMe 存儲設備，作為許多服務器的直連塊存儲。 服務器獲得本地存儲的速度和低延遲，而無需在每台服務器中安裝 NVMe SSD。 這種能力為管理員提供了集中管理和可服務性。
NX6320 基於 Mangstor 的軟件可配置 MX6300 NVMe 固態硬盤 結合其 TITAN 存儲堆棧。 我們之前評測過的 MX6300 與其他 SSD 明顯不同，因為它允許用戶配置其控制器以優化 NAND 的使用，從而降低功耗。 TITAN 存儲軟件能夠採用行業標準服務器，並使用 MX6300 NVMe SSD 將它們轉換為全閃存存儲陣列。 TITAN 還可以結合 NVMe、RDMA 和多核技術來提供 Mangstor 所說的無與倫比的塊存儲訪問帶寬和延遲。 為此，TITAN 優化了從網絡到 MX6300 的路徑，減少了 CPU 開銷。
Mangstor NX6320規格
- 外形尺寸：2U
- 容量：8TB | 12TB | 16TB | 32TB
- 帶寬 Rd/Wr (GB/s)：6.0 / 4.5 | 9.0 / 6.75 | 12.0 / 9.0 | 12.0 / 9.0
- 吞吐量 Rd/Wr (4K) (IOPS)：1.5 M / 1.1 M | 2.25 萬 / 1.67 萬 | 3.0 米 / 2.25 米 | 3.0 米 / 2.25 米
- 讀/寫延遲：110 uS / 30 uS
- 輸入/輸出連接
- 2×40/56Gb/s QSFP 以太網，2x40Gb/s QSFP InfiniBand | 4×40/56Gb/s QSFP 以太網，4x40Gb/s QSFP InfiniBand
- 結構協議支持
- 融合以太網上的RDMA（RoCE）
- InfiniBand
- iWARP
- 客戶端操作系統驅動程序支持
- RHEL
- SLES
- CentOS的
- Ubuntu
- Windows
- VMware ESXi 5.5/6.0 (VMDirectPath)
- 環境建議
- 入口溫度 10 – 35°C (50 – 95°F)
- 海拔高度：0 至 7,500 英尺
- 濕度：5-95%（非冷凝）
- 質保：硬件5年； 基本軟件 90 天
- 功率：350 瓦 | 400 瓦 | 450 瓦 | 450 瓦
構建和設計
在明亮的藍色表圈下，Mangstor 利用 戴爾 PowerEdge 13G R730 作為 NX6320 的支柱。 當然，利用第 1 層服務器有其優勢，包括強大的硬件兼容性和驅動程序資格，以及用於大規模部署的 iDRAC 等管理選項。
定制邊框下方是人們對 Poweredge R730 的期望。 設備正面有視頻連接器、信息標籤、vFlash 媒體卡插槽、USB 連接器和 USB 管理端口/iDRAC Direct。 電源按鈕（和開機指示燈）和 NMI 按鈕也存在，後者用於在運行某些操作系統時排除軟件和設備驅動程序錯誤。 佔據前面板大部分的是驅動器托架，Mangstor 將能夠在未來的產品發布中使用這些托架來增加容量。
從左到右，後面板包括系統識別按鈕、系統識別連接器和 iDRAC8 Enterprise 端口。 PCIe 插槽也可見，在我們的配置中包括各種 Mellanox 以太網 NIC 選項（40G 和 100G），以及三個 MX6300 系列 NVMe SSD。 串行、視頻 (VGA) 和 2 個 USB 連接器也存在，而四個以太網連接器提供 10/100/1000 Mbps NIC 連接。
系統性能
為了測量 Mangstor 的 NX12 NVMe over Fabrics 全閃存陣列的 6320TB 版本的性能，我們利用了戴爾 PowerEdge 13G R730 計算集群。 每台服務器都有四個 Mellanox ConnectX-3 Pro NIC 卡，在 ESXI 6.0 中配置為直通模式，並連接到我們的 Sysbench 基準測試環境中的特定虛擬機。 本次測試提供了強大的驅動支持，所以我們重點進行了性能測試。
在我們的測試佈局中，我們測試了 8 個 Sysbench VM 的靜態配置。 雖然 NX6320 陣列在容量和性能方面可以輕鬆支持更多，但直通模式下的 Mellanox ConnectX-3 Pro NIC OFED ESXi 6.0 驅動程序支持僅支持將一個物理 NIC 鏈接到一個 VM。 實驗室中只有 8 個 ConnectX-3 Pro NIC，我們支持的最大配置是 8 個虛擬機。 Mellanox 和 Mangstor 正在致力於 ConnectX-4 OFED ESXi 6.0 驅動程序支持，其中一張卡可以在直通模式下支持多個虛擬 NIC，從而進一步提高 VM 密度。 但在審查時，驅動程序尚未最終確定。
Dell PowerEdge R730 2 節點群集規格
- Dell PowerEdge R730 服務器 (x2)
- CPU：八個 Intel Xeon E5-2690 v3 2.6GHz (12C/24T)
- 內存：32 x 16GB DDR4 RDIMM
- Mellanox ConnectX-3 Pro
- VMware ESXi 6.0
對於此測試，我們以相同方式配置了 8 個虛擬機，並查看了單個分數和總分數。 每個 Sysbench VM 配置了三個虛擬磁盤，一個用於啟動 (~92GB)，一個用於預構建數據庫 (~447GB)，第三個用於測試中的數據庫 (400GB)。 第三個 vDisk 是共享的 NVMe 塊存儲設備。
Sysbench 測試配置（每個虛擬機）
- 中央操作系統 6.3 64 位
- 存儲空間：1TB，已使用 800GB
- Percona XtraDB 5.5.30-rel30.1
- 數據庫表：100
- 數據庫大小：10,000,000
- 數據庫線程：32
- 內存緩衝區：24GB
- 測試時長：3 小時
- 2 小時預處理 32 個線程
- 1 小時 32 個線程
我們的 Sysbench 測試測量平均 TPS（每秒事務數）、平均延遲以及在 99 個線程的峰值負載下的平均 32% 延遲。 查看每秒縮放的事務，Mangstor NX6320 的單個虛擬機運行大約 1,600 TPS（運行在 1,579 到 1,600 TPS 之間）。 NX6320 的總成績為 12,722 TPS。
從平均延遲來看，NX6320 在整個過程中的運行時間相當穩定，大約為 20 毫秒（從 20.00 毫秒到 20.27 毫秒不等）。 不出所料，總分也非常穩定，低至 20.12 毫秒。
就我們最糟糕的 MySQL 延遲情況（第 99 個百分位延遲）而言，NX6320 再次提供了強大且一致的性能，這次落在 35 毫秒和 37 毫秒之間（從 35.94 毫秒運行到 36.72 毫秒）。 總分36.20ms
結論
Mangstor NX6320 是一款 2U 全閃存陣列，可為共享存儲環境帶來本地 NVMe 的性能和延遲優勢。 為了看到這些性能和延遲方面的改進，Mangstor 利用了自己的 MX6300 NVMe SSD 和 TITAN 軟件。 結合這兩種技術使 Mangstor 能夠優化其係統以獲得更高的性能和更低的延遲。 Mangstor 聲稱 NX6320-16TB 版本具有更高的單陣列性能，並且隨著額外陣列的添加而繼續擴展性能。 然而，這並非沒有一些妥協，目前與傳統存儲解決方案相比，NVMe over Fabrics 解決方案（例如 Mangstor）的缺點是驅動程序支持有限。 雖然支持與日俱增，但還有更多工作要做。 這種 NVMe over Fabrics 的實現還需要付出更多努力才能集成到生產環境中。
在性能方面，我們在 NX6320 12TB 版本上運行了 Sysbench 應用程序測試，並將存儲配置給八個相同的虛擬機。 在整個測試過程中，NX6320 在單個 VM 性能以及跨 VM 組的一致性方面超出了我們的預期。 NX6320 在 8 個虛擬機上提供了行業領先的性能，比我們迄今為止測試過的最接近的閃存陣列具有 2 倍的優勢。 從吞吐量來看，每個虛擬機的運行速度約為 1,600 TPS，總得分為 12,722 TPS。 從正確的角度來看，我們通常看到 8VM 虛擬化 Sysbench 測試的上限低於每台 VM 1,000 TPS。 到目前為止，超越這一點的唯一方法是利用本地 NVMe 或 SAS3 SSD，這當然缺乏在不對性能造成重大影響的情況下輕鬆共享的能力。 在我們的縮放平均延遲測試中，NX6320 在所有 VM 和總分上的延遲僅變化 0.27 毫秒。 在我們最壞的情況下（第 99 個百分點的延遲），NX6320 再次提供了一致的分數，這次從最低到最高僅相差 0.78 毫秒。
歸根結底，NVMe over Fabrics 仍處於早期階段。 該測試顯示了早期的潛力，但還有更多的潛力。 驅動程序的開發繼續穩步進行，像 Mellanox 這樣的供應商正在投資以期看到積極的結果和更廣泛地接受更快的互連。 與 Mellanox 100GbE ConnectX-4 搭配使用的 NX 系列將很快面世，這將允許擴展到更高的 VM 數量和更好的整體可擴展性。
優點
- 迄今為止在共享存儲中看到的最佳性能
- Sysbench 測試中一致的低延遲
缺點
- 有限的驅動程序支持，但隨著時間的推移正在改善
底線
Mangstor NX6320 在 2U 外形中引入 NVMe over Fabrics，為各種對延遲高度敏感的應用程序和用例提供高性能和低延遲。
