Supermicro SuperServer 2028U-TNR4T+ 是一款高端服務器,它利用 CSE-219UAC-R1K02 2U 服務器機箱,SC219UAC(4)-R1K02 2U 服務器機箱和 X10DRU-i+ 雙處理器服務器主板子系統位於其中。 與之前的其他 SuperServer 一樣,2028U-TNR4T+ 使用其配備的 8x SATA3 (6Gbps)、24x SAS3 端口支持(通過可選附加卡)和 4x NVMe 插槽,為涉及密集應用程序工作負載的用例提供了極大的靈活性,後者比1028U SuperServer多了兩個。 我們最近利用 2028U-TNR4T+ 來測試 英特爾SSD DC P3700, Memblaze PBlaze4和 三星XS1715 2.5″ NVMe SSD 以及 Huwei ES3000、HGST SN100、Memblaze PBlaze 和 Intel P3608 HHHL AIC 規格 NVMe SSD。
Supermicro SuperServer 2028U-TNR4T+ 是一款高端服務器,它利用 CSE-219UAC-R1K02 2U 服務器機箱,SC219UAC(4)-R1K02 2U 服務器機箱和 X10DRU-i+ 雙處理器服務器主板子系統位於其中。 與之前的其他 SuperServer 一樣,2028U-TNR4T+ 使用其配備的 8x SATA3 (6Gbps)、24x SAS3 端口支持(通過可選附加卡)和 4x NVMe 插槽,為涉及密集應用程序工作負載的用例提供了極大的靈活性,後者比1028U SuperServer多了兩個。 我們最近利用 2028U-TNR4T+ 來測試 英特爾SSD DC P3700, Memblaze PBlaze4和 三星XS1715 2.5″ NVMe SSD 以及 Huwei ES3000、HGST SN100、Memblaze PBlaze 和 Intel P3608 HHHL AIC 規格 NVMe SSD。
NVMe 支持是 2028U-TNR4T+ 的一個巨大賣點,因為越來越多的企業正在採用這項不斷發展的技術,因為它能夠以高速、低延遲的方式直接從 CPU 連接到 NVMe SSD。 此外,由於它直接與 CPU 和 NVMe SSD 之間的 PCI-E 接口,因此它增加了大量的功率來提高吞吐量,同時顯著降低了存儲設備延遲。 2028U-TNR4T+ 配備 24 個內存插槽,可支持高達 768GB 的 DDR4 非易失性 RDIMM 或 1536GB 的 LRDIMM DDR4 內存。 與大多數 Supermicro 服務器一樣,2028U-TNR4T+ 利用已集成到芯片組中的 SATA 控制器,創建了一個十端口 SATA 子系統; 其中六個由 Intel PCH 支持,而其他四個由 Intel SCU 支持。
我們為 SuperServer 2028U-TNR4T+ 配置了 768GB Crucial DDR4 RAM (32GB x 24) 和兩個帶有 Supermicro AOC-S5L-L2697i HBA 的 Intel E3-3008v8 CPU,以啟用 24 個 SAS3 托架,跳過 SATA 配置選項。 我們還將通過 AOC-4URN10-i2XT 利用 4 個 4GBase-T 端口。 為了展示 SuperServer 的性能,我們將參考上面提到的最近評論的 NVMe SSD。
Supermicro SuperServer 2028U-TNR4T+ 規格
- 主板:Super X10DRU-i+
- 中央處理器:
- 英特爾至強處理器 E5-2600 v3 系列(高達 160W TDP)
- 雙插座 R3 (LGA 2011)
- 內核/緩存:最多 18 個內核/最多 45MB 緩存
- 系統總線:QPI 高達 9.6 GT/s
- 系統內存
- 內存容量:
- 24 個 288 針 DDR4 DIMM 插槽
- 高達 1.5TB ECC LRDIMM、RDIMM
- 內存類型:2133/1866/1600MHz ECC DDR4 SDRAM 72 位
- DIMM 大小:64GB、32GB、16GB、8GB、4GB
- 內存電壓:1.2 V
- 錯誤檢測:糾正單位錯誤
- 內存容量:
- 車載設備
- 芯片組:Intel C612芯片組
- SATA:SATA3 (6Gbps),帶 RAID 0、1、5、10
- IPMI:
- 支持智能平台管理界面 v.2.0
- IPMI 2.0,支持 LAN 上的虛擬媒體和 KVM-over-LAN 支持
- ASPEED AST2400 生物醫學中心
- 網絡連接
- 4 個 10GBase-T 端口,通過 AOC-2URN4-i4XT
- 英特爾 X540 10GBase-T
- 1x Realtek RTL8211E PHY(專用 IPMI)
- 顯卡:ASPEED AST2400 BMC
- 輸入/輸出
- SATA:8 個 SATA3 (6Gbps) 端口
- SAS:通過可選的附加卡支持 24 個 SAS3 端口
- NVMe:4 個 NVMe 端口
- 局域網:
- 4 個 RJ45 10GBase-T 局域網端口
- 1x RJ45 專用 IPMI LAN 端口
- USB:5 個 USB 3.0 端口(2 個後置端口,2 個板載接頭連接器,1 個 A 型端口)
- 視頻:1 個 VGA 連接器
- 串行端口/接頭:1x 串行接頭
- DOM:2 個 SuperDOM(模塊上的磁盤)端口
- 系統BIOS:
- BIOS 類型:帶 AMI BIOS 的 128Mb SPI 閃存 EEPROM
- BIOS特點:
- 即插即用(PnP)
- APM 1.2
- PCI 2.3
- ACPI 1.0 / 2.0 / 3.0 / 4.0
- USB 鍵盤支持
- SMBIOS 2.7.1
- UEFI 2.3.1
- 管理:
- 軟件:
- 超級博士 5
- 英特爾節點管理器 3.0
- 看門狗
- 國家情報局
- SMCBU 和 SMM
- 可選 IPMI 1.5 / 2.0
- 軟件:
- 電源配置:
- ACPI電源管理
- 用於交流電源恢復的開機模式
- 底盤:
- 外形:2U 機架式
- 型號:CSE-219UAC-R1K02
- 尺寸和重量:
- 寬度:17.2“(437mm)
- 高度:3.5“(89mm)
- 深度:27.76 英寸(705.3 毫米)
- 重量:
- 淨重:36 磅(16.4 公斤)
- 毛重:72 磅(32.7 千克)
- 前面板
- 按鈕:
- 電源開/關按鈕
- 系統重置按鈕
- LED指示燈:
- 電源狀態LED
- 硬盤活動指示燈
- 2 個網絡活動 LED
- 系統信息(過熱/UID)LED
- 按鈕:
- 擴展插槽
- PCI-Express:6x PCI-E 3.0 x8 插槽(4x FH,10.5″ L,1x LP,1x Internal LP)
- 驅動器托架(熱插拔):
- 24 個 2.5 英寸熱插拔驅動器托架
- 默認 8 個 SATA3 端口和 4 個 NVMe 端口
- 通過 AOC 的可選 24x SAS3 端口
- 風扇:4x 8cm 重型 PWM 風扇
- 帶數字開關控制的電源:
- 0W 冗餘鈦金級 (96%) 單輸出電源
- 交流輸入:
- 100-127 V,50-60赫茲
- 200-240 V,50-60赫茲
- +12V:
- 最大值:62.5A & 最小值:0A (100Vac-127Vac)
- 最大值:83A (200Vac-240Vac) & 最小值:0A
- 12V 安全帶:
- 最大值:2.1A
- 最小值:0A
設計和建造
Supermicro SuperServer 2028U-TNR4T+ 是一個 2U 外形結構,帶有 24 個熱插拔 2.5" SAS/SATA 驅動器托架; 8 個 SATA3 端口和 4 個 NVMe 端口以及通過 AOC 提供的可選 24 個 SAS3 端口。 這無疑是一台堅固耐用的服務器,可以承受一路上的任何顛簸。
控制面板位於服務器的前側,位於機箱的外邊緣,電源和重置按鈕位於此處。 控制面板 LED 也位於機箱左側,包括信息 LED,它提醒操作員幾種狀態,NIC1 和 NIC2 LED,閃爍時指示 GLAN2 上的網絡活動; 電源 LED,指示何時向系統電源單元供電; 和 HDD LED,當它閃爍時指示硬盤驅動器上的 IDE 通道活動。 此外,每個驅動器托架的正面都有兩個狀態 LED。
各種擴展卡插槽位於後面板,包括雙寬、全高、全長和全高、全長。 I/O 端口包括 2 個 USB 3.0 端口、IPMI_dedicated LAN 端口、COM 端口和一個 VGA 端口。 Supermicro 表示有幾種可能的網絡配置,具體取決於預裝的 Ultra 轉接卡。 此外,後面板顯示了兩個獨立的電源模塊,用於電源冗餘。 這允許在 IT 更換故障電源模塊時無需關閉服務器即可繼續運行。
要卸下機箱蓋,只需鬆開機箱蓋背面的一顆螺絲,即可輕鬆滑下。 Supermicro 以其有條理的組件佈局而聞名,2028U-TNR4T+ 的 SUPER X10DRU-i+ 主板也不例外。 最右側包括各種 SATA 端口,部分被機箱那一側的 NVMe 佈線所阻擋。
服務器主板在 LGA5 插槽(插槽 R2600)中顯示了雙英特爾 E3-2011v3 系列處理器以及 24 個內存插槽,支持高達 768GB 的 ECC 註冊 DDR4-1600/1333/1066/800 非易失性 RDIMM 或 1536GB 的 LRDIMM DDR4 -2133/1866/1600/1333 內存。
應用程序工作負載分析
我們的第一個基準包括 通過 SysBench 的 MySQL OLTP 性能 Microsoft SQL Server OLTP 性能 具有模擬的 TPC-C 工作負載。 對於我們的應用程序工作負載,每個驅動器將運行 4 個配置相同的虛擬機。
存儲評論的 Microsoft SQL Server OLTP 測試協議 採用事務處理性能委員會基準 C (TPC-C) 的當前草案,這是一種在線事務處理基準,模擬複雜應用程序環境中的活動。 TPC-C 基準比綜合性能基準更接近於衡量數據庫環境中存儲基礎設施的性能優勢和瓶頸。 我們用於本次審查的 SQL Server 協議測量了 15,000 個虛擬用戶負載下的事務性能和延遲。
二代SQL Server OLTP基準工廠LoadGen設備
- Dell PowerEdge R730 VMware ESXi vSphere 虛擬客戶端主機 (2)
- 集群中 5 個 2690GHz Intel E3-124 v2.6 CPU(每個節點兩個,12GHz,30 核,XNUMXMB 緩存)
- 512GB RAM(每個節點 256GB,16GB x 16 DDR4,每個 CPU 128GB)
- SD 卡引導 (Lexar 16GB)
- 2 個 Mellanox ConnectX-3 InfiniBand 適配器(用於 vMotion 和 VM 網絡的 vSwitch)
- 2點¯x Emulex 16GB 雙端口 FC HBA
- 2點¯x Emulex 10GbE 雙端口網卡
- VMware ESXi vSphere 6.0 / Enterprise Plus 4-CPU
- Supermicro SuperServer 2028U-TNR4T+ 虛擬化 SQL 主機
- 兩個 5GHz 的 Intel E2699-3 v83 CPU(2.3GHz,18 核,45MB 緩存)
- 768GB 內存(32GB x 24 Crucial DDR4,每個 CPU 384GB)
- VMware ESXi vSphere 6.0 / Enterprise Plus 2-CPU
在查看 SQL Server 輸出時,2028U-TNR4T+ 憑藉英特爾 DC SSD P3700 驅動器展現了其最高性能,記錄了 3,157.341 TPS 的總和,而單個 VM 的範圍從 3,157.469 TPS 到 3,157.143 TPS。 Memblaze 驅動器也有出色的性能,最高 TPS 為 3,157.235,總計為 3,157.112 TPS。
查看 15k 用戶 SQL Server 基準測試期間的平均延遲結果顯示 2028U-TNR4T+ 三星和英特爾 SSD 的記錄令人印象深刻,兩者均為 7.0 毫秒。
Supermicro SuperServer 2028U-TNR4T+ 虛擬化 Sysbench 主機
- 兩個 5GHz 的 Intel E2699-3 v83 CPU(2.3GHz,18 核,45MB 緩存)
- 768GB 內存(32GB x 24 Crucial DDR4,每個 CPU 384GB)
- VMware ESXi vSphere 6.0 / Enterprise Plus 2-CPU
聯機事務處理平台 基準運行在 Percona MySQL 之上,利用在 CentOS 安裝中運行的 InnoDB 存儲引擎。 為了使我們對傳統 SAN 的測試與較新的超融合設備保持一致,我們已將許多基準測試轉移到更大的分佈式模型。 主要區別在於,我們現在不是在裸機服務器上運行一個基準測試,而是在虛擬化環境中運行該基準測試的多個實例。 利用多個 NVMe SSD,我們在 4U-TNR2028T+ 上部署了 4 個 Sysbench VM,並測量了主機上同時運行的總體性能。
在平均每秒事務處理基準測試中,2028U-TNR4T+ 在英特爾固態盤 DC P3700 上表現最佳,總性能達到令人印象深刻的 5,779.7 TPS。 然而,Memblaze 配置也不甘落後,因為它擁有 5,717.2 的頂級 TPS 性能。
在查看 2028U-TNR4T+ 的平均延遲時,英特爾再次以 22.15 毫秒的總延遲展示了最佳結果,而單個虛擬機的運行時間在 21.80 毫秒到 22.37 毫秒之間。
就我們最壞情況下的 MySQL 延遲情況(第 99 個百分位延遲)而言,在使用英特爾驅動器時實現了最高性能,其令人印象深刻的總計僅為 45.97 毫秒。
企業綜合工作負載分析
在測試這個服務器時,我們將使用 英特爾SSD DC P3700, Memblaze PBlaze4和 三星XS1715 2.5″ NVMe SSD 以及 Huwei ES3000、HGST SN100、Memblaze PBlaze 和 Intel P3608 HHHL AIC 規格 NVMe SSD。 英特爾 P3600 NVMe SSD 正在單驅動器和雙驅動器配置中進行測試。 在雙驅動器得分中,兩個驅動器的結果被匯總以提供總性能。
在啟動每個 fio 綜合基準測試之前,我們的實驗室在 16 個線程的重負載下將設備預先調節到穩定狀態,每個線程有 16 個未完成隊列。 然後使用多個線程/隊列深度配置文件以設定的時間間隔測試存儲,以顯示輕度和重度使用情況下的性能。
預處理和初級穩態測試:
- 吞吐量(讀+寫 IOPS 聚合)
- 平均延遲(讀+寫延遲一起平均)
- 最大延遲(峰值讀取或寫入延遲)
- 延遲標準偏差(讀+寫標準偏差一起平均)
該綜合分析包含四種配置文件,這些配置文件廣泛用於製造商規範和基準測試:
- 4k – 100% 讀取和 100% 寫入
- 8k – 100% 讀取和 100% 寫入
- 8k – 70% 讀取/30% 寫入
- 128k – 100% 讀取和 100% 寫入
在主要的 4k 綜合基準測試中,2028U-TNR4T+ 在裝有 Memblaze 驅動器時顯示最高讀取 IOPS 為 717,172。 該服務器還達到了 172,672 次 IOPS 寫入的最高值,這是使用 Intel P3700 驅動器時出現的。 查看我們的 HHHL 驅動器的峰值性能顯示出更高的性能,因為英特爾 P3608 擁有 851,693 IOPS。
當查看 2028U-TNR4T+ 與我們的 2.5 英寸驅動器測試的平均延遲時,它顯示通過 Memblaze NVMe 驅動器讀取僅為 0.36 毫秒,而使用英特爾 P1.48 記錄的平均寫入延遲最高為 3700 毫秒。 查看 HHHL 驅動器,再次使用 Intel P3608 驅動器時記錄了最高讀取速度,讀取時間僅為 0.30 毫秒。
在我們的下一個工作負載中,我們重新調整服務器以進行順序 8k 傳輸,以測量 NVMe 驅動器的性能,負載為 16 個線程,隊列深度為 16,用於 100% 讀取和 100% 寫入操作。 在此基準測試中,在整個測試過程中,Supermicro 服務器在使用英特爾驅動器的情況下表現出最佳性能,直到最後,Memblaze 在最後一個隊列深度處脫穎而出,達到超過 166,250 IOPS。 在 HHHL 驅動器中,華為 ES3000 3.2TB 驅動器表現出最佳性能,在終端中達到近 300,000 IOPS。
在平均延遲方面,2028U-TNR4T+ 服務器在 Intel 和 Memblaze 2.5" 驅動器上表現出色,兩者並駕齊驅直到最後,範圍大約為 0.2 毫秒到 1.6 毫秒。 在使用 HHL 驅動器時查看 2028U-TNR4T+ 顯示出更好的性能,華為 ES3000 3.2TB 型號的峰值不到 0.9 毫秒。
結論
作為 2U Ultra SuperServer 系列的一部分,Supermicro 的 2028U-TNR4T+ 是一款功能強大的存儲解決方案,具有 24 個可熱插拔的 2.5 英寸驅動器托架,包括通過可選附加卡支持的 24 個 SAS3 端口。 219U-TNR1T+ 位於 CSE-02UAC-R2K2028 4U 機箱內,利用 X10DRU-i+ 雙處理器服務器主板作為設備的主要子系統。 該服務器還配備了四個 NVMe 驅動器托架,這對於希望利用這種強大的低延遲技術的企業買家來說非常有吸引力。 此外,2028U-TNR4T+ 配備 24 個 DIMM 插槽,可容納高達 768GB 的 DDR4 非易失性 RDIMM 或 1536GB 的 LRDIMM DDR4 內存。
為了測試其性能,我們為 SuperServer 配備了 768GB 的 Crucial DDR4 RAM (32GB x 24) 和兩個帶有 Supermicro AOC-S5L-L2699i HBA 的 Intel E3-3008v8 CPU,以啟用 24 個 SAS3 托架。 我們還在其中填充了三組不同的 NVMe SSD:Intel SSD DC P3700、Memblaze PBlaze4 和 Samsung XS1715,分別對每一種進行了分析。 毫不奇怪,NVMe 驅動器的組合 2028U-TNR4T+ SuperServer 擁有巨大的吞吐量和極低的延遲。 在我們的 100% 讀取和 100% 寫入 4k 工作負載基準測試中,配備 Memblaze 驅動器的 2028U-TNR4T+ 顯示最高讀取 IOPS 為 717,172。 當使用 16 個線程的負載和 16 個隊列深度進行 100% 讀取和 100% 寫入操作時,2028U-TNR4T+ 在服務器中擁有 166,250 IOPS 的峰值(也使用 Memblaze NVMe SSD)。
最終,Supermicro 為企業提供了一個非常密集的服務器平台,以及業界最高水平的性能、效率、安全性和可擴展性之一。 無論存儲接口偏好如何,2028U-TNR4T+ 都能為購買者提供支持,範圍從用於容量的 SAS3 HDD/SSD、用於熱插拔低延遲性能的 2.5 英寸 NVMe 到 AIC 外形規格中提供的傳統 PCIe 閃存。
優點
- 滿載大量高性能存儲潛力
- 四個 2.5 英寸 NVMe 托架
- 可選的四通道 10GbE 以及集成的 SAS3 支持
缺點
- LP 內部 PCIe 插槽不適合某些接口卡
底線
Supermicro SuperServer 2028U-TNR4T+ 以性能為導向,支持 2.5 英寸驅動器托架中的 NVMe 以及 AIC 外形規格。 然而,該服務器還支持 SAS 和 SATA,這使公司能夠利用他們當前的存儲投資,同時為新技術提供未來保障。
Supermicro SuperServer 2028U-TNR4T+ 產品頁面
討論這篇評論