Supermicro SuperServer 2028U-TNR4T+ 评测

by StorageReview 企业实验室 on 2015 年 12 月 16 日

企业版 ◇ 服务器

Supermicro SuperServer 2028U-TNR4T+ 是一款高端服务器，它采用 CSE-219UAC-R1K02 2U 服务器机箱，该机箱内包含 SC219UAC(4)-R1K02 2U 服务器机箱和 X10DRU-i+ 双处理器服务器主板子系统。与之前的 SuperServer 系列产品一样，2028U-TNR4T+ 凭借其配备的 8 个 SATA3 (6Gbps) 接口、通过可选扩展卡支持 24 个 SAS3 接口以及 4 个 NVMe 插槽（比 1028U SuperServer 多两个），为处理高强度应用工作负载提供了极大的灵活性。我们最近利用 2028U-TNR4T+ 测试了Intel SSD DC P3700、Memblaze PBlaze4和Samsung XS1715 2.5 英寸 NVMe SSD，以及 Huwei ES3000、HGST SN100、Memblaze PBlaze 和 Intel P3608 HHHL AIC 外形尺寸 NVMe SSD。

NVMe 支持是 2028U-TNR4T+ 的一个巨大卖点，因为越来越多的企业正在采用这项不断发展的技术，因为它能够以高速、低延迟的方式直接从 CPU 连接到 NVMe SSD。此外，由于它直接与 CPU 和 NVMe SSD 之间的 PCI-E 接口，因此它增加了大量的功率来提高吞吐量，同时显着降低了存储设备延迟。 2028U-TNR4T+ 配备 24 个内存插槽，可支持高达 768GB 的 DDR4 非易失性 RDIMM 或 1536GB 的 LRDIMM DDR4 内存。与大多数 Supermicro 服务器一样，2028U-TNR4T+ 利用已集成到芯片组中的 SATA 控制器，创建了一个十端口 SATA 子系统；其中六个由 Intel PCH 支持，而其他四个由 Intel SCU 支持。

我们为 SuperServer 2028U-TNR4T+ 配置了 768GB Crucial DDR4 RAM (32GB x 24) 和两个带有 Supermicro AOC-S5L-L2697i HBA 的 Intel E3-3008v8 CPU，以启用 24 个 SAS3 托架，跳过 SATA 配置选项。我们还将通过 AOC-4URN10-i2XT 利用 4 个 4GBase-T 端口。为了展示 SuperServer 的性能，我们将参考上面提到的最近评论的 NVMe SSD。

Supermicro SuperServer 2028U-TNR4T+ 规格

主板：Super X10DRU-i+
CPU：
- 英特尔至强处理器 E5-2600 v3 系列（高达 160W TDP）
- 双插座 R3 (LGA 2011)
内核/缓存：最多 18 个内核/最多 45MB 缓存
系统总线：QPI 高达 9.6 GT/s
系统内存
- 内存容量：
  - 24 个 288 针 DDR4 DIMM 插槽
  - 高达 1.5TB ECC LRDIMM、RDIMM
- 内存类型：2133/1866/1600MHz ECC DDR4 SDRAM 72 位
- DIMM 大小：64GB、32GB、16GB、8GB、4GB
- 内存电压：1.2 V
- 错误检测：纠正单位错误
车载设备
- 芯片组：Intel C612芯片组
- SATA：SATA3 (6Gbps)，带 RAID 0、1、5、10
- IPMI：
  - 支持智能平台管理界面 v.2.0
  - IPMI 2.0，支持 LAN 上的虚拟媒体和 KVM-over-LAN 支持
  - ASPEED AST2400 生物医学中心
网络连接
- 4 个 10GBase-T 端口，通过 AOC-2URN4-i4XT
- 英特尔 X540 10GBase-T
- 1x Realtek RTL8211E PHY（专用 IPMI）
显卡：ASPEED AST2400 BMC
输入/输出
- SATA：8 个 SATA3 (6Gbps) 端口
- SAS：通过可选的附加卡支持 24 个 SAS3 端口
- NVMe：4 个 NVMe 端口
- 局域网：
  - 4 个 RJ45 10GBase-T 局域网端口
  - 1x RJ45 专用 IPMI LAN 端口
- USB：5 个 USB 3.0 端口（2 个后置端口，2 个板载接头连接器，1 个 A 型端口）
- 视频：1 个 VGA 连接器
- 串行端口/接头：1x 串行接头
- DOM：2 个 SuperDOM（模块上的磁盘）端口
系统BIOS：
- BIOS 类型：带 AMI BIOS 的 128Mb SPI 闪存 EEPROM
- BIOS特点：
  - 即插即用（PnP）
  - APM 1.2
  - PCI 2.3
  - ACPI 1.0 / 2.0 / 3.0 / 4.0
  - USB 键盘支持
  - BIOS 2.7.1
  - UEFI 2.3.1
管理：
- 软件：
  - 超级博士 5
  - 英特尔节点管理器 3.0
  - 看门狗
  - NMI
  - SMCBU 和 SMM
  - 可选 IPMI 1.5 / 2.0
电源配置：
- ACPI电源管理
- 交流电源恢复的开机模式
底盘：
- 外形：2U 机架式
- 型号：CSE-219UAC-R1K02
尺寸和重量：
- 宽度：17.2“（437mm）
- 高度：3.5“（89mm）
- 深度：27.76 英寸（705.3 毫米）
重量：
- 净重：36 磅（16.4 公斤）
- 毛重：72 磅（32.7 千克）
控制面板
- 纽扣：
  - 电源开/关按钮
  - 系统重置按钮
- LED指示灯：
  - 电源状态LED
  - 硬盘活动指示灯
  - 2 个网络活动 LED
  - 系统信息（过热/UID）LED
扩展插槽
- PCI-Express：6x PCI-E 3.0 x8 插槽（4x FH，10.5″ L，1x LP，1x Internal LP）
驱动器托架（热插拔）：
- 24 个 2.5 英寸热插拔驱动器托架
- 默认 8 个 SATA3 端口和 4 个 NVMe 端口
- 通过 AOC 的可选 24x SAS3 端口
风扇：4x 8cm 重型 PWM 风扇
带数字开关控制的电源：
- 0W 冗余钛金级 (96%) 单输出电源
- 交流输入：
  - 100-127 V，50-60 Hz
  - 200-240 V，50-60 Hz
- +12V：
  - 最大值：62.5A & 最小值：0A (100Vac-127Vac)
  - 最大值：83A (200Vac-240Vac) & 最小值：0A
- 12V 安全带：
  - 最大值：2.1A
  - 最小值：0A

设计和建造

Supermicro SuperServer 2028U-TNR4T+ 是一个 2U 外形结构，带有 24 个热插拔 2.5" SAS/SATA 驱动器托架； 8 个 SATA3 端口和 4 个 NVMe 端口以及通过 AOC 提供的可选 24 个 SAS3 端口。这无疑是一台坚固耐用的服务器，可以承受一路上的任何颠簸。

控制面板位于服务器的前侧，位于机箱的外边缘，电源和重置按钮位于此处。控制面板 LED 也位于机箱左侧，包括信息 LED，它提醒操作员几种状态，NIC1 和 NIC2 LED，闪烁时指示 GLAN2 上的网络活动；电源 LED，指示何时向系统电源单元供电；和 HDD LED，当它闪烁时指示硬盘驱动器上的 IDE 通道活动。此外，每个驱动器托架的正面都有两个状态 LED。

各种扩展卡插槽位于后面板，包括双宽、全高、全长和全高、全长。 I/O 端口包括 2 个 USB 3.0 端口、IPMI_dedicated LAN 端口、COM 端口和一个 VGA 端口。 Supermicro 表示有几种可能的网络配置，具体取决于预装的 Ultra 转接卡。此外，后面板显示了两个独立的电源模块，用于电源冗余。这允许在 IT 更换故障电源模块时无需关闭服务器即可继续运行。

要卸下机箱盖，只需松开机箱盖背面的一颗螺丝，即可轻松滑下。 Supermicro 以其有条理的组件布局而闻名，2028U-TNR4T+ 的 SUPER X10DRU-i+ 主板也不例外。最右侧包括各种 SATA 端口，部分被机箱那一侧的 NVMe 布线所阻挡。

服务器主板在 LGA5 插槽（插槽 R2600）中显示了双英特尔 E3-2011v3 系列处理器以及 24 个内存插槽，支持高达 768GB 的 ECC 注册 DDR4-1600/1333/1066/800 非易失性 RDIMM 或 1536GB 的 LRDIMM DDR4 -2133/1866/1600/1333 内存。

应用程序工作负载分析

我们首先测试了MySQL OLTP的性能（通过SysBench测试）和Microsoft SQL Server OLTP的性能（使用模拟的TPC-C工作负载）。对于我们的应用程序工作负载，每个硬盘将运行4个配置完全相同的虚拟机。

StorageReview 的Microsoft SQL Server OLTP 测试协议采用事务处理性能委员会 (TPPC) 基准测试 C (TPC-C) 的最新草案。TPC-C 是一款在线事务处理基准测试，能够模拟复杂应用环境中的各种活动。与合成性能基准测试相比，TPC-C 基准测试更能准确地评估数据库环境中存储基础架构的性能优势和瓶颈。本次评测中，我们的 SQL Server 协议在 15,000 个虚拟用户的负载下测量事务性能和延迟。

二代SQL Server OLTP基准工厂LoadGen设备

Dell PowerEdge R730 VMware ESXi vSphere 虚拟客户端主机 (2)
- 集群中 5 个 2690GHz Intel E3-124 v2.6 CPU（每个节点两个，12GHz，30 核，XNUMXMB 缓存）
- 512GB RAM（每个节点 256GB，16GB x 16 DDR4，每个 CPU 128GB）
- SD 卡引导 (Lexar 16GB)
- 2 个 Mellanox ConnectX-3 InfiniBand 适配器（用于 vMotion 和 VM 网络的 vSwitch）
- 2点¯x Emulex 16GB 双端口 FC HBA
- 2点¯x Emulex 10GbE 双端口网卡
- VMware ESXi vSphere 6.0 / Enterprise Plus 4-CPU
Supermicro SuperServer 2028U-TNR4T+ 虚拟化 SQL 主机
- 两个 5GHz 的 Intel E2699-3 v83 CPU（2.3GHz，18 核，45MB 缓存）
- 768GB 内存（32GB x 24 Crucial DDR4，每个 CPU 384GB）
- VMware ESXi vSphere 6.0 / Enterprise Plus 2-CPU

在查看 SQL Server 输出时，2028U-TNR4T+ 凭借英特尔 DC SSD P3700 驱动器展现了其最高性能，记录了 3,157.341 TPS 的总和，而单个 VM 的范围从 3,157.469 TPS 到 3,157.143 TPS。 Memblaze 驱动器也有出色的性能，最高 TPS 为 3,157.235，总计为 3,157.112 TPS。

查看 15k 用户 SQL Server 基准测试期间的平均延迟结果显示 2028U-TNR4T+ 三星和英特尔 SSD 的记录令人印象深刻，两者均为 7.0 毫秒。

Supermicro SuperServer 2028U-TNR4T+ 虚拟化 Sysbench 主机

两个 5GHz 的 Intel E2699-3 v83 CPU（2.3GHz，18 核，45MB 缓存）
768GB 内存（32GB x 24 Crucial DDR4，每个 CPU 384GB）
VMware ESXi vSphere 6.0 / Enterprise Plus 2-CPU

Sysbench OLTP基准测试基于 Percona MySQL，并利用了运行在 CentOS 系统中的 InnoDB 存储引擎。为了使我们对传统 SAN 的测试与新型超融合设备的测试保持一致，我们将许多基准测试迁移到了更大规模的分布式模型。主要区别在于，我们不再在裸机服务器上运行单个基准测试，而是在虚拟化环境中运行该基准测试的多个实例。我们利用多个 NVMe SSD，在 2028U-TNR4T+ 服务器上部署了 4 个 Sysbench 虚拟机，并测量了所有虚拟机同时运行时主机上的总性能。

在平均每秒事务处理基准测试中，2028U-TNR4T+ 在英特尔固态盘 DC P3700 上表现最佳，总性能达到令人印象深刻的 5,779.7 TPS。然而，Memblaze 配置也不甘落后，因为它拥有 5,717.2 的顶级 TPS 性能。

在查看 2028U-TNR4T+ 的平均延迟时，英特尔再次以 22.15 毫秒的总延迟展示了最佳结果，而单个虚拟机的运行时间在 21.80 毫秒到 22.37 毫秒之间。

就我们最坏情况下的 MySQL 延迟情况（第 99 个百分位延迟）而言，在使用英特尔驱动器时实现了最高性能，其令人印象深刻的总计仅为 45.97 毫秒。

企业综合工作负载分析

在测试这台服务器时，我们将使用Intel SSD DC P3700、Memblaze PBlaze4和Samsung XS1715 2.5 英寸 NVMe SSD，以及 Huwei ES3000、HGST SN100、Memblaze PBlaze 和 Intel P3608 HHHL AIC 规格的 NVMe SSD。Intel P3600 NVMe SSD 将分别在单盘和双盘配置下进行测试。在双盘测试中，两个硬盘的测试结果将汇总以得出总性能。

在启动每个 fio 综合基准测试之前，我们的实验室在 16 个线程的重负载下将设备预先调节到稳定状态，每个线程有 16 个未完成队列。然后使用多个线程/队列深度配置文件以设定的时间间隔测试存储，以显示轻度和重度使用情况下的性能。

预处理和初级稳态测试：

吞吐量（读+写 IOPS 聚合）
平均延迟（读+写延迟一起平均）
最大延迟（峰值读取或写入延迟）
延迟标准偏差（读+写标准偏差一起平均）

该综合分析包含四种配置文件，这些配置文件广泛用于制造商规范和基准测试：

4k – 100% 读取和 100% 写入
8k – 100% 读取和 100% 写入
8k – 70% 读取/30% 写入
128k – 100% 读取和 100% 写入

在主要的 4k 综合基准测试中，2028U-TNR4T+ 在装有 Memblaze 驱动器时显示最高读取 IOPS 为 717,172。该服务器还达到了 172,672 次 IOPS 写入的最高值，这是使用 Intel P3700 驱动器时出现的。查看我们的 HHHL 驱动器的峰值性能显示出更高的性能，因为英特尔 P3608 拥有 851,693 IOPS。

当查看 2028U-TNR4T+ 与我们的 2.5 英寸驱动器测试的平均延迟时，它显示通过 Memblaze NVMe 驱动器读取仅为 0.36 毫秒，而使用英特尔 P1.48 记录的平均写入延迟最高为 3700 毫秒。查看 HHHL 驱动器，再次使用 Intel P3608 驱动器时记录了最高读取速度，读取时间仅为 0.30 毫秒。

在我们的下一个工作负载中，我们重新调整服务器以进行顺序 8k 传输，以测量 NVMe 驱动器的性能，负载为 16 个线程，队列深度为 16，用于 100% 读取和 100% 写入操作。在此基准测试中，Supermicro 服务器在整个测试过程中都显示了英特尔驱动器的最佳性能，直到最后，Memblaze 在最后一个队列深度上脱颖而出，达到超过 166,250 IOPS。在 HHHL 驱动器中，华为 ES3000 3.2TB 驱动器表现出最佳性能，在终端中达到近 300,000 IOPS。

在平均延迟方面，2028U-TNR4T+ 服务器在 Intel 和 Memblaze 2.5" 驱动器上表现出色，两者并驾齐驱直到最后，范围大约为 0.2 毫秒到 1.6 毫秒。在使用 HHL 驱动器时查看 2028U-TNR4T+ 显示出更好的性能，华为 ES3000 3.2TB 型号的峰值不到 0.9 毫秒。

结语

作为 2U Ultra SuperServer 系列的一部分，Supermicro 的 2028U-TNR4T+ 是一款功能强大的存储解决方案，具有 24 个可热插拔的 2.5 英寸驱动器托架，包括通过可选附加卡支持的 24 个 SAS3 端口。 219U-TNR1T+ 位于 CSE-02UAC-R2K2028 4U 机箱内，利用 X10DRU-i+ 双处理器服务器主板作为设备的主要子系统。该服务器还配备了四个 NVMe 驱动器托架，这对于希望利用这种强大的低延迟技术的企业买家来说非常有吸引力。此外，2028U-TNR4T+ 配备 24 个 DIMM 插槽，可容纳高达 768GB 的 DDR4 非易失性 RDIMM 或 1536GB 的 LRDIMM DDR4 内存。

为了测试其性能，我们为 SuperServer 配备了 768GB 的 Crucial DDR4 RAM (32GB x 24) 和两个带有 Supermicro AOC-S5L-L2699i HBA 的 Intel E3-3008v8 CPU，以启用 24 个 SAS3 托架。我们还在其中填充了三组不同的 NVMe SSD：Intel SSD DC P3700、Memblaze PBlaze4 和 Samsung XS1715，分别对每一种进行了分析。毫不奇怪，NVMe 驱动器的组合 2028U-TNR4T+ SuperServer 拥有巨大的吞吐量和极低的延迟。在我们的 100% 读取和 100% 写入 4k 工作负载基准测试中，配备 Memblaze 驱动器的 2028U-TNR4T+ 显示最高读取 IOPS 为 717,172。当使用 16 个线程的负载和 16 个队列深度进行 100% 读取和 100% 写入操作时，2028U-TNR4T+ 在服务器中拥有 166,250 IOPS 的峰值（也使用 Memblaze NVMe SSD）。

最终，Supermicro 为企业提供了一个非常密集的服务器平台，以及业界最高水平的性能、效率、安全性和可扩展性之一。无论存储接口偏好如何，2028U-TNR4T+ 都能为购买者提供支持，范围从用于容量的 SAS3 HDD/SSD、用于热插拔低延迟性能的 2.5 英寸 NVMe 到 AIC 外形规格中提供的传统 PCIe 闪存。

优点