首页 企业 Mellanox SX1036 10/40Gb 以太网交换机评测

Mellanox SX1036 10/40Gb 以太网交换机评测

by 马克基德

Mellanox SX1036 是一款 1U 托管以太网交换机,通过 2.88 个 36Gb/s QSFP 端口提供高达 40Tb/s 的无阻塞吞吐量,这些端口可扩展为最多 64 个 10Gb/s 端口或提供 40Gb/s 的混合端口。 s 和 10Gb/s 连接。 作为支柱 StorageReview 企业实验室 网络基础设施,SX1036 交换机提供测试最新的基于以太网的高速网络存储设备所需的连接。 在计算方面,我们将 SX1036 与 Mellanox 的双端口 10GbE 和 40GbE Con​​nectX-3 EN PCIe 3.0 以太网适配器配对,并使用 Mellanox QSFP 和 SFP+ 电缆进行连接,为我们的实验室提供了完整的端到端 Mellanox 互连解决方案。


Mellanox SX1036 是一款 1U 托管以太网交换机,可通过 2.88 个 36Gb/s QSFP 端口提供高达 40Tb/s 的非阻塞吞吐量,这些端口可以拆分为多达 64 个 10Gb/s 端口或提供 40Gb/s 的混合s 和 10Gb/s 连接。 作为中坚力量 StorageReview 企业实验室 网络基础设施,SX1036 交换机提供测试最新的基于以太网的高速网络存储设备所需的连接。 在计算方面,我们将 SX1036 与 Mellanox 的双端口 10GbE 和 40GbE Con​​nectX-3 EN PCIe 3.0 以太网适配器配对,并使用 Mellanox QSFP 和 SFP+ 电缆进行连接,为我们的实验室提供了完整的端到端 Mellanox 互连解决方案。

Mellanox SX1036 是一种架顶式接入交换机,可以提供 10Gb/s 的服务器连接和 40Gb/s 的上行链路。 SX1036 提供两种外形规格:MSX1036B-1SFR 标准深度,气流从后向前; 和 MSX1036B-1BRR 深度较短,气流从前到后。 这两种模型在其他方面的功能完全相同,我们的实验室配备的是标准深度模型。

Mellanox SX1036 使用分支电缆提供 36 个 40GigE 端口或多达 64 个 10GigE 端口。 当以 40GigE 运行时,Mellanox 指定 230nsec 延迟,250GigE 时为 10nsec 延迟。

Mellanox SX1036 第 2 层特性:

  • 48K L2 转发条目
  • 802.1w快速生成树协议
  • 802.1Qbb 优先流控制 (PFC)
  • 静态MAC
  • 802.3x 流量控制
  • VLAN 802.1Q (4K)
  • IGMP v1,v2
  • 访问控制列表 (L2-L4)
  • 802.3ad 链路聚合/LACP(16 个端口/通道,每个系统 32 个组)
  • 802.1Qaz 增强传输选择
  • (ETS)
  • 巨型帧(9216 字节)

支持的模块和电缆

  • QSFP–40GbE 模块
  • QSA-QSFP 转 SFP+ 适配器
  • QSFP 到 QSFP 电缆(1M 或 3M)
  • QSFP 分路器电缆 40GbE 至 4x10GbE

ConnectX-3 EN 以太网适配器和 QSFP/SFP+ 布线

我们已将 SX1036 与 Mellanox 最新的 ConnectX-3 EN PCIe 3.0 以太网适配器配对,后者可以作为端到端 40Gb/s 解决方案的一部分与 SX1036 一起部署,以最大限度地提高吞吐量或提供混合 10Gb/s 连接,用于以 10Gb/s 服务器 NIC 为例。 我们有双端口 10Gb/s 卡和双端口 40Gb/s 卡来测试 SX1036。

ConnectX-3 EN 平台提供了多种技术来优化虚拟化环境中的网络性能,包括单根 IOV、地址转换和保护、每个虚拟机的多个队列以及 VMware NetQueue 支持。 它还通过聚合以太网、无状态 TCP/UDP/IP 和智能中断合并为 RDMA 提供 CPU 卸载。

为了完善端到端 Mellanox 网络配置,我们在实验室中使用了多种 Mellanox QSFP 和 SFP+ 布线解决方案。 为了将 10GbE 计算和网络存储解决方案连接到 SX1036 交换机,我们将多个端口配置为扇出模式,将单个 40GbE 端口转换为四个 10GbE 连接。 使用 Mellanox QSFP 分路器电缆,一根电缆可以让我们将交换机连接到两个或四个设备。

上面显示的是 SFP+(增强型小型可插拔)和 QSFP(四路小型可插拔)连接器,我们分别使用它们连接到 10GbE 和 40GbE 设备。

设计与建造

交换机的连接器侧有 36 个 QSFP 端口,排成两排,每排 18 个端口。 前面板具有系统状态 LED 和管理连接端口。 端口上方是相应的状态 LED。 标有“MGT”的 RJ-45 连接提供远程管理访问。 USB 接口也可用于更新 MLNX-OS。

交换机的电源侧在左侧包括一个工厂安装的热插拔 PSU,在右侧为可选的第二个 PSU 提供冗余的空白盖板,以及一个热插拔风扇托架。 每个 PSU 都有一个 2 色状态 LED。 后面板左侧有一个 I2C 连接器,用于调试和故障排除。 如果交换机的固件损坏或无法正常升级,此连接器可用于安装固件升级。

安装和初始设置

该交换机可以安装在深度为 19cm 至 40cm 的任何标准 80 英寸机架中。 Mellanox 为 SX1036 提供两种安装套件选项:长套件和短套件。 标准 (MSX1036B-1SFR) 和短 (MSX1036B-1BRR) SX1036 开关都可以使用长导轨套件进行安装。 短套件仅适用于短开关。 SX1036 重约 21 磅,这不是机架中最重的设备,但仍需要仔细协调才能让一个人安装。

36 个 QSFP 端口中的每一个都能够达到 40Gb/s 以及 10Gb/s,使用 QSA QSFP 到 SFP+ 适配器或 QSFP 到 SFP+ Mellanox 电缆。 某些端口可以通过使用 QSFP 1X4 分支电缆将一个 40 Gb/s 端口分成 4 个通道(4 个 SFP+ 连接器)来拆分。 其他端口可以拆分为 2 个 10 Gb/s 端口,仅使用通道 1 和 2。 使用分支电缆,您可以实现总共 64 个 10Gb/s 端口。

首次配置 SX1036 时,您必须使用主机 PC 上提供的线束和终端仿真软件与交换机的控制台 RJ-9 端口建立 DB45 连接。 一旦管理员通过控制台建立了基本设置,就可以启用 MLNX-OS 远程和 Web 管理功能。

散热器

根据 SX1036 型号,有两种可能的气流方向。 标准深度 SX1036 从后向前气流,而短深度版本使用从前到后的气流。 当环境温度保持在 1036 摄氏度或 45 华氏度以下时,SX113 可以在风扇模块中的三个风扇之一不工作的情况下运行。

要取出风扇模块,您必须将两个闩锁推向彼此,同时将模块向上拉出交换机。 如果您在交换机通电时卸下风扇,则一旦卸下风扇,相关模块的风扇状态指示灯就会熄灭。

安装风扇模块时,将其滑入开口,直到开始感觉到轻微的阻力,然后继续按压直至其完全就位,并且当开关通电时相应的风扇状态指示灯显示绿色。

电力

据 Mellanox 称,SX1036 的典型功耗为 86W,包括每个端口 1.3 瓦。 最大功耗为 100W,SX1036 的输入电压范围为 100 至 240 VAC。 SX1036 附带一个电源,但可以使用额外的 PSU 来提供热插拔冗余电源。

安装两个电源后,可以在交换机运行时取出任一 PSU。 要取出 PSU,请拔下电源线,然后在向外拉 PSU 手柄的同时推动闩锁释放装置。 要安装 PSU,请将设备滑入开口,直到您开始感觉到轻微的阻力,然后继续按压直到 PSU 完全就位。 正确安装 PSU 后,闩锁将卡入到位,您可以连接电源线。

SX1036 提供管理选项,包括支持 Mellanox 的统一结构管理器 (UFM) 和 MLNX-OS。 MLNX-OS 是 Mellanox 的标准管理软件模块,用于其基于 SwitchX 的托管交换机系统和 ConnectX-3 适配器系列,并包含在 SX1036 中。

MLNX-OS 软件包括:CLI、WebUI、SNMP 和 XML 网关接口。 XML 网关提供了一个 XML 协议,可用于通过 HTTP/HTTPS 或 SSH 获取和设置管理信息。 MLNX-OS 使用户能够定义和管理日志记录、电子邮件警报和安全功能,包括 RADIUS、TACACS+、AAA 和 LDAP。 MLNX-OS Web 界面提供带有事件和错误日志的端口状态、图形 CPU 负载显示、图形风扇速度随时间变化的显示、电源电压警报以及带有警报通知的图形内部温度显示。

结语

Mellanox SX1036 10/40Gb 以太网交换机是 StorageReview 企业实验室,与 Mellanox 接口卡和布线配对,为我们提供完整的高速以太网结构。 大多数企业存储阵列都集成了多个 10GbE 互连,Mellanox 产品为我们提供了正确审查和强调硬盘驱动器和基于闪存的阵列所需的支柱。 对于更高端的阵列测试,我们在实验室中也有完整的 Mellanox InfiniBand 解决方案。 随着互连速度的加快,存储成为新的性能瓶颈。 请继续关注我们试图通过一组不断扩展的阵列和服务器来平衡方程式,这些阵列和服务器希望对结构施加压力。

Mellanox SX1036 产品页面

Mellanox ConnectX-3 EN 产品页面

讨论这篇评论