Mellanox SX6036 是第二款加入StorgeReview 企业实验室机架的 Mellanox 管理型交换机。SX6036 专为机架顶部叶节点连接、构建集群以及承载融合的 LAN 和 SAN 流量而设计。其集成的 InfiniBand 子网管理器可支持多达 648 个节点的 InfiniBand 架构。虽然我们在实验室中发现 1GbE、10GbE 和 40GbE 都是极具吸引力的互连方案，但有时您需要更强大的性能，以确保存储成为吞吐量和延迟的瓶颈，而不是网络架构。为此，我们在高端存储阵列以及那些不仅需要速度，而且速度是业务开展的必要条件的场景中，充分利用了 InfiniBand 交换机及相关设备。
StorageReview 的 Cluster-in-a-Box 具有三个 Romley 服务器、Mellanox SX6036 交换机和 EchoStreams FlacheSAN2
Mellanox 的 SX6036 交换机系统是我们实验室端到端 Mellanox 互连解决方案的一部分，该解决方案还包括我们的 Mellanox SX1036 10/40 以太网交换机。 SX1036 与 SX6036 共享大部分设计和布局； 与 SX1036 一样，SX6036 也是 1U、36 端口交换机。 SX6036 每个端口提供高达 56Gb/s 的全双向带宽，或累计 4.032Tb/s 的非阻塞带宽，端口到端口延迟为 170ns。
Mellanox 的 FDR InfiniBand 技术使用 64b/66b 编码，并在与经批准的 Mellanox 电缆一起使用时将每通道信号速率提高到 14Gb/s。 当与指定的 ConnectX-3 适配器一起使用时，SX6036 还支持 FDR10，这是一种非标准的 InfiniBand 数据速率。 对于 FDR10，4X 端口的每个通道都以 10.3125Gb/s 的比特率运行，采用 64b/66b 编码，从而产生 40Gb/s 的有效带宽，或比 QDR 多 20% 的带宽。
SX6036 主要特性
- 36U 交换机中有 56 个 FDR (1Gb/s) 端口
- 4Tb/s 聚合交换容量
- 符合 IBTA 1.21 和 1.3
- FDR/FDR10 支持前向纠错 (FEC)
- 9 个虚拟通道：8 个数据 + 1 个管理
- 256 至 4Kbyte MTU
- 4 x 48K 条目线性转发数据库
即将推出的功能
Mellanox 还宣布了一套功能，将通过未来的更新启用。 这些更新将侧重于：
- InfiniBand 到 InfiniBand 路由
- 最多支持8个多交换机分区
- 自适应路由
- 拥塞控制
- 端口镜像
ConnectX-3 VPI 适配器
我们已将 SX6036 与 Mellanox 的 ConnectX-3 VPI 适配卡相匹配。 这些 ConnectX-3 卡支持 InfiniBand、以太网和数据中心桥接 (DCB) 结构连接，以提供具有自动感应功能的灵活互连解决方案。 ConnectX-3 的 FlexBoot 使服务器能够通过 InfiniBand 或 LAN 从远程存储目标启动。
ConnectX-3 虚拟协议互连适配器支持基于 OpenFabrics 的 RDMA 协议，并使用 IBTA RoCE 通过第 2 层以太网提供 RDMA 服务。
为了完成我们的端到端 Mellanox 网络配置，我们在实验室中使用 Mellanox QSFP 布线解决方案来满足我们的 InfiniBand 需求。 要将 56Gb/s InfiniBand 适配器连接到我们的 SX6036 交换机，我们可以使用 0.5M、1M 和 3M 无源 QSFP 电缆，具体取决于设备组合在一起的紧密程度。
上面显示的是 QSFP（Quad Small Form-factor Pluggable）连接器，我们用它来连接 40GbE 或 56Gb/s InfiniBand 设备。
ConnectX-3 VPI 适配器主要特性
- 符合 InfiniBand IBTA 规范 1.2.1
- 16 万个 I/O 通道
- 256 到 4Kbyte MTU，1Gbyte 消息
- 1μs MPI ping 延迟
- 每个端口高达 56 Gb/s InfiniBand 或 40 Gb 以太网
- 精密时钟同步
- 基于硬件的 QoS 和拥塞控制
- 光纤通道封装（FCoIB 或 FCoE）
- 以太网封装 (EoIB)
- RoHS-R6
- 基于硬件的 I/O 虚拟化
- 单根 IOV
- 每个虚拟机多个队列
- 增强的 vNIC QoS
- VMware NetQueue 支持
CPU 卸载和加速
Connect-X 具有用于协议处理和数据移动开销（例如 RDMA 和发送/接收语义）的 CPU 卸载。 CORE-Direct 卸载应用程序开销，例如数据广播和收集以及全局同步通信例程。 GPU 通信加速消除了不必要的内部数据重复以减少运行时间。 使用 TCP/UDP/IP 传输的应用程序受益于基于硬件的无状态卸载引擎，这些引擎减少了 IP 传输的 CPU 开销。
Connect-X VPI 适配器：
- MCX353A-QCBT 单 QDR 40Gb/s 或 10GbE
- MCX354A-QCBT 双 QDR 40Gb/s 或 10GbE
- MCX353A-FCBT 单 FDR 56Gb/s 或 40GbE
- MCX354A-FCBT 双 FDR 56Gb/s 或 40GbE
设计与建造
该交换机可以安装在深度为 19cm 至 40cm 的任何标准 80 英寸机架中。 交换机的电源侧包括热插拔电源模块、未配备冗余 PSU 时的空白盖板和热插拔风扇托架。
交换机的连接器侧具有 36 个 QSFP 端口、系统 LED 和管理连接端口。
管理相关的接口有五个：
- 2 个标有“MGT”的 100M/1Gb 以太网连接器
- 1 个用于更新软件或固件的 USB 端口。
- 1 个标有“CONSOLE”的连接器，用于连接主机 PC。
- 电源侧的 1 个 I2C 香蕉连接器，用于诊断和维修
MSX6036 提供标准深度（MSX6036F-1SFR 和 MSX6036T-1SFR）或短深度设计（MSX6036F-1BRR 和 MSX6036T-1BRR），具有前向和反向气流选项。 Mellanox 为 SX6036 提供长导轨和短导轨套件。 标准开关和短开关都可以使用长导轨套件安装，而短套件只能与短开关一起使用。
电力
该开关具有对 100-240 VAC PSU 的自动感应支持。 与 Mellanox 的所有 SwitchX QSFP 解决方案一样，SX6036 专为有源电缆而设计，每个模块的最大功率为 2W。 有源电缆的典型 FDR 功耗为 231W，无源电缆为 126W。
SX6036 交换机配备一个出厂安装的 PSU。 需要添加冗余 PSU 以支持热插拔更换。 主电源单元 (PS1) 位于电源侧面板的右侧，PS2 位于左侧。 安装两个电源后，可以在交换机运行时取出任一 PSU。 要取出 PSU，请拔下电源线，然后在向外拉 PSU 手柄的同时推动闩锁释放装置。 要安装 PSU，请将设备滑入开口，直到您开始感觉到轻微的阻力，然后继续按压直到 PSU 完全就位。 正确安装 PSU 后，闩锁将卡入到位，您可以连接电源线。
散热器
SX6036 提供一个具有热插拔功能的冗余风扇单元，并带有两种可能的气流方向的配置。 要取出风扇模块，您必须将两个闩锁推向彼此，同时将模块向上拉出交换机。 如果您在交换机通电时卸下风扇，则一旦卸下风扇，相关模块的风扇状态指示灯就会熄灭。
安装风扇模块时，将其滑入开口，直到开始感觉到轻微的阻力，然后继续按压直至其完全就位，并且当开关通电时相应的风扇状态指示灯显示绿色。
管理学
与 SX1036 一样，首次配置 SX6036 时，必须使用随附的带终端仿真软件的线束在主机 PC 上与交换机的控制台 RJ-9 端口建立 DB45 连接，以便启用远程和 Web 管理功能. Mellanox 提供了两种管理 SX6036 的解决方案。 MLNX-OS 提供机箱管理以管理固件、电源、风扇、端口和其他接口以及集成子网管理。 SX6036 还可以与 Unified Fabric Manager (UFM) 结合使用，以管理横向扩展的 InfiniBand 计算环境。
MLNX-OS 包括 CLI、WebUI、SNMP 和机箱管理软件以及 IB 管理软件 (OpenSM)。 SX6036 InfiniBand 子网管理器最多支持 648 个节点。 （Mellanox 推荐其统一结构管理器用于包含超过 648 个节点的结构。）InfiniBand 子网管理器发现并应用与网络流量相关的配置，例如 QoS、路由、结构设备的分区。 每个子网都需要一个子网管理器在交换机本身（基于交换机）或连接到结构的节点之一（基于主机）中运行。
结语
Mellanox SX6036 56Gb InfiniBand 交换机是StorageReview 企业实验室的核心组件，它与 Mellanox 接口卡和线缆配合使用，为我们构建了一个完整的高速 InfiniBand 网络架构。随着集成 56Gb IB 互连的新型闪存阵列的出现，Mellanox 网络设备为我们提供了必要的骨干网络，以便我们能够全面评估和测试速度最快的存储阵列。随着互连技术的快速发展，存储已成为新的性能瓶颈。敬请关注，我们将尝试通过不断扩充的阵列和服务器组合来平衡这一瓶颈，并测试 InfiniBand 网络架构的性能。
Amazon