Mellanox SX6036 是第二个加入机架的 Mellanox 托管交换机 StorgeReview 企业实验室. SX6036 专为架顶式叶连接、构建集群以及承载融合 LAN 和 SAN 流量而设计。 集成的 InfiniBand 子网管理器可以支持多达 648 个节点的 InfiniBand 结构。 虽然我们发现 1GbE、10GbE 和 40GbE 是实验室中引人注目的互连，但有时您只需要多一点功率即可确保存储成为吞吐量和延迟瓶颈，而不是网络结构。 为此，我们将 InfiniBand 交换机和相关设备用于高端存储阵列以及不仅需要速度，而且速度是开展业务的要求的情况。
Mellanox SX6036 是第二个加入机架的 Mellanox 托管交换机 StorgeReview 企业实验室. SX6036 专为架顶式叶连接、构建集群以及承载融合 LAN 和 SAN 流量而设计。 集成的 InfiniBand 子网管理器可以支持多达 648 个节点的 InfiniBand 结构。 虽然我们发现 1GbE、10GbE 和 40GbE 是实验室中引人注目的互连，但有时您只需要多一点功率即可确保存储成为吞吐量和延迟瓶颈，而不是网络结构。 为此，我们将 InfiniBand 交换机和相关设备用于高端存储阵列以及不仅需要速度，而且速度是开展业务的要求的情况。
StorageReview 的 Cluster-in-a-Box 具有三个 Romley 服务器、Mellanox SX6036 交换机和 EchoStreams FlacheSAN2
Mellanox 的 SX6036 交换机系统是我们实验室端到端 Mellanox 互连解决方案的一部分，该解决方案还包括我们的 Mellanox SX1036 10/40 以太网交换机。 SX1036 与 SX6036 共享大部分设计和布局； 与 SX1036 一样，SX6036 也是 1U、36 端口交换机。 SX6036 每个端口提供高达 56Gb/s 的全双向带宽，或累计 4.032Tb/s 的非阻塞带宽，端口到端口延迟为 170ns。
Mellanox 的 FDR InfiniBand 技术使用 64b/66b 编码，并在与经批准的 Mellanox 电缆一起使用时将每通道信号速率提高到 14Gb/s。 当与指定的 ConnectX-3 适配器一起使用时，SX6036 还支持 FDR10，这是一种非标准的 InfiniBand 数据速率。 对于 FDR10，4X 端口的每个通道都以 10.3125Gb/s 的比特率运行，采用 64b/66b 编码，从而产生 40Gb/s 的有效带宽，或比 QDR 多 20% 的带宽。
SX6036 主要特性
- 36U 交换机中有 56 个 FDR (1Gb/s) 端口
- 4Tb/s 聚合交换容量
- 符合 IBTA 1.21 和 1.3
- FDR/FDR10 支持前向纠错 (FEC)
- 9 个虚拟通道：8 个数据 + 1 个管理
- 256 至 4Kbyte MTU
- 4 x 48K 条目线性转发数据库
即将推出的功能
Mellanox 还宣布了一套功能，将通过未来的更新启用。 这些更新将侧重于：
- InfiniBand 到 InfiniBand 路由
- 最多支持8个多交换机分区
- 自适应路由
- 拥塞控制
- 端口镜像
ConnectX-3 VPI 适配器
我们已将 SX6036 与 Mellanox 的 ConnectX-3 VPI 适配卡相匹配。 这些 ConnectX-3 卡支持 InfiniBand、以太网和数据中心桥接 (DCB) 结构连接，以提供具有自动感应功能的灵活互连解决方案。 ConnectX-3 的 FlexBoot 使服务器能够通过 InfiniBand 或 LAN 从远程存储目标启动。
ConnectX-3 虚拟协议互连适配器支持基于 OpenFabrics 的 RDMA 协议，并使用 IBTA RoCE 通过第 2 层以太网提供 RDMA 服务。
为了完成我们的端到端 Mellanox 网络配置，我们在实验室中使用 Mellanox QSFP 布线解决方案来满足我们的 InfiniBand 需求。 要将 56Gb/s InfiniBand 适配器连接到我们的 SX6036 交换机，我们可以使用 0.5M、1M 和 3M 无源 QSFP 电缆，具体取决于设备组合在一起的紧密程度。
上面显示的是 QSFP（Quad Small Form-factor Pluggable）连接器，我们用它来连接 40GbE 或 56Gb/s InfiniBand 设备。
ConnectX-3 VPI 适配器主要特性
- 符合 InfiniBand IBTA 规范 1.2.1
- 16 万个 I/O 通道
- 256 到 4Kbyte MTU，1Gbyte 消息
- 1μs MPI ping 延迟
- 每个端口高达 56 Gb/s InfiniBand 或 40 Gb 以太网
- 精密时钟同步
- 基于硬件的 QoS 和拥塞控制
- 光纤通道封装（FCoIB 或 FCoE）
- 以太网封装 (EoIB)
- RoHS-R6
- 基于硬件的 I/O 虚拟化
- 单根 IOV
- 每个虚拟机多个队列
- 增强的 vNIC QoS
- VMware NetQueue 支持
CPU 卸载和加速
Connect-X 具有用于协议处理和数据移动开销（例如 RDMA 和发送/接收语义）的 CPU 卸载。 CORE-Direct 卸载应用程序开销，例如数据广播和收集以及全局同步通信例程。 GPU 通信加速消除了不必要的内部数据重复以减少运行时间。 使用 TCP/UDP/IP 传输的应用程序受益于基于硬件的无状态卸载引擎，这些引擎减少了 IP 传输的 CPU 开销。
Connect-X VPI 适配器：
- MCX353A-QCBT 单 QDR 40Gb/s 或 10GbE
- MCX354A-QCBT 双 QDR 40Gb/s 或 10GbE
- MCX353A-FCBT 单 FDR 56Gb/s 或 40GbE
- MCX354A-FCBT 双 FDR 56Gb/s 或 40GbE
设计与建造
该交换机可以安装在深度为 19cm 至 40cm 的任何标准 80 英寸机架中。 交换机的电源侧包括热插拔电源模块、未配备冗余 PSU 时的空白盖板和热插拔风扇托架。
交换机的连接器侧具有 36 个 QSFP 端口、系统 LED 和管理连接端口。
管理相关的接口有五个：
- 2 个标有“MGT”的 100M/1Gb 以太网连接器
- 1 个用于更新软件或固件的 USB 端口。
- 1 个标有“CONSOLE”的连接器，用于连接主机 PC。
- 电源侧的 1 个 I2C 香蕉连接器，用于诊断和维修
MSX6036 提供标准深度（MSX6036F-1SFR 和 MSX6036T-1SFR）或短深度设计（MSX6036F-1BRR 和 MSX6036T-1BRR），具有前向和反向气流选项。 Mellanox 为 SX6036 提供长导轨和短导轨套件。 标准开关和短开关都可以使用长导轨套件安装，而短套件只能与短开关一起使用。
电力
该开关具有对 100-240 VAC PSU 的自动感应支持。 与 Mellanox 的所有 SwitchX QSFP 解决方案一样，SX6036 专为有源电缆而设计，每个模块的最大功率为 2W。 有源电缆的典型 FDR 功耗为 231W，无源电缆为 126W。
SX6036 交换机配备一个出厂安装的 PSU。 需要添加冗余 PSU 以支持热插拔更换。 主电源单元 (PS1) 位于电源侧面板的右侧，PS2 位于左侧。 安装两个电源后，可以在交换机运行时取出任一 PSU。 要取出 PSU，请拔下电源线，然后在向外拉 PSU 手柄的同时推动闩锁释放装置。 要安装 PSU，请将设备滑入开口，直到您开始感觉到轻微的阻力，然后继续按压直到 PSU 完全就位。 正确安装 PSU 后，闩锁将卡入到位，您可以连接电源线。
散热器
SX6036 提供一个具有热插拔功能的冗余风扇单元，并带有两种可能的气流方向的配置。 要取出风扇模块，您必须将两个闩锁推向彼此，同时将模块向上拉出交换机。 如果您在交换机通电时卸下风扇，则一旦卸下风扇，相关模块的风扇状态指示灯就会熄灭。
安装风扇模块时，将其滑入开口，直到开始感觉到轻微的阻力，然后继续按压直至其完全就位，并且当开关通电时相应的风扇状态指示灯显示绿色。
与 SX1036 一样，首次配置 SX6036 时，必须使用随附的带终端仿真软件的线束在主机 PC 上与交换机的控制台 RJ-9 端口建立 DB45 连接，以便启用远程和 Web 管理功能. Mellanox 提供了两种管理 SX6036 的解决方案。 MLNX-OS 提供机箱管理以管理固件、电源、风扇、端口和其他接口以及集成子网管理。 SX6036 还可以与 Unified Fabric Manager (UFM) 结合使用，以管理横向扩展的 InfiniBand 计算环境。
MLNX-OS 包括 CLI、WebUI、SNMP 和机箱管理软件以及 IB 管理软件 (OpenSM)。 SX6036 InfiniBand 子网管理器最多支持 648 个节点。 （Mellanox 推荐其统一结构管理器用于包含超过 648 个节点的结构。）InfiniBand 子网管理器发现并应用与网络流量相关的配置，例如 QoS、路由、结构设备的分区。 每个子网都需要一个子网管理器在交换机本身（基于交换机）或连接到结构的节点之一（基于主机）中运行。
总结
Mellanox SX6036 56Gb InfiniBand 交换机是 StorageReview 企业实验室，与 Mellanox 接口卡和布线相结合，为我们提供了完整的高速 InfiniBand 结构。 与新 闪存阵列 Mellanox 网络设备集成了 56Gb IB 互连，为我们提供了正确审查和强调最快存储阵列所需的主干。 随着互连速度的加快，存储成为新的性能瓶颈。 请继续关注我们试图通过一组不断扩展的阵列和服务器来平衡等式，这些阵列和服务器希望对 InfiniBand 结构施加压力。
Mellanox SX6036 InfiniBand 交换机产品页面
