Mellanox SX6036 是第二台加入StorgeReview 企業實驗室機架的 Mellanox 管理型交換器。 SX6036 專為機架頂部葉節點連接、建構叢集以及承載融合的 LAN 和 SAN 流量而設計。其整合的 InfiniBand 子網路管理員可支援多達 648 個節點的 InfiniBand 架構。雖然我們在實驗室中發現 1GbE、10GbE 和 40GbE 都是極具吸引力的互連方案，但有時您需要更強大的效能，以確保儲存成為吞吐量和延遲的瓶頸，而不是網路架構。為此，我們在高階儲存陣列以及那些不僅需要速度，而且速度是業務開展的必要條件的場景中，充分利用了 InfiniBand 交換器及相關設備。
StorageReview 的 Cluster-in-a-Box 具有三個 Romley 服務器、Mellanox SX6036 交換機和 EchoStreams FlacheSAN2
Mellanox 的 SX6036 交換機系統是我們實驗室端到端 Mellanox 互連解決方案的一部分，該解決方案還包括我們的 Mellanox SX1036 10/40 以太網交換機。 SX1036 與 SX6036 共享大部分設計和佈局； 與 SX1036 一樣，SX6036 也是 1U、36 端口交換機。 SX6036 每個端口提供高達 56Gb/s 的全雙向帶寬，或累計 4.032Tb/s 的非阻塞帶寬，端口到端口延遲為 170ns。
Mellanox 的 FDR InfiniBand 技術使用 64b/66b 編碼，並在與經批准的 Mellanox 電纜一起使用時將每通道信號速率提高到 14Gb/s。 當與指定的 ConnectX-3 適配器一起使用時，SX6036 還支持 FDR10，這是一種非標準的 InfiniBand 數據速率。 對於 FDR10，4X 端口的每個通道都以 10.3125Gb/s 的比特率運行，採用 64b/66b 編碼，從而產生 40Gb/s 的有效帶寬，或比 QDR 多 20% 的帶寬。
SX6036 主要特性
- 36U 交換機中的 56 個 FDR (1Gb/s) 端口
- 4Tb/s 聚合交換容量
- 符合 IBTA 1.21 和 1.3
- FDR/FDR10 支持前向糾錯 (FEC)
- 9 個虛擬通道：8 個數據 + 1 個管理
- 256 至 4Kbyte MTU
- 4 x 48K 條目線性轉發數據庫
即將推出的功能
Mellanox 還宣布了一套功能，這些功能將通過未來的更新啟用。 這些更新將側重於：
- InfiniBand 到 InfiniBand 路由
- 最多支持8個多交換機分區
- 自適應路由
- 擁塞控制
- 端口鏡像
ConnectX-3 VPI 適配器
我們已將 SX6036 與 Mellanox 的 ConnectX-3 VPI 適配卡相匹配。 這些 ConnectX-3 卡支持 InfiniBand、以太網和數據中心橋接 (DCB) 結構連接，以提供具有自動感應功能的靈活互連解決方案。 ConnectX-3 的 FlexBoot 使服務器能夠通過 InfiniBand 或 LAN 從遠程存儲目標啟動。
ConnectX-3 虛擬協議互連適配器支持基於 OpenFabrics 的 RDMA 協議，並使用 IBTA RoCE 通過第 2 層以太網提供 RDMA 服務。
為了完成我們的端到端 Mellanox 網絡配置，我們在實驗室中使用 Mellanox QSFP 佈線解決方案來滿足我們的 InfiniBand 需求。 要將 56Gb/s InfiniBand 適配器連接到我們的 SX6036 交換機，我們可以使用 0.5M、1M 和 3M 無源 QSFP 電纜，具體取決於設備組合在一起的緊密程度。
上面顯示的是 QSFP（Quad Small Form-factor Pluggable）連接器，我們用它來連接 40GbE 或 56Gb/s InfiniBand 設備。
ConnectX-3 VPI 適配器主要特性
- 符合 InfiniBand IBTA 規範 1.2.1
- 16 萬個 I/O 通道
- 256 至 4Kbyte MTU，1Gbyte 消息
- 1μs MPI ping 延遲
- 每個端口高達 56Gb/s InfiniBand 或 40Gb 以太網
- 精密時鐘同步
- 基於硬件的 QoS 和擁塞控制
- 光纖通道封裝（FCoIB 或 FCoE）
- 以太網封裝 (EoIB)
- RoHS-R6
- 基於硬件的 I/O 虛擬化
- 單根 IOV
- 每個虛擬機多個隊列
- 增強的 vNIC QoS
- VMware NetQueue 支持
CPU 卸載和加速
Connect-X 具有用於協議處理和數據移動開銷（例如 RDMA 和發送/接收語義）的 CPU 卸載。 CORE-Direct 卸載應用程序開銷，例如數據廣播和收集以及全局同步通信例程。 GPU 通信加速消除了不必要的內部數據重複以減少運行時間。 使用 TCP/UDP/IP 傳輸的應用程序受益於基於硬件的無狀態卸載引擎，這些引擎減少了 IP 傳輸的 CPU 開銷。
Connect-X VPI 適配器：
- MCX353A-QCBT 單 QDR 40Gb/s 或 10GbE
- MCX354A-QCBT 雙 QDR 40Gb/s 或 10GbE
- MCX353A-FCBT 單 FDR 56Gb/s 或 40GbE
- MCX354A-FCBT 雙 FDR 56Gb/s 或 40GbE
設計和建造
此交換機可以安裝在深度為 19cm 至 40cm 的任何標準 80 英寸機架中。 交換機的電源側包括熱插拔電源模塊、未配備冗餘 PSU 時的空白蓋板和熱插拔風扇托架。
交換機的連接器側具有 36 個 QSFP 端口、系統 LED 和管理連接端口。
與管理相關的接口有五個：
- 2 個標有“MGT”的 100M/1Gb 以太網連接器
- 1 個用於更新軟件或固件的 USB 端口。
- 1 個標有“CONSOLE”的連接器，用於連接主機 PC。
- 電源側的 1 個 I2C 香蕉連接器，用於診斷和維修
MSX6036 提供標準深度（MSX6036F-1SFR 和 MSX6036T-1SFR）或短深度設計（MSX6036F-1BRR 和 MSX6036T-1BRR），具有前向和反向氣流選項。 Mellanox 為 SX6036 提供長導軌和短導軌套件。 標准開關和短開關都可以使用長導軌套件安裝，而短套件只能與短開關一起使用。
電力
該開關具有對 100-240 VAC PSU 的自動感應支持。 與 Mellanox 的所有 SwitchX QSFP 解決方案一樣，SX6036 專為有源電纜而設計，每個模塊的最大功率為 2W。 有源電纜的典型 FDR 功耗為 231W，無源電纜為 126W。
SX6036 交換機配備一個出廠安裝的 PSU。 需要添加冗餘 PSU 以支持熱插拔更換。 主電源單元 (PS1) 位於電源側面板的右側，PS2 位於左側。 安裝兩個電源後，可以在交換機運行時取出任一 PSU。 要取出 PSU，請拔下電源線，然後在向外拉 PSU 手柄的同時推動閂鎖釋放裝置。 要安裝 PSU，請將設備滑入開口，直到您開始感覺到輕微的阻力，然後繼續按壓直到 PSU 完全就位。 正確安裝 PSU 後，閂鎖將卡入到位，您可以連接電源線。
散熱
SX6036 提供一個具有熱插拔功能的冗餘風扇單元，並帶有兩種可能的氣流方向的配置。 要取出風扇模塊，您必須將兩個閂鎖推向彼此，同時將模塊向上拉出交換機。 如果您在交換機通電時卸下風扇，則一旦卸下風扇，相關模塊的風扇狀態指示燈就會熄滅。
安裝風扇模塊時，將其滑入開口，直到開始感覺到輕微的阻力，然後繼續按壓直至其完全就位，並且當開關通電時相應的風扇狀態指示燈顯示綠色。
管理
與 SX1036 一樣，首次配置 SX6036 時，必須使用隨附的帶終端仿真軟件的線束在主機 PC 上與交換機的控制台 RJ-9 端口建立 DB45 連接，以便啟用遠程和 Web 管理功能. Mellanox 提供了兩種管理 SX6036 的解決方案。 MLNX-OS 提供機箱管理以管理固件、電源、風扇、端口和其他接口以及集成子網管理。 SX6036 還可以與 Unified Fabric Manager (UFM) 結合使用，以管理橫向擴展的 InfiniBand 計算環境。
MLNX-OS 包括 CLI、WebUI、SNMP 和機箱管理軟件以及 IB 管理軟件 (OpenSM)。 SX6036 InfiniBand 子網管理器最多支持 648 個節點。 （Mellanox 推薦其統一結構管理器用於包含超過 648 個節點的結構。）InfiniBand 子網管理器發現並應用與網絡流量相關的配置，例如 QoS、路由、結構設備的分區。 每個子網都需要一個子網管理器在交換機本身（基於交換機）或連接到結構的節點之一（基於主機）中運行。
結語
Mellanox SX6036 56Gb InfiniBand 交換器是StorageReview 企業實驗室的核心元件，它與 Mellanox 介面卡和線纜配合使用，為我們建立了一個完整的高速 InfiniBand 網路架構。隨著整合 56Gb IB 互連的新型快閃記憶體陣列的出現，Mellanox 網路設備為我們提供了必要的骨幹網絡，以便我們能夠全面評估和測試速度最快的儲存陣列。隨著互連技術的快速發展，儲存已成為新的效能瓶頸。請關注，我們將嘗試透過不斷擴充的陣列和伺服器組合來平衡這瓶頸，並測試 InfiniBand 網路架構的效能。
Amazon