Mellanox SX1036 是一款 1U 管理型乙太網路交換機，可透過 36 個 40Gb/s QSFP 連接埠提供高達 2.88Tb/s 的無阻塞吞吐量，這些連接埠可擴充至多達 64 個 10Gb/s 連接埠，或提供 40Gb/s 和 10Gb/s 混合連接。作為StorageReview 企業實驗室網路基礎設施的骨幹，SX1036 交換器為測試最新的基於乙太網路的高速網路儲存設備提供了所需的連接。在運算方面，我們將 SX1036 與 Mellanox 的雙埠 10GbE 和 40GbE ConnectX-3 EN PCIe 3.0 乙太網路轉接器搭配使用，並透過 Mellanox QSFP 和 SFP+ 線纜進行連接，從而為我們的實驗室建立了一個完整的實驗室連接到一個完整的實驗室連接方案。
Mellanox SX1036 是一種架頂式接入交換機，可以提供 10Gb/s 的服務器連接和 40Gb/s 的上行鏈路。 SX1036 提供兩種外形規格：MSX1036B-1SFR 標準深度，氣流從後向前； 和 MSX1036B-1BRR 深度較短，氣流從前到後。 這兩種模型在其他方面的功能完全相同，我們的實驗室配備的是標準深度模型。
Mellanox SX1036 使用分支電纜提供 36 個 40GigE 端口或多達 64 個 10GigE 端口。 當以 40GigE 運行時，Mellanox 指定 230nsec 延遲，250GigE 時為 10nsec 延遲。
Mellanox SX1036 第 2 層特性：
- 48K L2 轉發條目
- 802.1w 快速生成樹協議
- 802.1Qbb 優先流量控制 (PFC)
- 靜態MAC
- 802.3x 流量控制
- VLAN 802.1Q (4K)
- IGMP v1,v2
- 訪問控制列表 (L2-L4)
- 802.3ad 鏈路聚合/LACP（16 個端口/通道，每個系統 32 個組）
- 802.1Qaz 增強傳輸選擇
- （ETS）
- 巨型幀（9216 字節）
支持的模塊和電纜
- QSFP–40GbE 模塊
- QSA-QSFP 轉 SFP+ 適配器
- QSFP 到 QSFP 電纜（1M 或 3M）
- QSFP 分路器電纜 40GbE 至 4x10GbE
ConnectX-3 EN 以太網適配器和 QSFP/SFP+ 佈線
我們已將 SX1036 與 Mellanox 最新的 ConnectX-3 EN PCIe 3.0 以太網適配器配對，後者可以作為端到端 40Gb/s 解決方案的一部分與 SX1036 一起部署，以最大限度地提高吞吐量或提供混合 10Gb/s 連接，用於以 10Gb/s 服務器 NIC 為例。 我們有雙端口 10Gb/s 卡和雙端口 40Gb/s 卡來測試 SX1036。
ConnectX-3 EN 平台提供了多種技術來優化虛擬化環境中的網絡性能，包括單根 IOV、地址轉換和保護、每個虛擬機的多個隊列以及 VMware NetQueue 支持。 它還通過聚合以太網、無狀態 TCP/UDP/IP 和智能中斷合併為 RDMA 提供 CPU 卸載。
為了完善端到端 Mellanox 網絡配置，我們在實驗室中使用了各種 Mellanox QSFP 和 SFP+ 佈線解決方案。 為了將 10GbE 計算和網絡存儲解決方案連接到 SX1036 交換機，我們將多個端口配置為扇出模式，將單個 40GbE 端口轉換為四個 10GbE 連接。 使用 Mellanox QSFP 分路器電纜，一根電纜可以讓我們將交換機連接到兩個或四個設備。
上面顯示的是 SFP+（增強型小型可插拔）和 QSFP（四路小型可插拔）連接器，我們分別使用它們連接到 10GbE 和 40GbE 設備。
設計和建造
交換機的連接器側有 36 個 QSFP 端口，排成兩排，每排 18 個端口。 前面板具有系統狀態 LED 和管理連接端口。 端口上方是相應的狀態 LED。 標有“MGT”的 RJ-45 連接提供遠程管理訪問。 USB 接口也可用於更新 MLNX-OS。
交換機的電源側在左側包括一個工廠安裝的熱插拔 PSU，在右側為可選的第二個 PSU 提供冗餘的空白蓋板，以及一個熱插拔風扇托架。 每個 PSU 都有一個 2 色狀態 LED。 後面板左側有一個 I2C 連接器，用於調試和故障排除。 如果交換機的固件損壞或無法正常升級，此連接器可用於安裝固件升級。
安裝和初始設置
該交換機可以安裝在深度為 19cm 至 40cm 的任何標準 80 英寸機架中。 Mellanox 為 SX1036 提供兩種安裝套件選項：長套件和短套件。 標準 (MSX1036B-1SFR) 和短 (MSX1036B-1BRR) SX1036 開關都可以使用長導軌套件進行安裝。 短套件僅適用於短開關。 SX1036 重約 21 磅，這不是機架中最重的設備，但仍需要仔細協調才能讓一個人安裝。
36 個 QSFP 端口中的每一個都能夠達到 40Gb/s 以及 10Gb/s，使用 QSA QSFP 到 SFP+ 適配器或 QSFP 到 SFP+ Mellanox 電纜。 某些端口可以通過使用 QSFP 1X4 分支電纜將一個 40 Gb/s 端口分成 4 個通道（4 個 SFP+ 連接器）來拆分。 其他端口可以拆分為 2 個 10 Gb/s 端口，僅使用通道 1 和 2。 使用分支電纜，您可以實現總共 64 個 10Gb/s 端口。
首次配置 SX1036 時，您必須使用主機 PC 上提供的線束和終端仿真軟件與交換機的控制台 RJ-9 端口建立 DB45 連接。 一旦管理員通過控制台建立了基本設置，就可以啟用 MLNX-OS 遠程和 Web 管理功能。
散熱
根據 SX1036 型號，有兩種可能的氣流方向。 標準深度 SX1036 從後向前氣流，而短深度版本使用從前到後的氣流。 當環境溫度保持在 1036 攝氏度或 45 華氏度以下時，SX113 可以在風扇模塊中的三個風扇之一不工作的情況下運行。
要取出風扇模塊，您必須將兩個閂鎖推向彼此，同時將模塊向上拉出交換機。 如果您在交換機通電時卸下風扇，則一旦卸下風扇，相關模塊的風扇狀態指示燈就會熄滅。
安裝風扇模塊時，將其滑入開口，直到開始感覺到輕微的阻力，然後繼續按壓直至其完全就位，並且當開關通電時相應的風扇狀態指示燈顯示綠色。
電力
據 Mellanox 稱，SX1036 的典型功耗為 86W，包括每個端口 1.3 瓦。 最大功耗為 100W，SX1036 的輸入電壓範圍為 100 至 240 VAC。 SX1036 附帶一個電源，但可以使用額外的 PSU 來提供熱插拔冗餘電源。
安裝兩個電源後，可以在交換機運行時取出任一 PSU。 要取出 PSU，請拔下電源線，然後在向外拉 PSU 手柄的同時推動閂鎖釋放裝置。 要安裝 PSU，請將設備滑入開口，直到您開始感覺到輕微的阻力，然後繼續按壓直到 PSU 完全就位。 正確安裝 PSU 後，閂鎖將卡入到位，您可以連接電源線。
管理
SX1036 提供管理選項，包括支持 Mellanox 的統一結構管理器 (UFM) 和 MLNX-OS。 MLNX-OS 是 Mellanox 的標準管理軟件模塊，用於其基於 SwitchX 的託管交換機系統和 ConnectX-3 適配器系列，並包含在 SX1036 中。
MLNX-OS 軟件包括：CLI、WebUI、SNMP 和 XML 網關接口。 XML 網關提供了一個 XML 協議，可用於通過 HTTP/HTTPS 或 SSH 獲取和設置管理信息。 MLNX-OS 使用戶能夠定義和管理日誌記錄、電子郵件警報和安全功能，包括 RADIUS、TACACS+、AAA 和 LDAP。 MLNX-OS Web 界面提供帶有事件和錯誤日誌的端口狀態、圖形 CPU 負載顯示、圖形風扇速度隨時間變化的顯示、電源電壓警報以及帶有警報通知的圖形內部溫度顯示。
結語
Mellanox SX1036 10/40Gb 乙太網路交換器是StorageReview 企業實驗室的核心元件，它與 Mellanox 介面卡和線纜配合使用，為我們建構了一個完整的高速乙太網路架構。由於大多數企業級儲存陣列都整合了多個 10GbE 互連，Mellanox 產品為我們提供了必要的骨幹網絡，以便對硬碟和快閃記憶體陣列進行全面評估和壓力測試。對於高階陣列測試，我們的實驗室還配備了一套完整的 Mellanox InfiniBand 解決方案。隨著互連技術的快速發展，儲存已成為新的效能瓶頸。我們將不斷擴展陣列和伺服器的測試範圍，力求平衡這瓶頸，敬請關注後續內容。
Amazon