Der Mellanox SX6036 ist der zweite von Mellanox verwaltete Switch im Rack StorgeReview Enterprise Lab. Der SX6036 ist für Top-of-Rack-Leaf-Konnektivität, den Aufbau von Clustern und die Übertragung von konvergiertem LAN- und SAN-Verkehr konzipiert. Der integrierte InfiniBand Subnet Manager kann eine InfiniBand-Struktur mit bis zu 648 Knoten unterstützen. Während wir im Labor festgestellt haben, dass 1GbE, 10GbE und 40GbE überzeugende Verbindungen sind, gibt es Zeiten, in denen Sie einfach etwas mehr Leistung benötigen, um sicherzustellen, dass der Speicher den Durchsatz- und Latenz-Engpass darstellt und nicht die Netzwerkstruktur. Zu diesem Zweck nutzen wir den InfiniBand-Switch und zugehörige Geräte auf High-End-Speicher-Arrays und in Situationen, in denen nicht nur Geschwindigkeit erforderlich ist, sondern Geschwindigkeit eine Voraussetzung für die Geschäftsabwicklung ist.
Der Mellanox SX6036 ist der zweite von Mellanox verwaltete Switch im Rack StorgeReview Enterprise Lab. Der SX6036 ist für Top-of-Rack-Leaf-Konnektivität, den Aufbau von Clustern und die Übertragung von konvergiertem LAN- und SAN-Verkehr konzipiert. Der integrierte InfiniBand Subnet Manager kann eine InfiniBand-Struktur mit bis zu 648 Knoten unterstützen. Während wir im Labor festgestellt haben, dass 1GbE, 10GbE und 40GbE überzeugende Verbindungen sind, gibt es Zeiten, in denen Sie einfach etwas mehr Leistung benötigen, um sicherzustellen, dass der Speicher den Durchsatz- und Latenz-Engpass darstellt und nicht die Netzwerkstruktur. Zu diesem Zweck nutzen wir den InfiniBand-Switch und zugehörige Geräte auf High-End-Speicher-Arrays und in Situationen, in denen nicht nur Geschwindigkeit erforderlich ist, sondern Geschwindigkeit eine Voraussetzung für die Geschäftsabwicklung ist.
Cluster-in-a-Box von StorageReview mit drei Romley-Servern, dem Mellanox SX6036-Switch und dem EchoStreams FlacheSAN2
Das SX6036-Switch-System von Mellanox ist Teil der End-to-End-Mellanox-Verbindungslösung unseres Labors, zu der auch unser Mellanox SX1036 10/40 Ethernet-Switch gehört. Der SX1036 hat große Teile seines Designs und Layouts mit dem SX6036 gemeinsam; Wie der SX1036 ist der SX6036 ein 1U-Switch mit 36 Ports. Der SX6036 liefert bis zu 56 Gbit/s volle bidirektionale Bandbreite pro Port oder kumulativ 4.032 Tbit/s nicht blockierende Bandbreite mit einer Port-zu-Port-Latenz von 170 ns.
Die FDR InfiniBand-Technologie von Mellanox verwendet 64b/66b-Kodierung und erhöht die Signalrate pro Spur auf 14 Gbit/s, wenn sie mit zugelassenen Mellanox-Kabeln verwendet wird. Bei Verwendung mit bestimmten ConnectX-3-Adaptern unterstützt der SX6036 auch FDR10, eine nicht standardmäßige InfiniBand-Datenrate. Mit FDR10 läuft auf jeder Lane eines 4X-Ports eine Bitrate von 10.3125 Gbit/s mit einer 64b/66b-Kodierung, was zu einer effektiven Bandbreite von 40 Gbit/s oder 20 % mehr Bandbreite gegenüber QDR führt.
Hauptmerkmale des SX6036
- 36 FDR-Ports (56 Gbit/s) in einem 1U-Switch
- 4 Tbit/s Gesamt-Switching-Kapazität
- Konform mit IBTA 1.21 und 1.3
- FDR/FDR10-Unterstützung für Forward Error Correction (FEC)
- 9 virtuelle Spuren: 8 Daten + 1 Verwaltung
- 256 bis 4 Kbyte MTU
- Lineare Weiterleitungsdatenbank mit 4 x 48 KB-Einträgen
Zukünftige Features
Mellanox hat außerdem eine Reihe von Funktionen angekündigt, die über zukünftige Updates aktiviert werden. Diese Updates konzentrieren sich auf:
- InfiniBand-zu-InfiniBand-Routing
- Unterstützt bis zu 8 Multiple-Switch-Partitionen
- Adaptives Routing
- Überlastungskontrolle
- Port-Mirroring
ConnectX-3 VPI-Adapter
Wir haben den SX6036 mit den ConnectX-3 VPI-Adapterkarten von Mellanox kombiniert. Diese ConnectX-3-Karten unterstützen InfiniBand-, Ethernet- und Data Center Bridging (DCB)-Fabric-Konnektivität und bieten so eine flexible Verbindungslösung mit automatischer Erkennungsfunktion. FlexBoot von ConnectX-3 ermöglicht Servern das Booten von Remote-Speicherzielen über InfiniBand oder LAN.
ConnectX-3 Virtual Protocol Interconnect-Adapter unterstützen OpenFabrics-basierte RDMA-Protokolle und nutzen IBTA RoCE, um RDMA-Dienste über Layer-2-Ethernet bereitzustellen.
Um unsere End-to-End-Netzwerkkonfiguration von Mellanox zu vervollständigen, verwenden wir in unserem Labor Mellanox QSFP-Verkabelungslösungen für unsere InfiniBand-Anforderungen. Um 56-Gbit/s-InfiniBand-Adapter an unseren SX6036-Switch anzuschließen, können wir passive QSFP-Kabel mit 0.5 M, 1 M und 3 M verwenden, je nachdem, wie eng die Geräte zusammen gruppiert sind.
Oben ist der QSFP-Anschluss (Quad Small Form-factor Pluggable) abgebildet, den wir zum Anschluss von 40-GbE- oder 56-Gb/s-InfiniBand-Geräten verwenden.
Hauptmerkmale des ConnectX-3 VPI-Adapters
- Entspricht der InfiniBand IBTA-Spezifikation 1.2.1
- 16 Millionen E/A-Kanäle
- 256 bis 4 KB MTU, 1 GB Nachrichten
- 1 μs MPI-Ping-Latenz
- Bis zu 56 Gbit/s InfiniBand oder 40 Gigabit Ethernet pro Port
- Präzise Taktsynchronisation
- Hardwarebasierte QoS und Überlastungskontrolle
- Fibre-Channel-Kapselung (FCoIB oder FCoE)
- Ethernet-Kapselung (EoIB)
- RoHS-R6
- Hardwarebasierte I/O-Virtualisierung
- Single-Root-IOV
- Mehrere Warteschlangen pro virtueller Maschine
- Verbesserte QoS für vNICs
- VMware NetQueue-Unterstützung
CPU-Entlastung und -Beschleunigung
Connect-X bietet CPU-Offloads für Protokollverarbeitung und Datenbewegungs-Overhead wie RDMA und Sende-/Empfangssemantik. CORE-Direct entlastet den Anwendungsaufwand wie Datenverbreitung und -erfassung sowie globale Synchronisierungs-Kommunikationsroutinen. Die GPU-Kommunikationsbeschleunigung eliminiert unnötige interne Datenduplizierungen und verkürzt so die Laufzeit. Anwendungen, die TCP/UDP/IP-Transport nutzen, profitieren von hardwarebasierten Stateless-Offload-Engines, die den CPU-Overhead des IP-Transports reduzieren.
Connect-X VPI-Adapter:
- MCX353A-QCBT Single QDR 40 Gbit/s oder 10 GbE
- MCX354A-QCBT Dual QDR 40 Gbit/s oder 10 GbE
- MCX353A-FCBT Einzelner FDR 56 Gbit/s oder 40 GbE
- MCX354A-FCBT Dual FDR 56 Gbit/s oder 40 GbE
Designen und Bauen
Dieser Switch kann in jedes Standard-19-Zoll-Rack mit einer Tiefe von 40 cm bis 80 cm eingebaut werden. Die Stromseite des Switches umfasst ein Hot-Swap-Netzteilmodul, eine Blindabdeckung, wenn er nicht mit einem redundanten Netzteil ausgestattet ist, und den Hot-Swap-Lüftereinschub.
Die Anschlussseite des Switches verfügt über 36 QSFP-Ports, System-LEDs und Verwaltungsverbindungsports.
Es gibt fünf verwaltungsbezogene Schnittstellen:
- 2 x 100 M/1 Gbit Ethernet-Anschlüsse mit der Bezeichnung „MGT“
- 1 USB-Anschluss zum Aktualisieren von Software oder Firmware.
- 1 Anschluss mit der Bezeichnung „CONSOLE“ zum Anschluss an den Host-PC.
- 1 I2C-Bananenstecker auf der Netzteilseite für Diagnose- und Reparaturzwecke
Der MSX6036 ist in einer Standardtiefe (MSX6036F-1SFR und MSX6036T-1SFR) oder einer kurzen Bautiefe (MSX6036F-1BRR und MSX6036T-1BRR) mit Vorwärts- und Rückwärtsluftstromoptionen erhältlich. Mellanox bietet lange und kurze Schienensätze für den SX6036 an. Sowohl die Standard- als auch die kurzen Schalter können mit dem langen Schienensatz montiert werden, während der kurze Bausatz nur mit dem kurzen Schalter funktioniert.
Power
Der Switch bietet Auto-Sensing-Unterstützung für 100-240-VAC-Netzteile. Wie alle SwitchX-QSFP-Lösungen von Mellanox ist der SX6036 für aktive Kabel konzipiert, mit einer maximalen Leistung pro Modul von 2 W. Der typische FDR-Stromverbrauch beträgt 231 W mit aktiven Kabeln oder 126 W mit passiven Kabeln.
Der SX6036-Switch ist mit einem werkseitig installierten Netzteil erhältlich. Zur Unterstützung des Hot-Swap-Austauschs muss ein redundantes Netzteil hinzugefügt werden. Das primäre Netzteil (PS1) befindet sich auf der rechten Seite der Stromversorgungsseitenwand, PS2 auf der linken Seite. Wenn zwei Netzteile installiert sind, kann jedes Netzteil entnommen werden, während der Switch in Betrieb ist. Um ein Netzteil herauszunehmen, entfernen Sie das Netzkabel, drücken dann auf die Entriegelung und ziehen gleichzeitig den Griff des Netzteils nach außen. Um ein Netzteil zu installieren, schieben Sie das Gerät in die Öffnung, bis Sie einen leichten Widerstand spüren, und drücken Sie dann weiter, bis das Netzteil vollständig sitzt. Wenn das Netzteil ordnungsgemäß installiert ist, rastet der Riegel ein und Sie können das Netzkabel anschließen.
Kühlung:
Der SX6036 bietet eine redundante Lüftereinheit mit Hot-Swap-Fähigkeit und ist mit Konfigurationen für zwei mögliche Luftstromrichtungen erhältlich. Um das Lüftermodul herauszuziehen, müssen Sie beide Riegel zueinander drücken und gleichzeitig das Modul nach oben aus dem Schalter ziehen. Wenn Sie den Lüfter entfernen, während der Schalter mit Strom versorgt wird, erlischt die Lüfterstatusanzeige für das betreffende Modul, sobald der Lüfter entfernt wird.
Um ein Lüftermodul zu installieren, schieben Sie es in die Öffnung, bis Sie einen leichten Widerstand spüren. Drücken Sie dann weiter, bis es vollständig sitzt und die entsprechende Lüfterstatusanzeige grün leuchtet, wenn der Schalter eingeschaltet ist.
Management
Wie beim SX1036 müssen Sie bei der ersten Konfiguration des SX6036 mithilfe des mitgelieferten Kabelbaums mit Terminalemulationssoftware auf dem Host-PC eine DB9-Verbindung zum Konsolen-RJ-45-Port des Switches herstellen, um Remote- und Webverwaltungsfunktionen zu aktivieren . Mellanox bietet zwei Lösungen für die Verwaltung des SX6036. MLNX-OS bietet Gehäuseverwaltung zur Verwaltung von Firmware, Netzteilen, Lüftern, Ports und anderen Schnittstellen sowie eine integrierte Subnetzverwaltung. SX6036 kann auch mit Unified Fabric Manager (UFM) gekoppelt werden, um Scale-out-InfiniBand-Computing-Umgebungen zu verwalten.
MLNX-OS umfasst eine CLI-, WebUI-, SNMP- und Gehäuseverwaltungssoftware sowie eine IB-Verwaltungssoftware (OpenSM). Der SX6036 InfiniBand Subnet Manager unterstützt bis zu 648 Knoten. (Mellanox empfiehlt seinen Unified Fabric Manager für Fabrics, die mehr als 648 Knoten umfassen.) Der InfiniBand Subnet Manager erkennt und wendet netzwerkverkehrsbezogene Konfigurationen wie QoS, Routing und Partitionierung auf die Fabric-Geräte an. Für jedes Subnetz muss ein Subnetzmanager ausgeführt werden, entweder im Switch selbst (Switch-basiert) oder auf einem der Knoten, der mit der Fabric verbunden ist (Host-basiert).
Fazit
Der Mellanox SX6036 56Gb InfiniBand Switch ist eine Kernkomponente des StorageReview Enterprise LabIn Kombination mit Mellanox-Schnittstellenkarten und -Kabeln erhalten wir eine vollständige Hochgeschwindigkeits-InfiniBand-Struktur. Mit neuem Flash-Speicher-Arrays Durch die Integration von 56-Gbit-IB-Verbindungen bietet uns die Mellanox-Netzwerkausrüstung das Rückgrat, das wir benötigen, um die schnellsten Speicher-Arrays ordnungsgemäß zu überprüfen und zu belasten. Da die Vernetzung immer schneller wird, stellt der Speicher den neuen Leistungsengpass dar. Bleiben Sie auf dem Laufenden, während wir versuchen, die Gleichung mit einer wachsenden Anzahl von Arrays und Servern auszugleichen, die hoffen, die InfiniBand-Struktur zu belasten.
Mellanox SX6036 InfiniBand Switch Produktseite
Produktseite des ConnectX-3 VPI-Adapters
Besprechen Sie diese Rezension
