De Mellanox SX6036 is de tweede door Mellanox beheerde switch die in het rack wordt toegevoegd StorgeReview Enterprise Lab. De SX6036 is ontworpen voor top-of-rack leaf-connectiviteit, het bouwen van clusters en het vervoeren van geconvergeerd LAN- en SAN-verkeer. De geïntegreerde InfiniBand Subnet Manager kan een InfiniBand-structuur van maximaal 648 knooppunten ondersteunen. Hoewel we hebben vastgesteld dat 1GbE, 10GbE en 40GbE aantrekkelijke interconnects zijn in het lab, zijn er momenten waarop je gewoon wat meer vermogen nodig hebt om ervoor te zorgen dat opslag de bottleneck voor doorvoer en latentie is, niet de netwerkstructuur. Daartoe maken we gebruik van de InfiniBand-switch en aanverwante apparatuur op hoogwaardige opslagarrays en situaties waarin er niet alleen behoefte is aan snelheid, snelheid is een vereiste om zaken te doen.
StorageReview's Cluster-in-a-Box met drie Romley-servers, de Mellanox SX6036-switch en de EchoStreams FlacheSAN2
Het SX6036-switchsysteem van Mellanox maakt deel uit van de end-to-end Mellanox-verbindingsoplossing van ons lab, die ook onze Mellanox SX1036 10/40 Ethernet-switch omvat. De SX1036 deelt veel van zijn ontwerp en lay-out met de SX6036; net als de SX1036 is de SX6036 een 1U, 36-poorts switch. De SX6036 levert tot 56Gb/s volledige bidirectionele bandbreedte per poort, of cumulatief 4.032Tb/s niet-blokkerende bandbreedte, met 170ns poort-naar-poort latentie.
De FDR InfiniBand-technologie van Mellanox maakt gebruik van 64b/66b-codering en verhoogt de signaleringssnelheid per rijstrook tot 14 Gb/s bij gebruik met goedgekeurde Mellanox-kabels. Bij gebruik met aangewezen ConnectX-3-adapters ondersteunt de SX6036 ook FDR10, een niet-standaard InfiniBand-gegevenssnelheid. Met FDR10 heeft elke baan van een 4X-poort een bitsnelheid van 10.3125 Gb/s met een 64b/66b-codering, wat resulteert in een effectieve bandbreedte van 40 Gb/s, of 20% meer bandbreedte dan QDR.
Belangrijkste kenmerken van de SX6036
- 36 FDR-poorten (56Gb/s) in een 1U-switch
- 4Tb/s totale schakelcapaciteit
- Voldoet aan IBTA 1.21 en 1.3
- FDR/FDR10-ondersteuning voor Forward Error Correction (FEC)
- 9 virtuele rijstroken: 8 gegevens + 1 beheer
- 256 tot 4Kbyte MTU
- 4 x 48K invoer lineaire doorstuurdatabase
Komende functies
Mellanox heeft ook een reeks functies aangekondigd die via toekomstige updates zullen worden ingeschakeld. Deze updates zullen zich richten op:
- InfiniBand naar InfiniBand-routering
- Ondersteunt maximaal 8 meervoudige switchpartities
- Adaptieve routering
- Congestiecontrole
- Poort spiegelen
ConnectX-3 VPI-adapter
We hebben de SX6036 gekoppeld aan de ConnectX-3 VPI-adapterkaarten van Mellanox. Deze ConnectX-3-kaarten ondersteunen InfiniBand-, ethernet- en Data Center Bridging (DCB) fabric-connectiviteit om een flexibele verbindingsoplossing met automatische detectie te bieden. Met FlexBoot van ConnectX-3 kunnen servers opstarten vanaf externe opslagdoelen via InfiniBand of LAN.
ConnectX-3 Virtual Protocol Interconnect-adapters ondersteunen op OpenFabrics gebaseerde RDMA-protocollen en gebruiken IBTA RoCE om RDMA-services te leveren via Layer 2-ethernet.
Om onze end-to-end Mellanox-netwerkconfiguratie compleet te maken, gebruiken we Mellanox QSFP-bekabelingsoplossingen in ons lab voor onze InfiniBand-behoeften. Om 56Gb/s InfiniBand-adapters aan te sluiten op onze SX6036-switch, hebben we 0.5M, 1M en 3M passieve QSFP-kabels om te gebruiken, afhankelijk van hoe dicht de apparatuur bij elkaar is gegroepeerd.
Hierboven ziet u de QSFP-connector (Quad Small Form-factor Pluggable), die we gebruiken om 40GbE- of 56Gb/s InfiniBand-apparatuur aan te sluiten.
ConnectX-3 VPI-adapter Belangrijkste kenmerken
- Voldoet aan InfiniBand IBTA-specificatie 1.2.1
- 16 miljoen I/O-kanalen
- 256 tot 4Kbyte MTU, 1Gbyte berichten
- 1μs MPI ping-latentie
- Tot 56Gb/s InfiniBand of 40 Gigabit Ethernet per poort
- Precisiekloksynchronisatie
- Op hardware gebaseerde QoS en congestiecontrole
- Fibre Channel-inkapseling (FCoIB of FCoE)
- Ethernet-inkapseling (EoIB)
- RoHS-R6
- Op hardware gebaseerde I/O-virtualisatie
- Enkele wortel IOV
- Meerdere wachtrijen per virtuele machine
- Verbeterde QoS voor vNIC's
- VMware NetQueue-ondersteuning
CPU-offloading en versnelling
Connect-X biedt CPU-offloads voor protocolverwerking en overhead voor gegevensverplaatsing, zoals RDMA en semantiek voor verzenden/ontvangen. CORE-Direct ontlast applicatie-overhead, zoals het uitzenden en verzamelen van gegevens, evenals communicatieroutines voor wereldwijde synchronisatie. GPU-communicatieversnelling elimineert onnodige interne gegevensduplicatie om de looptijd te verkorten. Toepassingen die gebruikmaken van TCP/UDP/IP-transport profiteren van op hardware gebaseerde stateless offload-engines die de CPU-overhead van IP-transport verminderen.
Connect-X VPI-adapters:
- MCX353A-QCBT Enkele QDR 40Gb/s of 10GbE
- MCX354A-QCBT Dubbele QDR 40Gb/s of 10GbE
- MCX353A-FCBT Enkele FDR 56Gb/s of 40GbE
- MCX354A-FCBT Dubbele FDR 56Gb/s of 40GbE
Ontwerp en bouw
Deze switch kan worden geïnstalleerd in elk standaard 19-inch rack met een diepte van 40 cm tot 80 cm. De voedingszijde van de switch bevat een hot-swap voedingsmodule, een blind deksel wanneer deze niet is uitgerust met een redundante PSU en de hot-swap ventilatorlade.
De connectorzijde van de switch is voorzien van 36 QSFP-poorten, systeem-LED's en beheerverbindingspoorten.
Er zijn vijf beheergerelateerde interfaces:
- 2 X 100M/1Gb Ethernet-connectoren met het label "MGT"
- 1 USB-poort om software of firmware bij te werken.
- 1 connector met het label "CONSOLE" om verbinding te maken met de host-pc.
- 1 I2C-banaanconnector aan de voedingszijde voor diagnose en reparatie
De MSX6036 is verkrijgbaar met een standaard diepte (MSX6036F-1SFR en MSX6036T-1SFR) of een ontwerp met korte diepte (MSX6036F-1BRR en MSX6036T-1BRR) met voorwaartse en achterwaartse luchtstroomopties. Mellanox biedt lange en korte railkits voor de SX6036. Zowel de standaard als de korte schakelaars kunnen worden gemonteerd met behulp van de lange railkit, terwijl de korte kit alleen werkt met de korte schakelaar.
Power
De switch heeft auto-sensing ondersteuning voor 100-240 VAC PSU's. Zoals alle SwitchX QSFP-oplossingen van Mellanox, is de SX6036 ontworpen voor actieve kabels, met een maximaal vermogen per module van 2W. Typisch FDR-stroomverbruik is 231 W met actieve kabels of 126 W met passieve kabels.
De SX6036-switch is verkrijgbaar met één in de fabriek geïnstalleerde PSU. Er moet een redundante PSU worden toegevoegd om hot-swap vervanging te ondersteunen. De primaire voedingseenheid (PS1) bevindt zich aan de rechterkant van het voedingszijpaneel, met PS2 aan de linkerkant. Als er twee voedingen zijn geïnstalleerd, kan elke PSU worden verwijderd terwijl de switch in bedrijf is. Om een PSU eruit te halen, verwijdert u het netsnoer en drukt u vervolgens op de ontgrendeling terwijl u de PSU-hendel naar buiten trekt. Om een PSU te installeren, schuift u het apparaat in de opening totdat u een lichte weerstand voelt en blijft u drukken totdat de PSU volledig op zijn plaats zit. Wanneer de PSU correct is geïnstalleerd, klikt de vergrendeling op zijn plaats en kunt u het netsnoer aansluiten.
Koelen
De SX6036 biedt één redundante ventilatoreenheid met hot-swap-mogelijkheid en wordt geleverd met configuraties voor twee mogelijke luchtstroomrichtingen. Om de ventilatormodule eruit te halen, moet u beide vergrendelingen naar elkaar toe duwen terwijl u de module omhoog en uit de schakelaar trekt. Als u de ventilator verwijdert terwijl de schakelaar onder spanning staat, gaat de ventilatorstatusindicator voor de module in kwestie uit zodra de ventilator niet meer op zijn plaats zit.
Om een ventilatormodule te installeren, schuift u deze in de opening totdat u een lichte weerstand begint te voelen, en blijft u drukken totdat deze volledig op zijn plaats zit en de overeenkomstige ventilatorstatusindicator groen wordt weergegeven wanneer de schakelaar is ingeschakeld.
Management
Net als bij de SX1036, moet u de eerste keer dat u de SX6036 configureert, een DB9-verbinding tot stand brengen met de console RJ-45-poort van de switch met behulp van het meegeleverde harnas met terminalemulatiesoftware op de host-pc om externe en webbeheerfuncties in te schakelen . Mellanox biedt twee oplossingen voor het beheer van de SX6036. MLNX-OS levert chassisbeheer voor het beheer van firmware, voedingen, ventilatoren, poorten en andere interfaces, evenals geïntegreerd subnetbeheer. SX6036 kan ook worden gekoppeld aan Unified Fabric Manager (UFM) om scale-out InfiniBand-computeromgevingen te beheren.
MLNX-OS omvat een CLI, WebUI, SNMP en chassisbeheersoftware en IB-beheersoftware (OpenSM). De SX6036 InfiniBand Subnet Manager ondersteunt tot 648 nodes. (Mellanox raadt zijn Unified Fabric Manager aan voor fabrics die meer dan 648 knooppunten bevatten.) De InfiniBand Subnet Manager ontdekt en past netwerkverkeergerelateerde configuraties zoals QoS, routering en partitionering toe op de fabric-apparaten. Elk subnet heeft één subnetmanager nodig die wordt uitgevoerd in de switch zelf (switchgebaseerd) of op een van de knooppunten die is verbonden met de fabric (hostgebaseerd).
Conclusie
De Mellanox SX6036 56Gb InfiniBand-switch is een kerncomponent van de StorageReview Enterprise Lab, gecombineerd met Mellanox-interfacekaarten en bekabeling om ons een compleet, supersnel InfiniBand-weefsel te geven. Met nieuw flash-opslagarrays door de integratie van 56Gb IB-interconnects geeft de Mellanox-netwerkuitrusting ons de ruggengraat die we nodig hebben om de snelste opslagarrays goed te beoordelen en te belasten. Naarmate interconnects sneller gaan, is opslag het nieuwe prestatieknelpunt. Blijf op de hoogte terwijl we proberen de vergelijking in evenwicht te brengen met een groeiende reeks arrays en servers die hopen de InfiniBand-structuur te benadrukken.
Productpagina Mellanox SX6036 InfiniBand-schakelaar
Amazon