Mellanox SX6036 är den andra Mellanox-hanterade switchen som går med i racket StorgeReview Enterprise Lab. SX6036 är designad för top-of-rack lövanslutning, bygga kluster och bära konvergerad LAN- och SAN-trafik. Den integrerade InfiniBand Subnet Manager kan stödja ett InfiniBand-tyg med upp till 648 noder. Även om vi har funnit att 1GbE, 10GbE och 40GbE är övertygande sammankopplingar i labbet, finns det tillfällen då du bara behöver lite mer kraft för att säkerställa att lagring är flaskhalsen för genomströmning och latens, inte nätverksstrukturen. För detta ändamål använder vi InfiniBand-switchen och relaterad utrustning på avancerade lagringsarrayer och situationer där det inte bara finns ett behov av hastighet, utan hastighet är ett krav för att göra affärer.
Mellanox SX6036 är den andra Mellanox-hanterade switchen som går med i racket StorgeReview Enterprise Lab. SX6036 är designad för top-of-rack lövanslutning, bygga kluster och bära konvergerad LAN- och SAN-trafik. Den integrerade InfiniBand Subnet Manager kan stödja ett InfiniBand-tyg med upp till 648 noder. Även om vi har funnit att 1GbE, 10GbE och 40GbE är övertygande sammankopplingar i labbet, finns det tillfällen då du bara behöver lite mer kraft för att säkerställa att lagring är flaskhalsen för genomströmning och latens, inte nätverksstrukturen. För detta ändamål använder vi InfiniBand-switchen och relaterad utrustning på avancerade lagringsarrayer och situationer där det inte bara finns ett behov av hastighet, utan hastighet är ett krav för att göra affärer.
StorageReviews Cluster-in-a-Box med tre Romley-servrar, Mellanox SX6036-switchen och EchoStreams FlacheSAN2
Mellanox SX6036-switchsystem är en del av vårt labbs helhetslösning mellan Mellanox-interconnect, som även inkluderar vår Mellanox SX1036 10/40 Ethernet-switch. SX1036 delar mycket av sin design och layout med SX6036; liksom SX1036 är SX6036 en 1U, 36-portars switch. SX6036 levererar upp till 56 Gb/s full dubbelriktad bandbredd per port, eller kumulativt 4.032 Tb/s icke-blockerande bandbredd, med 170ns port-till-port latens.
Mellanox FDR InfiniBand-teknik använder 64b/66b-kodning och ökar signaleringshastigheten per fil till 14 Gb/s när den används med godkända Mellanox-kablar. När den används med utsedda ConnectX-3-adaptrar, stöder SX6036 även FDR10, en icke-standardiserad InfiniBand-datahastighet. Med FDR10 kör varje fil i en 4X-port en bithastighet på 10.3125 Gb/s med en 64b/66b-kodning, vilket resulterar i en effektiv bandbredd på 40 Gb/s, eller 20 % mer bandbredd över QDR.
SX6036 Nyckelfunktioner
- 36 FDR (56Gb/s)-portar i en 1U-switch
- 4Tb/s sammanlagd växlingskapacitet
- Överensstämmer med IBTA 1.21 och 1.3
- FDR/FDR10-stöd för Forward Error Correction (FEC)
- 9 virtuella banor: 8 data + 1 hantering
- 256 till 4Kbyte MTU
- 4 x 48K ingångsdatabas för linjär vidarebefordran
Kommande funktioner
Mellanox har också tillkännagett en svit med funktioner som kommer att aktiveras via framtida uppdateringar. Dessa uppdateringar kommer att fokusera på:
- InfiniBand till InfiniBand Routing
- Stöder upp till 8 multipla switchpartitioner
- Adaptiv routing
- Congestion kontroll
- Portspegling
ConnectX-3 VPI-adapter
Vi har matchat SX6036 med Mellanox ConnectX-3 VPI-adapterkort. Dessa ConnectX-3-kort stöder InfiniBand-, Ethernet- och Data Center Bridging (DCB) tyganslutning för att tillhandahålla en flexibel sammankopplingslösning med automatisk avkänningskapacitet. ConnectX-3:s FlexBoot gör det möjligt för servrar att starta från fjärrlagringsmål via InfiniBand eller LAN.
ConnectX-3 Virtual Protocol Interconnect-adaptrar stöder OpenFabrics-baserade RDMA-protokoll och använder IBTA RoCE för att tillhandahålla RDMA-tjänster över Layer 2 Ethernet.
För att slutföra vår Mellanox-nätverkskonfiguration från slut till ände använder vi Mellanox QSFP-kabellösningar i vårt labb för våra InfiniBand-behov. För att koppla 56Gb/s InfiniBand-adaptrar till vår SX6036-switch har vi 0.5M, 1M och 3M passiva QSFP-kablar att använda beroende på hur nära utrustningen är grupperad.
Ovan visas QSFP-kontakten (Quad Small Form-factor Pluggable), som vi använder för att ansluta 40GbE eller 56Gb/s InfiniBand-utrustning.
ConnectX-3 VPI Adapter Nyckelfunktioner
- InfiniBand IBTA Specification 1.2.1 kompatibel
- 16 miljoner I/O-kanaler
- 256 till 4Kbyte MTU, 1Gbyte meddelanden
- 1μs MPI-pinglatens
- Upp till 56 Gb/s InfiniBand eller 40 Gigabit Ethernet per port
- Precision Clock Synchronization
- Hårdvarubaserad QoS och överbelastningskontroll
- Fiberkanalinkapsling (FCoIB eller FCoE)
- Ethernet-inkapsling (EoIB)
- RoHS-R6
- Hårdvarubaserad I/O-virtualisering
- Enkelrot IOV
- Flera köer per virtuell maskin
- Förbättrad QoS för vNIC
- VMware NetQueue-stöd
CPU-avlastning och acceleration
Connect-X har CPU-avlastningar för protokollbearbetning och dataöverföringsoverhead såsom RDMA och sändnings-/mottagningssemantik. CORE-Direct avlastar applikationsoverhead såsom datasändning och insamling samt globala kommunikationsrutiner för synkronisering. GPU-kommunikationsacceleration eliminerar onödig intern dataduplicering för att minska körtiden. Applikationer som använder TCP/UDP/IP-transport drar nytta av hårdvarubaserade tillståndslösa avlastningsmotorer som minskar CPU-overheaden för IP-transport.
Connect-X VPI-adaptrar:
- MCX353A-QCBT Single QDR 40Gb/s eller 10GbE
- MCX354A-QCBT Dual QDR 40Gb/s eller 10GbE
- MCX353A-FCBT Single FDR 56Gb/s eller 40GbE
- MCX354A-FCBT Dual FDR 56Gb/s eller 40GbE
Design och bygga
Denna omkopplare kan installeras i vilket standard 19-tumsställ som helst med djup på 40 cm till 80 cm. Strömsidan av switchen inkluderar en hot-swap strömförsörjningsmodul, ett tomt lock när det inte är utrustat med en redundant PSU och hot-swap fläktbricka.
Kontaktsidan på switchen har 36 QSFP-portar, systemlysdioder och hanteringsportar.
Det finns fem hanteringsrelaterade gränssnitt:
- 2 x 100M/1Gb Ethernet-kontakter märkta "MGT"
- 1 USB-port för att uppdatera programvara eller firmware.
- 1 kontakt som är märkt "CONSOLE" för att ansluta till värddatorn.
- 1 I2C banankontakt på strömförsörjningssidan för diagnostik och reparationsanvändning
MSX6036 finns tillgänglig i ett standarddjup (MSX6036F-1SFR och MSX6036T-1SFR) eller en design med kort djup (MSX6036F-1BRR och MSX6036T-1BRR) med alternativ för framåt och bakåt luftflöde. Mellanox erbjuder långa och korta skensatser för SX6036. Både standard- och kortbrytarna kan monteras med den långa rälssatsen, medan den korta satsen endast fungerar med den korta strömbrytaren.
Effekt
Switchen har stöd för automatisk avkänning för 100-240 VAC PSU:er. Liksom alla Mellanox SwitchX QSFP-lösningar är SX6036 designad för aktiva kablar, med en maxeffekt per modul på 2W. Typisk FDR-strömförbrukning är 231W med aktiva kablar eller 126W med passiva kablar.
SX6036-switchen är tillgänglig med en fabriksinstallerad PSU. En redundant PSU måste läggas till för att stödja hot-swap-ersättning. Den primära strömförsörjningsenheten (PS1) är placerad på höger sida av sidopanelen, med PS2 på vänster sida. Med två nätaggregat installerade kan båda nätaggregaten dras ut medan omkopplaren är i drift. För att dra ut en PSU tar du bort nätsladden och trycker sedan på spärrhaken samtidigt som du drar ut PSU-handtaget. För att installera en PSU, skjut in enheten i öppningen tills du börjar känna ett lätt motstånd och fortsätt sedan att trycka tills PSU är helt på plats. När nätaggregatet är korrekt installerat snäpper spärren på plats och du kan ansluta nätsladden.
Kylning
SX6036 erbjuder en redundant fläktenhet med hot-swap-kapacitet och kommer in med konfigurationer för två möjliga luftflödesriktningar. För att dra ut fläktmodulen måste du trycka båda spärrarna mot varandra samtidigt som du drar modulen upp och ut ur omkopplaren. Om du tar bort fläkten medan strömbrytaren är påslagen, kommer fläktstatusindikatorn för modulen i fråga att stängas av när fläkten är urkopplad.
För att installera en fläktmodul skjuter du in den i öppningen tills du börjar känna ett lätt motstånd, fortsätter sedan att trycka tills den sitter helt och hållet och motsvarande fläktstatusindikator visar grönt när strömbrytaren slås på.
Verksamhetsledningen
Precis som med SX1036, första gången du konfigurerar SX6036, måste du upprätta en DB9-anslutning till konsolens RJ-45-port på switchen med hjälp av den medföljande kabelnätet med terminalemuleringsprogramvara på värddatorn för att aktivera fjärr- och webbhanteringsfunktioner . Mellanox erbjuder två lösningar för att hantera SX6036. MLNX-OS levererar chassihantering för att hantera firmware, strömförsörjning, fläktar, portar och andra gränssnitt samt integrerad subnäthantering. SX6036 kan också kopplas till Unified Fabric Manager (UFM) för att hantera utskalande InfiniBand-datormiljöer.
MLNX-OS inkluderar en CLI, WebUI, SNMP och chassihanteringsprogram och IB-hanteringsprogramvara (OpenSM). SX6036 InfiniBand Subnet Manager stöder upp till 648 noder. (Mellanox rekommenderar sin Unified Fabric Manager för tyger som innehåller fler än 648 noder.) InfiniBand Subnet Manager upptäcker och tillämpar nätverkstrafikrelaterade konfigurationer som QoS, routing, partitionering på tygenheterna. Varje subnät behöver en subnäthanterare som körs i antingen själva switchen (switchbaserad) eller på en av noderna som är ansluten till strukturen (värdbaserad).
Slutsats
Mellanox SX6036 56 Gb InfiniBand Switch är en kärnkomponent i StorageReview Enterprise Lab, parning med Mellanox-gränssnittskort och kablar för att ge oss ett komplett höghastighets-InfiniBand-tyg. Med nya flash-lagringsmatriser Genom att integrera 56 Gb IB-anslutningar ger Mellanox nätverksutrustning oss den ryggrad vi behöver för att korrekt granska och betona de snabbaste lagringsuppsättningarna. Eftersom sammankopplingar ökar i takt är lagring den nya prestandaflaskhalsen. Håll ögonen öppna när vi försöker balansera ekvationen med en expanderande uppsättning arrayer och servrar som hoppas kunna stressa InfiniBand-tyget.
Mellanox SX6036 InfiniBand Switch produktsida
ConnectX-3 VPI Adapter produktsida
