Lo switch Mellanox SX6036 è il secondo switch gestito Mellanox ad essere installato nel rack del laboratorio aziendale di StorageReview . L'SX6036 è progettato per la connettività leaf top-of-rack, la creazione di cluster e il trasporto di traffico LAN e SAN convergente. Il gestore di sottorete InfiniBand integrato può supportare una rete InfiniBand fino a 648 nodi. Sebbene nel nostro laboratorio abbiamo riscontrato che le interconnessioni a 1 GbE, 10 GbE e 40 GbE siano valide, a volte è necessaria un po' più di potenza per garantire che il collo di bottiglia in termini di throughput e latenza sia rappresentato dallo storage e non dalla rete. A tal fine, stiamo sfruttando lo switch InfiniBand e le relative apparecchiature su array di storage di fascia alta e in situazioni in cui la velocità non è solo un'esigenza, ma un requisito fondamentale per il business.
Il Cluster-in-a-Box di StorageReview con tre server Romley, lo switch Mellanox SX6036 e il EchoStreams FlacheSAN2
Il sistema di switch SX6036 di Mellanox fa parte della soluzione di interconnessione Mellanox end-to-end del nostro laboratorio, che include anche il nostro switch Ethernet Mellanox SX1036 10/40. L'SX1036 condivide gran parte del design e del layout con l'SX6036; come l'SX1036, l'SX6036 è uno switch 1U a 36 porte. L'SX6036 offre fino a 56 Gb/s di larghezza di banda bidirezionale completa per porta o complessivamente 4.032 Tb/s di larghezza di banda non bloccante, con una latenza da porta a porta di 170 ns.
La tecnologia FDR InfiniBand di Mellanox utilizza la codifica 64b/66b e aumenta la velocità di segnalazione per corsia a 14 Gb/s se utilizzata con cavi Mellanox approvati. Se utilizzato con gli adattatori ConnectX-3 designati, l'SX6036 supporta anche FDR10, una velocità dati InfiniBand non standard. Con FDR10 ciascuna corsia di una porta 4X esegue una velocità in bit di 10.3125 Gb/s con una codifica 64b/66b, risultando in una larghezza di banda effettiva di 40 Gb/s, ovvero il 20% di larghezza di banda in più rispetto a QDR.
Caratteristiche principali dell'SX6036
- 36 porte FDR (56 Gb/s) in uno switch 1U
- Capacità di switching aggregata di 4 TB/s
- Conforme a IBTA 1.21 e 1.3
- Supporto FDR/FDR10 per la correzione degli errori in avanti (FEC)
- 9 corsie virtuali: 8 dati + 1 gestionale
- MTU da 256 a 4Kbyte
- Database di inoltro lineare con 4 voci da 48K
Caratteristiche imminenti
Mellanox ha inoltre annunciato una suite di funzionalità che sarà abilitata tramite futuri aggiornamenti. Questi aggiornamenti riguarderanno:
- Instradamento da InfiniBand a InfiniBand
- Supporta fino a 8 partizioni multiple di switch
- Routing adattivo
- Controllo della congestione
- Port mirroring
Adattatore VPI ConnectX-3
Abbiamo abbinato l'SX6036 alle schede adattatori ConnectX-3 VPI di Mellanox. Queste schede ConnectX-3 supportano la connettività fabric InfiniBand, Ethernet e Data Center Bridging (DCB) per fornire una soluzione di interconnessione flessibile con funzionalità di rilevamento automatico. FlexBoot di ConnectX-3 consente ai server di avviarsi da destinazioni di archiviazione remote tramite InfiniBand o LAN.
Gli adattatori di interconnessione del protocollo virtuale ConnectX-3 supportano i protocolli RDMA basati su OpenFabrics e utilizzano IBTA RoCE per fornire servizi RDMA su Ethernet Layer 2.
Per completare la nostra configurazione di rete Mellanox end-to-end, utilizziamo le soluzioni di cablaggio Mellanox QSFP nel nostro laboratorio per le nostre esigenze InfiniBand. Per interfacciare gli adattatori InfiniBand da 56 Gb/s al nostro switch SX6036, disponiamo di cavi QSFP passivi da 0.5 M, 1 M e 3 M da utilizzare a seconda di quanto strettamente sono raggruppate le apparecchiature.
Sopra è mostrato il connettore QSFP (Quad Small Form-factor Pluggable), che utilizziamo per collegare apparecchiature InfiniBand da 40 GbE o 56 Gb/s.
Caratteristiche principali dell'adattatore VPI ConnectX-3
- Conforme alla specifica InfiniBand IBTA 1.2.1
- 16 milioni di canali I/O
- MTU da 256 a 4Kbyte, messaggi da 1Gbyte
- Latenza del ping MPI di 1μs
- Fino a 56Gb/s InfiniBand o 40 Gigabit Ethernet per porta
- Sincronizzazione dell'orologio di precisione
- QoS basato su hardware e controllo della congestione
- Incapsulamento Fibre Channel (FCoIB o FCoE)
- Incapsulamento Ethernet (EoIB)
- RoHS-R6
- Virtualizzazione I/O basata su hardware
- IOV a radice singola
- Più code per macchina virtuale
- QoS migliorato per vNIC
- Supporto per VMware NetQueue
Offload e accelerazione della CPU
Connect-X offre offload della CPU per l'elaborazione del protocollo e il sovraccarico dello spostamento dei dati come RDMA e semantica di invio/ricezione. CORE-Direct alleggerisce il sovraccarico delle applicazioni come la trasmissione e la raccolta di dati, nonché le routine di comunicazione di sincronizzazione globale. L'accelerazione della comunicazione GPU elimina la duplicazione non necessaria dei dati interni per ridurre i tempi di esecuzione. Le applicazioni che utilizzano il trasporto TCP/UDP/IP beneficiano di motori di offload stateless basati su hardware che riducono il sovraccarico della CPU del trasporto IP.
Adattatori Connect-X VPI:
- MCX353A-QCBT QDR singolo 40Gb/s o 10GbE
- MCX354A-QCBT Doppio QDR 40Gb/s o 10GbE
- MCX353A-FCBT FDR singolo 56Gb/s o 40GbE
- MCX354A-FCBT Doppio FDR 56Gb/s o 40GbE
Progetta e costruisci
Questo interruttore può essere installato in qualsiasi rack standard da 19 pollici con profondità da 40 cm a 80 cm. Il lato di alimentazione dello switch include un modulo di alimentazione hot-swap, un coperchio cieco quando non è dotato di un alimentatore ridondante e il vano ventola hot-swap.
Il lato connettore dello switch presenta 36 porte QSFP, LED di sistema e porte di connessione di gestione.
Sono disponibili cinque interfacce relative alla gestione:
- 2 connettori Ethernet da 100 M/1 Gb etichettati “MGT”
- 1 porta USB per aggiornare software o firmware.
- 1 connettore etichettato “CONSOLE” per il collegamento al PC host.
- 1 connettore a banana I2C lato alimentazione per uso diagnostico e riparativo
MSX6036 è disponibile con profondità standard (MSX6036F-1SFR e MSX6036T-1SFR) o con profondità ridotta (MSX6036F-1BRR e MSX6036T-1BRR) con opzioni di flusso d'aria in avanti e inverso. Mellanox offre kit binari lunghi e corti per SX6036. Sia l'interruttore standard che quello corto possono essere montati utilizzando il kit guida lunga, mentre il kit corto funziona solo con l'interruttore corto.
Potenza
Lo switch è dotato di supporto per il rilevamento automatico per alimentatori da 100-240 V CA. Come tutte le soluzioni SwitchX QSFP di Mellanox, SX6036 è progettato per cavi attivi, con una potenza massima per modulo di 2 W. Il consumo energetico tipico dell'FDR è di 231 W con cavi attivi o 126 W con cavi passivi.
Lo switch SX6036 è disponibile con un alimentatore installato in fabbrica. È necessario aggiungere un alimentatore ridondante per supportare la sostituzione hot-swap. L'unità di alimentazione primaria (PS1) si trova sul lato destro del pannello laterale di alimentazione, mentre PS2 sul lato sinistro. Con due alimentatori installati, è possibile estrarre uno degli alimentatori mentre lo switch è operativo. Per estrarre un alimentatore, rimuovi il cavo di alimentazione, quindi premi il rilascio del fermo mentre tiri verso l'esterno la maniglia dell'alimentatore. Per installare un alimentatore, far scorrere l'unità nell'apertura finché non si inizia a sentire una leggera resistenza, quindi continuare a premere finché l'alimentatore non è completamente inserito. Quando l'alimentatore è installato correttamente, il fermo scatterà in posizione e sarà possibile collegare il cavo di alimentazione.
Raffreddamento
L'SX6036 offre un'unità ventola ridondante con funzionalità hot-swap ed è disponibile con configurazioni per due possibili direzioni del flusso d'aria. Per estrarre il modulo ventola, è necessario spingere entrambi i fermi l'uno verso l'altro mentre si estrae il modulo dall'interruttore. Se si rimuove la ventola mentre lo switch è alimentato, l'indicatore di stato della ventola per il modulo in questione si spegnerà una volta rimossa la ventola.
Per installare un modulo ventola, inserirlo nell'apertura finché non si inizia a sentire una leggera resistenza, quindi continuare a premere finché non si inserisce completamente e l'indicatore di stato della ventola corrispondente diventa verde quando l'interruttore è acceso.
Management
Come con l'SX1036, la prima volta che si configura l'SX6036, è necessario stabilire una connessione DB9 alla porta RJ-45 della console dello switch utilizzando il cablaggio in dotazione con il software di emulazione terminale sul PC host per abilitare le funzioni di gestione remota e web . Mellanox offre due soluzioni per la gestione dell'SX6036. MLNX-OS offre la gestione dello chassis per gestire firmware, alimentatori, ventole, porte e altre interfacce, nonché la gestione integrata della sottorete. SX6036 può anche essere abbinato a Unified Fabric Manager (UFM) per gestire ambienti informatici InfiniBand scalabili.
MLNX-OS include CLI, WebUI, SNMP e software di gestione dello chassis e software di gestione IB (OpenSM). Il gestore sottorete SX6036 InfiniBand supporta fino a 648 nodi. (Mellanox consiglia il suo Unified Fabric Manager per i fabric che includono più di 648 nodi.) InfiniBand Subnet Manager rileva e applica configurazioni relative al traffico di rete come QoS, instradamento e partizionamento ai dispositivi del fabric. Ciascuna sottorete necessita che un gestore sottorete sia in esecuzione nello switch stesso (basato su switch) o su uno dei nodi connessi alla struttura (basato su host).
Conclusione
Lo switch InfiniBand Mellanox SX6036 da 56 Gb è un componente fondamentale del laboratorio aziendale di StorageReview , e, abbinato alle schede di interfaccia e ai cavi Mellanox, ci fornisce una rete InfiniBand completa e ad alta velocità. Con i nuovi array di storage flash che integrano interconnessioni IB da 56 Gb, le apparecchiature di rete Mellanox ci offrono l'infrastruttura necessaria per testare e mettere alla prova in modo adeguato gli array di storage più veloci. Con l'aumento della velocità delle interconnessioni, lo storage diventa il nuovo collo di bottiglia delle prestazioni. Continuate a seguirci mentre cerchiamo di trovare il giusto equilibrio con un set sempre più ampio di array e server che mettono alla prova la rete InfiniBand.
Pagina del prodotto dello switch InfiniBand Mellanox SX6036
Amazon