Le Mellanox SX6036 est le deuxième commutateur administrable Mellanox à rejoindre le rack du laboratoire d'entreprise de StorgeReview . Conçu pour la connectivité en haut de baie (top-of-rack leaf), il permet de créer des clusters et de gérer le trafic LAN et SAN convergent. Son gestionnaire de sous-réseau InfiniBand intégré prend en charge une infrastructure InfiniBand jusqu'à 648 nœuds. Bien que nous ayons constaté l'efficacité des interconnexions 1 GbE, 10 GbE et 40 GbE en laboratoire, il arrive qu'une puissance supérieure soit nécessaire pour garantir que le goulot d'étranglement en termes de débit et de latence se situe au niveau du stockage, et non au niveau de l'infrastructure réseau. C'est pourquoi nous utilisons le commutateur InfiniBand et les équipements associés sur des baies de stockage haut de gamme et dans des situations où la vitesse est non seulement un besoin, mais une nécessité pour l'activité.
Cluster-in-a-Box de StorageReview comprenant trois serveurs Romley, le commutateur Mellanox SX6036 et le EchoStreams FlacheSAN2
Le système de commutation SX6036 de Mellanox fait partie de la solution d'interconnexion Mellanox de bout en bout de notre laboratoire, qui comprend également notre commutateur Ethernet 1036/10 Mellanox SX40. Le SX1036 partage une grande partie de sa conception et de sa disposition avec le SX6036 ; comme le SX1036, le SX6036 est un commutateur 1U à 36 ports. Le SX6036 offre jusqu'à 56 Gb/s de bande passante bidirectionnelle complète par port, ou cumulativement 4.032 Tb/s de bande passante non bloquante, avec une latence port à port de 170 ns.
La technologie FDR InfiniBand de Mellanox utilise le codage 64b/66b et augmente le taux de signalisation par voie à 14 Gb/s lorsqu'elle est utilisée avec des câbles Mellanox approuvés. Lorsqu'il est utilisé avec des adaptateurs ConnectX-3 désignés, le SX6036 prend également en charge FDR10, un débit de données InfiniBand non standard. Avec FDR10, chaque voie d'un port 4X exécute un débit binaire de 10.3125 Gb/s avec un encodage 64b/66b, ce qui donne une bande passante effective de 40 Gb/s, soit 20 % de bande passante en plus sur QDR.
Principales caractéristiques du SX6036
- 36 ports FDR (56 Gb/s) dans un commutateur 1U
- Capacité de commutation agrégée de 4 To/s
- Conforme à IBTA 1.21 et 1.3
- Prise en charge FDR/FDR10 de la correction d'erreur directe (FEC)
- 9 voies virtuelles : 8 données + 1 gestion
- MTU de 256 à 4 Ko
- Base de données de transfert linéaire d'entrée 4 x 48K
Caractéristiques à venir
Mellanox a également annoncé une suite de fonctionnalités qui seront activées via de futures mises à jour. Ces mises à jour porteront sur :
- Routage InfiniBand vers InfiniBand
- Prend en charge jusqu'à 8 partitions de commutateurs multiples
- Routage adaptatif
- Contrôle de la congestion
- Port mirroring
Adaptateur VPI ConnectX-3
Nous avons associé le SX6036 aux cartes adaptateurs ConnectX-3 VPI de Mellanox. Ces cartes ConnectX-3 prennent en charge la connectivité InfiniBand, Ethernet et Data Center Bridging (DCB) pour fournir une solution d'interconnexion flexible avec une capacité de détection automatique. FlexBoot de ConnectX-3 permet aux serveurs de démarrer à partir de cibles de stockage distantes via InfiniBand ou LAN.
Les adaptateurs d'interconnexion de protocole virtuel ConnectX-3 prennent en charge les protocoles RDMA basés sur OpenFabrics et utilisent IBTA RoCE pour fournir des services RDMA sur Ethernet de couche 2.
Pour compléter notre configuration réseau Mellanox de bout en bout, nous utilisons les solutions de câblage Mellanox QSFP dans notre laboratoire pour nos besoins InfiniBand. Pour interfacer les adaptateurs InfiniBand 56 Gb/s à notre commutateur SX6036, nous avons des câbles QSFP passifs de 0.5 M, 1 M et 3 M à utiliser en fonction du degré de regroupement des équipements.
Ci-dessus, le connecteur QSFP (Quad Small Form-factor Pluggable), que nous utilisons pour connecter un équipement InfiniBand 40GbE ou 56Gb/s.
Caractéristiques principales de l'adaptateur VPI ConnectX-3
- Conforme à la spécification InfiniBand IBTA 1.2.1
- 16 millions de canaux d'E/S
- MTU de 256 à 4 Ko, messages de 1 Go
- Latence de ping MPI de 1 μs
- Jusqu'à 56 Gb/s InfiniBand ou 40 Gigabit Ethernet par port
- Synchronisation d'horloge de précision
- QoS basée sur le matériel et contrôle de la congestion
- Encapsulation Fibre Channel (FCoIB ou FCoE)
- Encapsulation Ethernet (EoIB)
- RoHS-R6
- Virtualisation matérielle des E/S
- IOV à racine unique
- Plusieurs files d'attente par machine virtuelle
- Qualité de service améliorée pour les vNIC
- Prise en charge de VMware NetQueue
Déchargement et accélération du processeur
Connect-X propose des déchargements de CPU pour le traitement de protocole et la surcharge de mouvement de données tels que RDMA et la sémantique d'envoi/réception. CORE-Direct décharge les frais généraux des applications tels que la diffusion et la collecte de données ainsi que les routines de communication de synchronisation globale. L'accélération de la communication GPU élimine la duplication inutile des données internes pour réduire le temps d'exécution. Les applications utilisant le transport TCP/UDP/IP bénéficient de moteurs de déchargement sans état basés sur le matériel qui réduisent la charge CPU du transport IP.
Adaptateurs Connect-X VPI :
- MCX353A-QCBT QDR unique 40 Gb/s ou 10 GbE
- MCX354A-QCBT Double QDR 40Gb/s ou 10GbE
- MCX353A-FCBT FDR unique 56 Gb/s ou 40 GbE
- MCX354A-FCBT Double FDR 56 Gb/s ou 40 GbE
Concevoir et construire
Ce commutateur peut être installé dans n'importe quel rack standard de 19 pouces avec des profondeurs de 40 cm à 80 cm. Le côté alimentation du commutateur comprend un module d'alimentation remplaçable à chaud, un cache vierge lorsqu'il n'est pas équipé d'un bloc d'alimentation redondant et le plateau de ventilation remplaçable à chaud.
Le côté connecteur du commutateur comporte 36 ports QSFP, des voyants système et des ports de connexion de gestion.
Il existe cinq interfaces liées à la gestion :
- 2 connecteurs Ethernet 100M/1Gb marqués "MGT"
- 1 port USB pour mettre à jour le logiciel ou le firmware.
- 1 connecteur étiqueté « CONSOLE » pour se connecter au PC hôte.
- 1 connecteur banane I2C côté alimentation pour usage diagnostic et réparation
Le MSX6036 est disponible dans une profondeur standard (MSX6036F-1SFR et MSX6036T-1SFR) ou une conception à faible profondeur (MSX6036F-1BRR et MSX6036T-1BRR) avec des options de flux d'air avant et arrière. Mellanox propose des kits de rails longs et courts pour le SX6036. Les interrupteurs standard et courts peuvent être montés à l'aide du kit de rail long, tandis que le kit court ne fonctionnera qu'avec l'interrupteur court.
Tuning Moteur
Le commutateur prend en charge la détection automatique des blocs d'alimentation 100-240 VCA. Comme toutes les solutions SwitchX QSFP de Mellanox, le SX6036 est conçu pour les câbles actifs, avec une puissance maximale par module de 2W. La consommation électrique typique du FDR est de 231 W avec des câbles actifs ou de 126 W avec des câbles passifs.
Le commutateur SX6036 est disponible avec un bloc d'alimentation installé en usine. Un bloc d'alimentation redondant doit être ajouté pour prendre en charge le remplacement à chaud. L'unité d'alimentation principale (PS1) est située sur le côté droit du panneau latéral d'alimentation, avec PS2 sur le côté gauche. Avec deux blocs d'alimentation installés, l'un ou l'autre bloc d'alimentation peut être extrait pendant que le commutateur est opérationnel. Pour extraire un bloc d'alimentation, retirez le cordon d'alimentation, puis poussez le loquet de déverrouillage tout en tirant vers l'extérieur sur la poignée du bloc d'alimentation. Pour installer un bloc d'alimentation, faites glisser l'unité dans l'ouverture jusqu'à ce que vous sentiez une légère résistance, puis continuez à appuyer jusqu'à ce que le bloc d'alimentation soit complètement en place. Lorsque le bloc d'alimentation est correctement installé, le loquet s'enclenche et vous pouvez brancher le cordon d'alimentation.
Refroidissement
Le SX6036 offre une unité de ventilation redondante avec capacité de remplacement à chaud et est livré avec des configurations pour deux directions de flux d'air possibles. Pour extraire le module de ventilation, vous devez pousser les deux loquets l'un vers l'autre tout en tirant le module vers le haut et hors de l'interrupteur. Si vous retirez le ventilateur alors que le commutateur est sous tension, le voyant d'état du ventilateur du module en question s'éteindra une fois le ventilateur retiré.
Pour installer un module de ventilation, vous le faites glisser dans l'ouverture jusqu'à ce que vous commenciez à sentir une légère résistance, puis continuez à appuyer jusqu'à ce qu'il soit complètement en place et que l'indicateur d'état du ventilateur correspondant s'affiche en vert lorsque l'interrupteur est sous tension.
Direction
Comme pour le SX1036, la première fois que vous configurez le SX6036, vous devez établir une connexion DB9 au port RJ-45 de la console du commutateur à l'aide du faisceau fourni avec le logiciel d'émulation de terminal sur le PC hôte afin d'activer les fonctions de gestion à distance et Web. . Mellanox propose deux solutions pour gérer le SX6036. MLNX-OS offre une gestion du châssis pour gérer le micrologiciel, les alimentations, les ventilateurs, les ports et d'autres interfaces ainsi qu'une gestion intégrée des sous-réseaux. Le SX6036 peut également être couplé à Unified Fabric Manager (UFM) pour gérer les environnements informatiques InfiniBand scale-out.
MLNX-OS comprend un logiciel de gestion CLI, WebUI, SNMP et châssis et un logiciel de gestion IB (OpenSM). Le gestionnaire de sous-réseaux InfiniBand SX6036 prend en charge jusqu'à 648 nœuds. (Mellanox recommande son Unified Fabric Manager pour les fabrics qui incluent plus de 648 nœuds.) Le gestionnaire de sous-réseaux InfiniBand découvre et applique les configurations liées au trafic réseau telles que la QoS, le routage, le partitionnement aux périphériques de fabric. Chaque sous-réseau a besoin d'un gestionnaire de sous-réseau pour s'exécuter dans le commutateur lui-même (basé sur le commutateur) ou sur l'un des nœuds qui est connecté à la matrice (basé sur l'hôte).
Conclusion
Le commutateur InfiniBand 56 Gb Mellanox SX6036 est un composant essentiel du laboratoire StorageReview Enterprise Lab . Associé aux cartes d'interface et au câblage Mellanox, il nous fournit une infrastructure InfiniBand haut débit complète. Grâce aux nouvelles baies de stockage flash intégrant des interconnexions IB 56 Gb, les équipements réseau Mellanox nous offrent l'infrastructure nécessaire pour tester et mettre à l'épreuve les baies de stockage les plus rapides. À mesure que les interconnexions s'accélèrent, le stockage devient le nouveau facteur limitant les performances. Restez connectés : nous tenterons d'équilibrer cette situation avec un ensemble croissant de baies et de serveurs afin de tester les limites de l'infrastructure InfiniBand.
Page produit du commutateur InfiniBand Mellanox SX6036
Amazon