O Mellanox SX6036 é o segundo switch gerenciável Mellanox a se juntar ao rack no Laboratório empresarial StorgeReview. O SX6036 foi projetado para conectividade de topo de rack, construção de clusters e transporte de tráfego convergente de LAN e SAN. O InfiniBand Subnet Manager integrado pode suportar uma malha InfiniBand de até 648 nós. Embora tenhamos descoberto que 1GbE, 10GbE e 40GbE são interconexões atraentes no laboratório, há momentos em que você só precisa de um pouco mais de energia para garantir que o armazenamento seja o gargalo de taxa de transferência e latência, não a estrutura da rede. Para esse fim, estamos aproveitando o switch InfiniBand e equipamentos relacionados em arrays de armazenamento de ponta e situações em que não há apenas necessidade de velocidade, velocidade é um requisito para fazer negócios.
O Mellanox SX6036 é o segundo switch gerenciável Mellanox a se juntar ao rack no Laboratório empresarial StorgeReview. O SX6036 foi projetado para conectividade folha de topo de rack, construção de clusters e transporte de tráfego convergente de LAN e SAN. O InfiniBand Subnet Manager integrado pode suportar uma malha InfiniBand de até 648 nós. Embora tenhamos descoberto que 1GbE, 10GbE e 40GbE são interconexões atraentes no laboratório, há momentos em que você só precisa de um pouco mais de energia para garantir que o armazenamento seja o gargalo de taxa de transferência e latência, não a estrutura da rede. Para isso, estamos aproveitando o switch InfiniBand e equipamentos relacionados em matrizes de armazenamento de ponta e situações em que não há apenas necessidade de velocidade, velocidade é um requisito para fazer negócios.
Cluster-in-a-Box da StorageReview com três servidores Romley, o switch Mellanox SX6036 e o EchoStreams FlacheSAN2
O sistema de switch SX6036 da Mellanox faz parte da solução de interconexão Mellanox de ponta a ponta do nosso laboratório, que também inclui nosso switch Ethernet Mellanox SX1036 10/40. O SX1036 compartilha muito de seu design e layout com o SX6036; como o SX1036, o SX6036 é um switch 1U de 36 portas. O SX6036 oferece até 56 Gb/s de largura de banda bidirecional total por porta ou cumulativamente 4.032 Tb/s de largura de banda sem bloqueio, com latência porta a porta de 170 ns.
A tecnologia FDR InfiniBand da Mellanox usa codificação 64b/66b e aumenta a taxa de sinalização por faixa para 14 Gb/s quando usada com cabos Mellanox aprovados. Quando usado com adaptadores ConnectX-3 designados, o SX6036 também suporta FDR10, uma taxa de dados InfiniBand não padrão. Com o FDR10, cada faixa de uma porta 4X executa uma taxa de bits de 10.3125 Gb/s com uma codificação de 64b/66b, resultando em uma largura de banda efetiva de 40 Gb/s ou 20% a mais de largura de banda em relação ao QDR.
Principais recursos do SX6036
- 36 portas FDR (56 Gb/s) em um switch 1U
- Capacidade de comutação agregada de 4 TB/s
- Compatível com IBTA 1.21 e 1.3
- Suporte FDR/FDR10 para Forward Error Correction (FEC)
- 9 pistas virtuais: 8 dados + 1 gerenciamento
- MTU de 256 a 4 Kbytes
- Banco de dados de encaminhamento linear de entrada de 4 x 48K
Próximos Features
A Mellanox também anunciou um conjunto de funcionalidades que serão ativadas por meio de atualizações futuras. Essas atualizações se concentrarão em:
- Roteamento InfiniBand para InfiniBand
- Suportando até 8 partições de switch múltiplas
- Roteamento adaptável
- Controle de congestão
- espelhamento porto
Adaptador ConnectX-3 VPI
Combinamos o SX6036 com as placas adaptadoras ConnectX-3 VPI da Mellanox. Essas placas ConnectX-3 suportam conectividade de malha InfiniBand, ethernet e Data Center Bridging (DCB) para fornecer uma solução de interconexão flexível com capacidade de detecção automática. O FlexBoot do ConnectX-3 permite que os servidores inicializem a partir de destinos de armazenamento remoto via InfiniBand ou LAN.
Os adaptadores de interconexão de protocolo virtual ConnectX-3 oferecem suporte a protocolos RDMA baseados em OpenFabrics e usam IBTA RoCE para fornecer serviços RDMA sobre ethernet de camada 2.
Para concluir nossa configuração de rede Mellanox de ponta a ponta, usamos soluções de cabeamento Mellanox QSFP em nosso laboratório para nossas necessidades de InfiniBand. Para conectar os adaptadores InfiniBand de 56 Gb/s ao nosso switch SX6036, temos cabos QSFP passivos de 0.5 M, 1 M e 3 M para usar, dependendo de quão próximo o equipamento está agrupado.
Mostrado acima está o conector QSFP (Quad Small Form-factor Pluggable), que usamos para conectar equipamentos InfiniBand de 40 GbE ou 56 Gb/s.
Principais recursos do adaptador ConnectX-3 VPI
- Compatível com InfiniBand IBTA Specification 1.2.1
- 16 milhões de canais de E/S
- MTU de 256 a 4 Kbytes, mensagens de 1 Gbytes
- Latência de ping MPI de 1μs
- InfiniBand de até 56 Gb / s ou 40 Gigabit Ethernet por porta
- Sincronização de Precisão do Relógio
- QoS baseada em hardware e controle de congestionamento
- Encapsulamento Fibre Channel (FCoIB ou FCoE)
- Encapsulamento Ethernet (EoIB)
- RoHS-R6
- Virtualização de E/S baseada em hardware
- IOV de Raiz Única
- Várias filas por máquina virtual
- QoS aprimorado para vNICs
- Suporte VMware NetQueue
Descarregamento e aceleração da CPU
O Connect-X apresenta descarregamentos de CPU para processamento de protocolo e sobrecarga de movimentação de dados, como RDMA e semântica de envio/recebimento. O CORE-Direct descarrega a sobrecarga do aplicativo, como transmissão e coleta de dados, bem como rotinas de comunicação de sincronização global. A aceleração de comunicação da GPU elimina a duplicação desnecessária de dados internos para reduzir o tempo de execução. Os aplicativos que utilizam o transporte TCP/UDP/IP se beneficiam dos mecanismos de descarregamento sem estado baseados em hardware que reduzem a sobrecarga da CPU do transporte IP.
Adaptadores Connect-X VPI:
- MCX353A-QCBT Único QDR 40Gb/s ou 10GbE
- MCX354A-QCBT Dual QDR 40Gb/s ou 10GbE
- MCX353A-FCBT FDR único 56 Gb/s ou 40 GbE
- MCX354A-FCBT Dual FDR 56Gb/s ou 40GbE
Design e Construção
Este switch pode ser instalado em qualquer rack padrão de 19 polegadas com profundidades de 40cm a 80cm. O lado de alimentação do switch inclui um módulo de fonte de alimentação hot-swap, uma tampa vazia quando não equipado com uma PSU redundante e a bandeja de ventoinha hot-swap.
O lado do conector do switch possui 36 portas QSFP, LEDs do sistema e portas de conexão de gerenciamento.
Existem cinco interfaces relacionadas ao gerenciamento:
- 2 X conectores Ethernet 100M/1Gb rotulados como “MGT”
- 1 porta USB para atualização de software ou firmware.
- 1 conector rotulado como “CONSOLE” para conectar ao PC host.
- 1 conector banana I2C no lado da fonte de alimentação para uso em diagnóstico e reparo
O MSX6036 está disponível em uma profundidade padrão (MSX6036F-1SFR e MSX6036T-1SFR) ou um design de profundidade curta (MSX6036F-1BRR e MSX6036T-1BRR) com opções de fluxo de ar para frente e para trás. A Mellanox oferece kits de trilhos longos e curtos para o SX6036. Tanto os interruptores padrão quanto os curtos podem ser montados usando o kit de trilho longo, enquanto o kit curto funcionará apenas com o interruptor curto.
Energia
O switch possui suporte de detecção automática para PSUs de 100-240 VAC. Como todas as soluções SwitchX QSFP da Mellanox, o SX6036 é projetado para cabos ativos, com uma potência máxima por módulo de 2W. O consumo de energia típico do FDR é de 231 W com cabos ativos ou 126 W com cabos passivos.
O switch SX6036 está disponível com uma PSU instalada de fábrica. Uma PSU redundante precisa ser adicionada para suportar a substituição hot-swap. A unidade de fonte de alimentação principal (PS1) está localizada no lado direito do painel lateral de energia, com PS2 no lado esquerdo. Com duas fontes de alimentação instaladas, qualquer uma das PSUs pode ser extraída enquanto o switch estiver operacional. Para extrair uma PSU, remova o cabo de alimentação e, em seguida, empurre a trava de liberação enquanto puxa para fora a alça da PSU. Para instalar uma PSU, deslize a unidade para dentro da abertura até começar a sentir uma leve resistência e continue pressionando até que a PSU esteja completamente encaixada. Quando a PSU estiver instalada corretamente, a trava se encaixará e você poderá conectar o cabo de alimentação.
Resfriamento
O SX6036 oferece uma unidade de ventilador redundante com capacidade de hot-swap e vem com configurações para duas direções de fluxo de ar possíveis. Para extrair o módulo do ventilador, você deve empurrar as duas travas uma na direção da outra enquanto puxa o módulo para cima e para fora da chave. Se você estiver removendo o ventilador enquanto o switch estiver ligado, o indicador de status do ventilador para o módulo em questão será desligado assim que o ventilador for removido.
Para instalar um módulo de ventilador, deslize-o para dentro da abertura até começar a sentir uma leve resistência e continue pressionando até que ele se encaixe completamente e o indicador de status do ventilador correspondente fique verde quando o interruptor for ligado.
Gestão de Sistemas
Tal como acontece com o SX1036, na primeira vez que configurar o SX6036, você deve estabelecer uma conexão DB9 com a porta RJ-45 do console do switch usando o chicote fornecido com software de emulação de terminal no PC host para habilitar as funções de gerenciamento remoto e web . A Mellanox oferece duas soluções para gerenciar o SX6036. O MLNX-OS oferece gerenciamento de chassi para gerenciar firmware, fontes de alimentação, ventiladores, portas e outras interfaces, bem como gerenciamento de sub-rede integrado. O SX6036 também pode ser acoplado ao Unified Fabric Manager (UFM) para gerenciar ambientes de computação InfiniBand expansíveis.
O MLNX-OS inclui CLI, WebUI, SNMP e software de gerenciamento de chassi e software de gerenciamento IB (OpenSM). O SX6036 InfiniBand Subnet Manager suporta até 648 nós. (A Mellanox recomenda seu Unified Fabric Manager para fabrics que incluem mais de 648 nós.) O InfiniBand Subnet Manager descobre e aplica configurações relacionadas ao tráfego de rede, como QoS, roteamento e particionamento para os dispositivos de fabric. Cada sub-rede precisa que um gerenciador de sub-rede seja executado no próprio switch (baseado em switch) ou em um dos nós conectados à malha (baseado em host).
Conclusão
O Mellanox SX6036 56 Gb InfiniBand Switch é um componente central do Laboratório StorageReview Enterprise, emparelhando com placas de interface e cabeamento Mellanox para nos fornecer uma estrutura InfiniBand completa de alta velocidade. Com novo matrizes de armazenamento flash integrando interconexões IB de 56 Gb, o equipamento de rede Mellanox nos fornece o backbone de que precisamos para revisar e enfatizar adequadamente os arrays de armazenamento mais rápidos. À medida que as interconexões ganham ritmo, o armazenamento é o novo gargalo de desempenho. Fique atento enquanto tentamos equilibrar a equação com um conjunto crescente de arrays e servidores que esperam estressar a malha InfiniBand.
Página do produto Mellanox SX6036 InfiniBand Switch
Página de produto do adaptador ConnectX-3 VPI
