El Mellanox SX6036 es el segundo switch gestionado de Mellanox que se incorpora al rack del StorgeReview Enterprise Lab . El SX6036 está diseñado para la conectividad de leaf en la parte superior del rack, la creación de clústeres y el transporte de tráfico LAN y SAN convergente. El InfiniBand Subnet Manager integrado admite una estructura InfiniBand de hasta 648 nodos. Si bien hemos comprobado que las interconexiones de 1 GbE, 10 GbE y 40 GbE son atractivas en el laboratorio, hay ocasiones en las que se necesita un poco más de potencia para garantizar que el almacenamiento sea el cuello de botella en rendimiento y latencia, y no la estructura de red. Con este fin, estamos utilizando el switch InfiniBand y el equipo relacionado en matrices de almacenamiento de gama alta y en situaciones donde la velocidad no solo es necesaria, sino un requisito para el negocio.
Cluster-in-a-Box de StorageReview con tres servidores Romley, el conmutador Mellanox SX6036 y el EchoStreams FlacheSAN2
El sistema de conmutador SX6036 de Mellanox es parte de la solución de interconexión Mellanox de extremo a extremo de nuestro laboratorio, que también incluye nuestro conmutador Ethernet Mellanox SX1036 10/40. El SX1036 comparte gran parte de su diseño y distribución con el SX6036; Al igual que el SX1036, el SX6036 es un conmutador de 1U y 36 puertos. El SX6036 ofrece hasta 56 Gb/s de ancho de banda bidireccional completo por puerto, o 4.032 Tb/s acumulativos de ancho de banda sin bloqueo, con una latencia de puerto a puerto de 170 ns.
La tecnología FDR InfiniBand de Mellanox usa codificación 64b/66b y aumenta la tasa de señalización por carril a 14 Gb/s cuando se usa con cables Mellanox aprobados. Cuando se usa con adaptadores ConnectX-3 designados, el SX6036 también es compatible con FDR10, una velocidad de datos InfiniBand no estándar. Con FDR10, cada carril de un puerto 4X ejecuta una tasa de bits de 10.3125 Gb/s con una codificación de 64b/66b, lo que da como resultado un ancho de banda efectivo de 40 Gb/s, o un 20 % más de ancho de banda que QDR.
Características clave del SX6036
- 36 puertos FDR (56 Gb/s) en un conmutador de 1U
- Capacidad de conmutación agregada de 4 Tb/s
- Cumple con IBTA 1.21 y 1.3
- Compatibilidad con FDR/FDR10 para la corrección de errores de reenvío (FEC)
- 9 carriles virtuales: 8 datos + 1 gestión
- MTU de 256 a 4 Kbytes
- Base de datos de reenvío lineal de entrada de 4 x 48K
Próximas funciones
Mellanox también ha anunciado un conjunto de funcionalidades que se habilitarán a través de futuras actualizaciones. Estas actualizaciones se centrarán en:
- Enrutamiento de InfiniBand a InfiniBand
- Admite hasta 8 particiones de conmutadores múltiples
- Enrutamiento adaptativo
- Control de la congestión
- La duplicación de puertos
Adaptador VPI ConnectX-3
Hemos emparejado el SX6036 con las tarjetas adaptadoras ConnectX-3 VPI de Mellanox. Estas tarjetas ConnectX-3 admiten conectividad de estructura InfiniBand, ethernet y Data Center Bridging (DCB) para brindar una solución de interconexión flexible con capacidad de detección automática. FlexBoot de ConnectX-3 permite que los servidores arranquen desde objetivos de almacenamiento remotos a través de InfiniBand o LAN.
Los adaptadores de interconexión de protocolo virtual ConnectX-3 admiten protocolos RDMA basados en OpenFabrics y utilizan IBTA RoCE para proporcionar servicios RDMA a través de Ethernet de capa 2.
Para completar nuestra configuración de red Mellanox de extremo a extremo, utilizamos soluciones de cableado Mellanox QSFP en nuestro laboratorio para nuestras necesidades de InfiniBand. Para conectar los adaptadores InfiniBand de 56 Gb/s a nuestro conmutador SX6036, tenemos cables QSFP pasivos de 0.5 M, 1 M y 3 M que se pueden usar según la proximidad del grupo entre los equipos.
Arriba se muestra el conector QSFP (Quad Small Form-factor Pluggable), que usamos para conectar equipos InfiniBand de 40 GbE o 56 Gb/s.
Características clave del adaptador ConnectX-3 VPI
- Cumple con la especificación InfiniBand IBTA 1.2.1
- 16 millones de canales de E/S
- MTU de 256 a 4 Kbyte, mensajes de 1 Gbyte
- Latencia de ping MPI de 1 μs
- Hasta 56 Gb/s InfiniBand o 40 Gigabit Ethernet por puerto
- Sincronización de reloj de precisión
- QoS basado en hardware y control de congestión
- Encapsulación de canal de fibra (FCoIB o FCoE)
- Encapsulación Ethernet (EoIB)
- RoHS-R6
- Virtualización de E/S basada en hardware
- IOV de raíz única
- Múltiples colas por máquina virtual
- QoS mejorado para vNIC
- Soporte de VMware NetQueue
Descarga y aceleración de CPU
Connect-X presenta descargas de CPU para el procesamiento de protocolos y la sobrecarga de movimiento de datos, como RDMA y semántica de envío/recepción. CORE-Direct descarga la sobrecarga de aplicaciones, como la transmisión y recopilación de datos, así como las rutinas de comunicación de sincronización global. La aceleración de la comunicación de la GPU elimina la duplicación de datos internos innecesaria para reducir el tiempo de ejecución. Las aplicaciones que utilizan el transporte TCP/UDP/IP se benefician de los motores de descarga sin estado basados en hardware que reducen la sobrecarga de la CPU del transporte IP.
Adaptadores Connect-X VPI:
- MCX353A-QCBT QDR único de 40 Gb/s o 10 GbE
- MCX354A-QCBT Dual QDR 40 Gb/s o 10 GbE
- MCX353A-FCBT FDR único de 56 Gb/s o 40 GbE
- MCX354A-FCBT Dual FDR 56 Gb/s o 40 GbE
Diseño y construcción
Este interruptor se puede instalar en cualquier rack estándar de 19 pulgadas con profundidades de 40 cm a 80 cm. El lado de alimentación del conmutador incluye un módulo de fuente de alimentación de intercambio en caliente, una cubierta en blanco cuando no está equipado con una fuente de alimentación redundante y la bandeja del ventilador de intercambio en caliente.
El lado del conector del conmutador cuenta con 36 puertos QSFP, LED del sistema y puertos de conexión de administración.
Hay cinco interfaces relacionadas con la gestión:
- 2 conectores Ethernet de 100 M/1 Gb con la etiqueta "MGT"
- 1 puerto USB para actualizar software o firmware.
- 1 conector que tiene la etiqueta "CONSOLA" para conectarse a la PC host.
- 1 conector banana I2C en el lado de la fuente de alimentación para uso de diagnóstico y reparación
El MSX6036 está disponible en una profundidad estándar (MSX6036F-1SFR y MSX6036T-1SFR) o un diseño de profundidad corta (MSX6036F-1BRR y MSX6036T-1BRR) con opciones de flujo de aire hacia adelante y hacia atrás. Mellanox ofrece kits de rieles largos y cortos para el SX6036. Tanto el interruptor estándar como el corto se pueden montar con el kit de riel largo, mientras que el kit corto solo funcionará con el interruptor corto.
Potencia
El interruptor cuenta con soporte de detección automática para PSU de 100-240 VCA. Como todas las soluciones SwitchX QSFP de Mellanox, el SX6036 está diseñado para cables activos, con una potencia máxima por módulo de 2W. El consumo de energía típico del FDR es de 231 W con cables activos o de 126 W con cables pasivos.
El conmutador SX6036 está disponible con una fuente de alimentación instalada de fábrica. Se debe agregar una fuente de alimentación redundante para admitir el reemplazo de intercambio en caliente. La fuente de alimentación principal (PS1) se encuentra en el lado derecho del panel lateral de alimentación, con PS2 en el lado izquierdo. Con dos fuentes de alimentación instaladas, se puede extraer cualquiera de las fuentes de alimentación mientras el conmutador está operativo. Para extraer una fuente de alimentación, extraiga el cable de alimentación y, a continuación, presione el pestillo de liberación mientras tira hacia afuera del asa de la fuente de alimentación. Para instalar una fuente de alimentación, deslice la unidad en la abertura hasta que comience a sentir una ligera resistencia y luego continúe presionando hasta que la fuente de alimentación esté completamente asentada. Cuando la fuente de alimentación esté correctamente instalada, el pestillo encajará en su lugar y podrá conectar el cable de alimentación.
Enfriamiento
El SX6036 ofrece una unidad de ventilador redundante con capacidad de intercambio en caliente y viene con configuraciones para dos posibles direcciones de flujo de aire. Para extraer el módulo del ventilador, debe empujar ambos pestillos uno hacia el otro mientras tira del módulo hacia arriba y hacia afuera del interruptor. Si está retirando el ventilador mientras el interruptor está encendido, el indicador de estado del ventilador del módulo en cuestión se apagará una vez que se quite el ventilador.
Para instalar un módulo de ventilador, deslícelo en la abertura hasta que comience a sentir una ligera resistencia, luego continúe presionando hasta que se asiente por completo y el indicador de estado del ventilador correspondiente se muestre verde cuando el interruptor esté encendido.
Gestión
Al igual que con el SX1036, la primera vez que configura el SX6036, debe establecer una conexión DB9 con el puerto RJ-45 de la consola del conmutador utilizando el arnés suministrado con el software de emulación de terminal en la PC host para habilitar las funciones de administración web y remota. . Mellanox ofrece dos soluciones para administrar el SX6036. MLNX-OS ofrece administración de chasis para administrar el firmware, las fuentes de alimentación, los ventiladores, los puertos y otras interfaces, así como la administración integrada de subredes. SX6036 también se puede combinar con Unified Fabric Manager (UFM) para administrar entornos informáticos InfiniBand escalables.
MLNX-OS incluye CLI, WebUI, SNMP y software de gestión de chasis y software de gestión IB (OpenSM). El administrador de subred InfiniBand SX6036 admite hasta 648 nodos. (Mellanox recomienda su Unified Fabric Manager para fabrics que incluyen más de 648 nodos). InfiniBand Subnet Manager descubre y aplica configuraciones relacionadas con el tráfico de red, como QoS, enrutamiento, particionamiento a los dispositivos de fabric. Cada subred necesita que un administrador de subred se ejecute en el propio conmutador (basado en el conmutador) o en uno de los nodos que está conectado a la estructura (basado en el host).
Conclusión
El conmutador InfiniBand Mellanox SX6036 de 56 Gb es un componente fundamental del laboratorio empresarial de StorageReview , que, junto con las tarjetas de interfaz y el cableado de Mellanox, nos proporciona una estructura InfiniBand de alta velocidad completa. Con los nuevos sistemas de almacenamiento flash que integran interconexiones IB de 56 Gb, los equipos de red de Mellanox nos brindan la infraestructura necesaria para analizar y poner a prueba adecuadamente los sistemas de almacenamiento más rápidos. A medida que las interconexiones se vuelven más rápidas, el almacenamiento se convierte en el nuevo cuello de botella del rendimiento. Manténganse atentos mientras intentamos equilibrar la ecuación con un conjunto cada vez mayor de sistemas y servidores que buscan poner a prueba la estructura InfiniBand.
Página del producto del conmutador InfiniBand SX6036 de Mellanox
Amazon