Mellanox SX6036은 랙에 연결된 두 번째 Mellanox 관리형 스위치입니다. StorgeReview 엔터프라이즈 랩. SX6036은 ToR(Top-of-Rack) 리프 연결, 클러스터 구축, 통합 LAN 및 SAN 트래픽 전달을 위해 설계되었습니다. 통합 InfiniBand Subnet Manager는 최대 648개 노드의 InfiniBand 패브릭을 지원할 수 있습니다. 실험실에서 1GbE, 10GbE 및 40GbE가 매력적인 상호 연결임을 발견했지만 스토리지가 네트워크 패브릭이 아니라 처리량 및 대기 시간 병목 지점임을 확인하기 위해 약간의 추가 전력이 필요한 경우가 있습니다. 이를 위해 우리는 고급 스토리지 어레이에서 InfiniBand 스위치와 관련 장비를 활용하고 있으며, 속도만 필요한 것이 아니라 속도가 비즈니스를 수행하는 데 필요한 요건입니다.
Mellanox SX6036은 랙에 연결된 두 번째 Mellanox 관리형 스위치입니다. StorgeReview 엔터프라이즈 랩. SX6036은 ToR(Top-of-Rack) 리프 연결, 클러스터 구축, 통합 LAN 및 SAN 트래픽 전달을 위해 설계되었습니다. 통합 InfiniBand Subnet Manager는 최대 648개 노드의 InfiniBand 패브릭을 지원할 수 있습니다. 실험실에서 1GbE, 10GbE 및 40GbE가 매력적인 상호 연결임을 발견했지만 스토리지가 네트워크 패브릭이 아니라 처리량 및 대기 시간 병목 지점임을 확인하기 위해 약간의 추가 전력이 필요한 경우가 있습니다. 이를 위해 우리는 고급 스토리지 어레이에서 InfiniBand 스위치와 관련 장비를 활용하고 있으며, 속도만 필요한 것이 아니라 속도가 비즈니스를 수행하는 데 필요한 요건입니다.
StorageReview의 Cluster-in-a-Box는 6036개의 Romley 서버, Mellanox SXXNUMX 스위치 및 EchoStreams FlacheSAN2
Mellanox의 SX6036 스위치 시스템은 Mellanox SX1036 10/40 이더넷 스위치도 포함하는 실험실의 종단 간 Mellanox 상호 연결 솔루션의 일부입니다. SX1036은 SX6036과 디자인 및 레이아웃의 많은 부분을 공유합니다. SX1036과 마찬가지로 SX6036은 1U, 36포트 스위치입니다. SX6036은 포트당 최대 56Gb/s의 전체 양방향 대역폭 또는 누계 4.032Tb/s의 비차단 대역폭과 170ns의 포트 간 대기 시간을 제공합니다.
Mellanox의 FDR InfiniBand 기술은 64b/66b 인코딩을 사용하고 승인된 Mellanox 케이블과 함께 사용할 경우 레인당 신호 속도를 14Gb/s로 높입니다. 지정된 ConnectX-3 어댑터와 함께 사용할 경우 SX6036은 비표준 InfiniBand 데이터 속도인 FDR10도 지원합니다. FDR10을 사용하면 4X 포트의 각 레인이 10.3125b/64b 인코딩으로 66Gb/s의 비트 전송률을 실행하여 40Gb/s의 유효 대역폭 또는 QDR보다 20% 더 많은 대역폭을 얻을 수 있습니다.
SX6036 주요 기능
- 36U 스위치에 FDR(56Gb/s) 포트 1개
- 4Tb/s 총 스위칭 용량
- IBTA 1.21 및 1.3 준수
- FEC(Forward Error Correction)에 대한 FDR/FDR10 지원
- 9개의 가상 레인: 8개의 데이터 + 1개의 관리
- 256~4Kbyte MTU
- 4 x 48K 항목 선형 포워딩 데이터베이스
다가올 특징
Mellanox는 또한 향후 업데이트를 통해 활성화될 일련의 기능을 발표했습니다. 이러한 업데이트는 다음에 중점을 둡니다.
- InfiniBand에서 InfiniBand로의 라우팅
- 최대 8개의 다중 스위치 파티션 지원
- 적응형 라우팅
- 혼잡 통제
- 포트 미러링
ConnectX-3 VPI 어댑터
우리는 SX6036을 Mellanox의 ConnectX-3 VPI 어댑터 카드와 일치시켰습니다. 이 ConnectX-3 카드는 InfiniBand, 이더넷 및 DCB(Data Center Bridging) 패브릭 연결을 지원하여 자동 감지 기능이 있는 유연한 상호 연결 솔루션을 제공합니다. ConnectX-3의 FlexBoot는 서버가 InfiniBand 또는 LAN을 통해 원격 스토리지 대상에서 부팅할 수 있도록 합니다.
ConnectX-3 가상 프로토콜 상호 연결 어댑터는 OpenFabrics 기반 RDMA 프로토콜을 지원하고 IBTA RoCE를 사용하여 레이어 2 이더넷을 통해 RDMA 서비스를 제공합니다.
종단 간 Mellanox 네트워킹 구성을 완료하기 위해 실험실에서 InfiniBand 요구 사항에 맞는 Mellanox QSFP 케이블링 솔루션을 사용합니다. 56Gb/s InfiniBand 어댑터를 SX6036 스위치에 연결하기 위해 장비가 얼마나 밀접하게 그룹화되어 있는지에 따라 사용할 0.5M, 1M 및 3M 패시브 QSFP 케이블이 있습니다.
위에 표시된 것은 40GbE 또는 56Gb/s InfiniBand 장비를 연결하는 데 사용하는 QSFP(Quad Small Form-factor Pluggable) 커넥터입니다.
ConnectX-3 VPI 어댑터 주요 기능
- InfiniBand IBTA 사양 1.2.1 준수
- 16만 I/O 채널
- 256~4Kbyte MTU, 1Gbyte 메시지
- 1μs MPI 핑 대기 시간
- 포트당 최대 56Gb/s InfiniBand 또는 40기가비트 이더넷
- 정밀 시계 동기화
- 하드웨어 기반 QoS 및 혼잡 제어
- 파이버 채널 캡슐화(FCoIB 또는 FCoE)
- 이더넷 캡슐화(EoIB)
- RoHS-R6
- 하드웨어 기반 I/O 가상화
- 단일 루트 IOV
- 가상 머신당 여러 대기열
- vNIC를 위한 향상된 QoS
- VMware NetQueue 지원
CPU 오프로딩 및 가속
Connect-X는 RDMA 및 송신/수신 시맨틱과 같은 프로토콜 처리 및 데이터 이동 오버헤드를 위한 CPU 오프로드를 제공합니다. CORE-Direct는 데이터 브로드캐스팅 및 수집, 글로벌 동기화 통신 루틴과 같은 애플리케이션 오버헤드를 오프로드합니다. GPU 통신 가속화는 불필요한 내부 데이터 중복을 제거하여 실행 시간을 단축합니다. TCP/UDP/IP 전송을 활용하는 애플리케이션은 IP 전송의 CPU 오버헤드를 줄이는 하드웨어 기반 상태 비저장 오프로드 엔진의 이점을 얻습니다.
Connect-X VPI 어댑터:
- MCX353A-QCBT 단일 QDR 40Gb/s 또는 10GbE
- MCX354A-QCBT 듀얼 QDR 40Gb/s 또는 10GbE
- MCX353A-FCBT 단일 FDR 56Gb/s 또는 40GbE
- MCX354A-FCBT 듀얼 FDR 56Gb/s 또는 40GbE
설계 및 구축
이 스위치는 19cm~40cm 깊이의 표준 80인치 랙에 설치할 수 있습니다. 스위치의 전원 측에는 핫스왑 전원 공급 장치 모듈, 중복 PSU가 장착되지 않은 경우의 블랭크 덮개 및 핫스왑 팬 트레이가 포함됩니다.
스위치의 커넥터 쪽에는 36개의 QSFP 포트, 시스템 LED 및 관리 연결 포트가 있습니다.
다섯 가지 관리 관련 인터페이스가 있습니다.
- "MGT" 레이블이 붙은 2M/100Gb 이더넷 커넥터 1개
- 소프트웨어 또는 펌웨어 업데이트용 USB 포트 1개.
- 호스트 PC에 연결하기 위한 "CONSOLE" 레이블이 붙은 커넥터 1개.
- 진단 및 수리용 전원 공급 장치 측의 I1C 바나나 커넥터 2개
MSX6036은 정방향 및 역방향 공기 흐름 옵션이 있는 표준 깊이(MSX6036F-1SFR 및 MSX6036T-1SFR) 또는 짧은 깊이 설계(MSX6036F-1BRR 및 MSX6036T-1BRR)로 제공됩니다. Mellanox는 SX6036용 긴 레일 키트와 짧은 레일 키트를 제공합니다. 표준 및 짧은 스위치는 긴 레일 키트를 사용하여 장착할 수 있지만 짧은 키트는 짧은 스위치에서만 작동합니다.
출력
이 스위치는 100-240VAC PSU에 대한 자동 감지 지원을 제공합니다. 모든 Mellanox의 SwitchX QSFP 솔루션과 마찬가지로 SX6036은 모듈당 최대 전력이 2W인 액티브 케이블용으로 설계되었습니다. 일반적인 FDR 전력 소비는 활성 케이블의 경우 231W, 수동 케이블의 경우 126W입니다.
SX6036 스위치는 출하 시 설치된 하나의 PSU와 함께 사용할 수 있습니다. 핫 스왑 교체를 지원하려면 중복 PSU를 추가해야 합니다. 기본 전원 공급 장치(PS1)는 전원 측면 패널의 오른쪽에 있고 PS2는 왼쪽에 있습니다. XNUMX개의 전원 공급 장치가 설치된 경우 스위치가 작동하는 동안 PSU 중 하나를 추출할 수 있습니다. PSU를 추출하려면 전원 코드를 제거한 다음 PSU 핸들을 바깥쪽으로 당기면서 해제 래치를 누릅니다. PSU를 설치하려면 약간의 저항이 느껴질 때까지 장치를 입구에 밀어 넣은 다음 PSU가 완전히 장착될 때까지 계속 누릅니다. PSU가 제대로 설치되면 래치가 제자리에 고정되고 전원 공급 장치 코드를 연결할 수 있습니다.
냉각
SX6036은 핫스왑 기능이 있는 중복 팬 장치 XNUMX개를 제공하며 가능한 두 가지 공기 흐름 방향에 대한 구성으로 제공됩니다. 팬 모듈을 빼내려면 모듈을 위로 당겨 스위치에서 빼내는 동안 양쪽 래치를 서로를 향해 밀어야 합니다. 스위치에 전원이 공급되는 동안 팬을 제거하는 경우 팬이 분리되면 문제의 모듈에 대한 팬 상태 표시기가 꺼집니다.
팬 모듈을 설치하려면 약간의 저항이 느껴질 때까지 구멍에 밀어 넣은 다음 완전히 안착될 때까지 계속 누르고 스위치를 켜면 해당 팬 상태 표시기가 녹색으로 표시됩니다.
SX1036과 마찬가지로 SX6036을 처음 구성할 때 원격 및 웹 관리 기능을 활성화하려면 호스트 PC에서 터미널 에뮬레이션 소프트웨어와 함께 제공된 하네스를 사용하여 스위치의 콘솔 RJ-9 포트에 대한 DB45 연결을 설정해야 합니다. . Mellanox는 SX6036을 관리하기 위한 두 가지 솔루션을 제공합니다. MLNX-OS는 섀시 관리를 제공하여 펌웨어, 전원 공급 장치, 팬, 포트 및 기타 인터페이스와 통합 서브넷 관리를 관리합니다. SX6036은 UFM(Unified Fabric Manager)과 결합하여 확장형 InfiniBand 컴퓨팅 환경을 관리할 수도 있습니다.
MLNX-OS에는 CLI, WebUI, SNMP, 섀시 관리 소프트웨어 및 IB 관리 소프트웨어(OpenSM)가 포함되어 있습니다. SX6036 InfiniBand Subnet Manager는 최대 648개의 노드를 지원합니다. (Mellanox는 648개 이상의 노드를 포함하는 패브릭에 대해 Unified Fabric Manager를 권장합니다.) InfiniBand Subnet Manager는 QoS, 라우팅, 파티셔닝과 같은 네트워크 트래픽 관련 구성을 발견하고 패브릭 장치에 적용합니다. 각 서브넷에는 스위치 자체(스위치 기반) 또는 패브릭에 연결된 노드 중 하나(호스트 기반)에서 실행되는 하나의 서브넷 관리자가 필요합니다.
결론
Mellanox SX6036 56Gb InfiniBand 스위치는 StorageReview 엔터프라이즈 랩, Mellanox 인터페이스 카드와 케이블 연결을 통해 완전한 고속 InfiniBand 패브릭을 제공합니다. 새로운 플래시 스토리지 어레이 56Gb IB 상호 연결을 통합하는 Mellanox 네트워킹 장비는 가장 빠른 스토리지 어레이를 적절하게 검토하고 강조하는 데 필요한 백본을 제공합니다. 상호 연결 속도가 빨라짐에 따라 스토리지는 새로운 성능 병목 현상이 되었습니다. InfiniBand 패브릭에 스트레스를 주기를 바라는 어레이 및 서버의 확장 세트와 방정식의 균형을 맞추려고 노력하는 동안 계속 지켜봐 주십시오.
Mellanox SX6036 InfiniBand 스위치 제품 페이지
