Mellanox SX6036 to drugi zarządzalny przełącznik Mellanox, który dołączył do szafy w StorgeReview Enterprise Lab . SX6036 jest przeznaczony do łączności typu top-of-rack leaf, budowania klastrów i przenoszenia konwergentnego ruchu LAN i SAN. Zintegrowany InfiniBand Subnet Manager może obsługiwać strukturę InfiniBand do 648 węzłów. Chociaż odkryliśmy, że 1GbE, 10GbE i 40GbE są przekonującymi połączeniami w laboratorium, są sytuacje, gdy potrzeba tylko trochę więcej mocy, aby zapewnić, że pamięć masowa jest wąskim gardłem przepustowości i opóźnień, a nie struktura sieci. W tym celu wykorzystujemy przełącznik InfiniBand i powiązany sprzęt w wysokiej klasy macierzach pamięci masowej i sytuacjach, w których nie tylko potrzeba szybkości, szybkość jest wymogiem prowadzenia działalności.
Klaster w pudełku firmy StorageReview składający się z trzech serwerów Romley, przełącznika Mellanox SX6036 i EchoStreams FlacheSAN2
System przełączników SX6036 firmy Mellanox jest częścią kompleksowego rozwiązania Mellanox do połączeń międzysystemowych, które obejmuje również nasz przełącznik Ethernet Mellanox SX1036 10/40. SX1036 ma wiele wspólnego z konstrukcją i układem; podobnie jak SX1036, SX6036 to przełącznik 1U z 36 portami. SX6036 zapewnia do 56 Gb/s pełnej przepustowości dwukierunkowej na port, co łącznie daje 4.032 Tb/s przepustowości bez blokowania, z opóźnieniem między portami wynoszącym 170 ns.
Technologia FDR InfiniBand firmy Mellanox wykorzystuje kodowanie 64b/66b i zwiększa przepustowość sygnału na tor do 14 Gb/s w przypadku użycia z zatwierdzonymi kablami Mellanox. W połączeniu z dedykowanymi adapterami ConnectX-3, SX6036 obsługuje również FDR10, niestandardową przepustowość InfiniBand. Dzięki FDR10 każda tor portu 4X obsługuje przepustowość 10.3125 Gb/s z kodowaniem 64b/66b, co przekłada się na efektywną przepustowość 40 Gb/s, czyli o 20% większą niż QDR.
Główne cechy SX6036
- 36 portów FDR (56 Gb/s) w przełączniku 1U
- Łączna przepustowość przełączania 4 Tb/s
- Zgodny z IBTA 1.21 i 1.3
- Obsługa FDR/FDR10 dla korekcji błędów do przodu (FEC)
- 9 wirtualnych torów: 8 danych + 1 zarządzanie
- 256 do 4 KB MTU
- 4 x 48K wpisów liniowej bazy danych przekierowującej
Nadchodzące funkcje
Firma Mellanox ogłosiła również pakiet funkcji, które zostaną udostępnione w przyszłych aktualizacjach. Będą one koncentrować się na:
- Trasowanie InfiniBand do InfiniBand
- Obsługa do 8 partycji przełączników wielokrotnych
- Trasowanie adaptacyjne
- Kontrola zatorów
- Dublowanie portów
Adapter ConnectX-3 VPI
Dopasowaliśmy SX6036 do kart adapterowych VPI ConnectX-3 firmy Mellanox. Karty ConnectX-3 obsługują łączność InfiniBand, Ethernet i Data Center Bridging (DCB), zapewniając elastyczne rozwiązanie połączeń z funkcją automatycznego wykrywania. Funkcja FlexBoot w ConnectX-3 umożliwia serwerom rozruch ze zdalnych docelowych pamięci masowych przez InfiniBand lub sieć LAN.
Adaptery ConnectX-3 Virtual Protocol Interconnect obsługują protokoły RDMA bazujące na OpenFabrics i wykorzystują IBTA RoCE do świadczenia usług RDMA przez warstwę 2 sieci Ethernet.
Aby dopełnić kompleksową konfigurację sieci Mellanox, w naszym laboratorium wykorzystujemy rozwiązania okablowania Mellanox QSFP, które zaspokajają potrzeby InfiniBand. Do połączenia adapterów InfiniBand 56 Gb/s z naszym przełącznikiem SX6036, używamy pasywnych kabli QSFP o długości 0.5 m, 1 m i 3 m, w zależności od tego, jak blisko siebie są zgrupowane urządzenia.
Powyżej przedstawiono złącze QSFP (Quad Small Form-factor Pluggable), którego używamy do podłączania sprzętu InfiniBand 40GbE lub 56Gb/s.
Kluczowe cechy adaptera ConnectX-3 VPI
- Zgodność ze specyfikacją InfiniBand IBTA 1.2.1
- 16 milionów kanałów wejścia/wyjścia
- 256 do 4 KB MTU, wiadomości 1 GB
- Opóźnienie pingowania MPI 1μs
- Do 56 Gb/s InfiniBand lub 40 Gigabit Ethernet na port
- Precyzyjna synchronizacja zegara
- Sprzętowy QoS i kontrola przeciążenia
- Kapsułkowanie Fibre Channel (FCoIB lub FCoE)
- Enkapsulacja Ethernetu (EoIB)
- RoHS-R6
- Wirtualizacja wejścia/wyjścia oparta na sprzęcie
- Pojedynczy korzeń IOV
- Wiele kolejek na maszynę wirtualną
- Ulepszona jakość usług (QoS) dla vNIC
- Obsługa VMware NetQueue
Odciążanie i przyspieszanie procesora
Connect-X oferuje odciążenie procesora w zakresie przetwarzania protokołów i narzutu związanego z przesyłaniem danych, takiego jak RDMA oraz semantyka wysyłania/odbierania. CORE-Direct odciąża aplikacje, takie jak nadawanie i gromadzenie danych, a także procedury globalnej synchronizacji komunikacyjnej. Przyspieszenie komunikacji przez GPU eliminuje zbędną wewnętrzną duplikację danych, skracając czas działania. Aplikacje wykorzystujące transport TCP/UDP/IP korzystają ze sprzętowych, bezstanowych mechanizmów odciążania, które zmniejszają narzut związany z transportem IP.
Adaptery Connect-X VPI:
- MCX353A-QCBT Pojedynczy QDR 40 Gb/s lub 10 GbE
- MCX354A-QCBT Podwójny QDR 40 Gb/s lub 10 GbE
- MCX353A-FCBT Pojedynczy FDR 56 Gb/s lub 40 GbE
- MCX354A-FCBT Podwójny FDR 56 Gb/s lub 40 GbE
Zaprojektuj i zbuduj
Przełącznik można zamontować w dowolnej standardowej 19-calowej szafie o głębokości od 40 cm do 80 cm. Strona zasilania przełącznika obejmuje moduł zasilacza z możliwością wymiany bez wyłączania zasilania, zaślepkę (jeśli nie jest wyposażony w redundantny zasilacz) oraz tackę wentylatora z możliwością wymiany bez wyłączania zasilania.
Strona złączy przełącznika wyposażona jest w 36 portów QSFP, diody LED systemu i porty połączeń zarządzania.
Istnieje pięć interfejsów związanych z zarządzaniem:
- 2 złącza Ethernet 100M/1Gb oznaczone jako „MGT”
- 1 port USB umożliwiający aktualizację oprogramowania lub oprogramowania sprzętowego.
- 1 złącze oznaczone jako „CONSOLE” służące do połączenia z komputerem hosta.
- 1 złącze bananowe I2C po stronie zasilania do celów diagnostycznych i naprawczych
Model MSX6036 jest dostępny w wersji o standardowej głębokości (MSX6036F-1SFR i MSX6036T-1SFR) lub o małej głębokości (MSX6036F-1BRR i MSX6036T-1BRR) z opcją przepływu powietrza do przodu i do tyłu. Mellanox oferuje zestawy długich i krótkich szyn do modelu SX6036. Zarówno standardowe, jak i krótkie przełączniki można zamontować za pomocą zestawu długiej szyny, natomiast zestaw krótkiej szyny będzie działał tylko z krótkim przełącznikiem.
Zasilanie
Przełącznik obsługuje automatyczne wykrywanie napięcia zasilania 100–240 V AC. Podobnie jak wszystkie rozwiązania SwitchX QSFP firmy Mellanox, SX6036 został zaprojektowany do obsługi kabli aktywnych, o maksymalnej mocy 2 W na moduł. Typowy pobór mocy przez FDR wynosi 231 W z kablami aktywnymi lub 126 W z kablami pasywnymi.
Przełącznik SX6036 jest dostępny z jednym fabrycznie zainstalowanym zasilaczem. Aby umożliwić wymianę w trybie hot-swap, konieczne jest dodanie zapasowego zasilacza. Główny zasilacz (PS1) znajduje się po prawej stronie panelu zasilania, a zasilacz PS2 po lewej stronie. Po zainstalowaniu dwóch zasilaczy, każdy z nich można wyjąć podczas pracy przełącznika. Aby wyjąć zasilacz, należy odłączyć przewód zasilający, a następnie nacisnąć zatrzask zwalniający, jednocześnie pociągając za uchwyt zasilacza. Aby zainstalować zasilacz, wsuń go do otworu, aż poczujesz lekki opór, a następnie kontynuuj naciskanie, aż zasilacz zostanie całkowicie osadzony. Po prawidłowym zainstalowaniu zasilacza zatrzask zatrzaśnie się na miejscu i będzie można podłączyć przewód zasilający.
Chłodzenie
SX6036 oferuje jeden redundantny moduł wentylatora z możliwością wymiany na gorąco i jest dostępny w konfiguracjach umożliwiających dwa możliwe kierunki przepływu powietrza. Aby wyjąć moduł wentylatora, należy docisnąć oba zatrzaski do siebie, jednocześnie wyciągając moduł do góry i wyjmując go z przełącznika. Jeśli wyjmiesz wentylator, gdy przełącznik jest zasilany, wskaźnik stanu wentylatora danego modułu wyłączy się po jego odłączeniu.
Aby zainstalować moduł wentylatora, wsuń go do otworu, aż poczujesz lekki opór, a następnie kontynuuj wsuwanie, aż zostanie całkowicie osadzony, a odpowiedni wskaźnik stanu wentylatora zaświeci się na zielono po włączeniu zasilania.
Zarząd
Podobnie jak w przypadku SX1036, podczas pierwszej konfiguracji SX6036 należy nawiązać połączenie DB9 z portem konsoli RJ-45 przełącznika za pomocą dołączonej wiązki przewodów z oprogramowaniem do emulacji terminala na komputerze hosta, aby umożliwić funkcje zdalnego i internetowego zarządzania. Mellanox oferuje dwa rozwiązania do zarządzania SX6036. System MLNX-OS zapewnia zarządzanie obudową, umożliwiając zarządzanie oprogramowaniem sprzętowym, zasilaczami, wentylatorami, portami i innymi interfejsami, a także zintegrowane zarządzanie podsieciami. SX6036 można również połączyć z Unified Fabric Manager (UFM), aby zarządzać skalowalnymi środowiskami obliczeniowymi InfiniBand.
System MLNX-OS zawiera interfejs wiersza poleceń (CLI), interfejs użytkownika WebUI, oprogramowanie do zarządzania SNMP i obudową oraz oprogramowanie do zarządzania IB (OpenSM). Menedżer podsieci InfiniBand SX6036 obsługuje do 648 węzłów. (Mellanox zaleca korzystanie z Menedżera Ujednoliconej Sieci (Unified Fabric Manager) w przypadku sieci obejmujących ponad 648 węzłów). Menedżer podsieci InfiniBand wykrywa i stosuje konfiguracje związane z ruchem sieciowym, takie jak QoS, routing i partycjonowanie, do urządzeń w strukturze. Każda podsieć wymaga uruchomienia jednego menedżera podsieci na samym przełączniku (na poziomie przełącznika) lub na jednym z węzłów podłączonych do struktury (na poziomie hosta).
Wniosek
Przełącznik Mellanox SX6036 56 Gb InfiniBand to kluczowy element StorageReview Enterprise Lab , który w połączeniu z kartami interfejsów i okablowaniem Mellanox zapewnia nam kompletną, szybką infrastrukturę InfiniBand. Dzięki nowym macierzom pamięci flash z integracją połączeń IB 56 Gb, sprzęt sieciowy Mellanox zapewnia nam szkielet niezbędny do prawidłowego testowania i obciążania najszybszych macierzy pamięci masowej. Wraz z rosnącą prędkością połączeń, pamięć masowa staje się nowym wąskim gardłem wydajności. Bądźcie na bieżąco, ponieważ staramy się zrównoważyć to równanie z rosnącym zestawem macierzy i serwerów, które mają nadzieję obciążyć infrastrukturę InfiniBand.
Strona produktu przełącznika InfiniBand Mellanox SX6036
Amazon