Sieci SAN (Storage Area Networks) wykorzystują architekturę sieciową typu magistrala, aby przyspieszyć i zdecentralizować dostęp do pamięci masowej przedsiębiorstw. Przyspieszenie dostępu do pamięci masowej obejmuje zatem zarówno przyspieszenie wydajności sieci SAN, jak i samych nośników danych, dlatego kluczowe jest wyposażenie laboratorium testowego StorageReview Enterprise w różnorodne opcje połączeń w ramach trzech głównych rodzin protokołów sieciowych: Ethernet, InfiniBand i Fibre Channel. Te opcje połączeń umożliwiają przeprowadzanie kompleksowych testów porównawczych w oparciu o warunki porównywalne z tymi, z jakimi administratorzy sieci SAN faktycznie spotykają się w praktyce.
Macierze pamięci masowej all-flash i macierze hybrydowe to technologie pamięci masowej, które napędzają rozwój szybszych połączeń międzysystemowych, ale administratorzy dużych pul dysków twardych również czerpią korzyści ze zwracania szczególnej uwagi na wydajność i niezawodność sieci SAN. Obecnie dostęp do platform połączeń międzysystemowych infrastruktury konwergentnej pozwala uniknąć uzależnienia od jednego protokołu lub fizycznej warstwy łącza, jednak wybory dotyczące połączeń międzysystemowych dokonywane na etapie projektowania sieci pamięci masowej mogą wpływać na możliwości i wydajność sieci SAN w nadchodzących latach.
Szeroka gama opcji implementacji sieci SAN, w tym wybór okablowania i złączy, może na pierwszy rzut oka utrudniać określenie, które kombinacje i konfiguracje połączeń są najbardziej odpowiednie dla danego urządzenia lub aplikacji. Niniejszy przegląd sprzętu sieciowego Enterprise Test Lab rozpocznie się od omówienia każdego z trzech najpopularniejszych protokołów połączeń (Ethernet, InfiniBand i Fibre Channel), co stanowi przegląd opcji dla architektów i techników sieci SAN. Następnie omówimy i zilustrujemy kluczowe opcje fizycznej warstwy łącza dostępne w testach porównawczych StorageReview dla przedsiębiorstw.
Ethernet
Laboratorium StorageReview jest wyposażone w przełączniki Ethernet firm Netgear i Mellanox, które umożliwiają nam wdrażanie opcji łączności od 1 GbE do 40 GbE. Do testów porównawczych 1 GbE używamy przełączników prosumenckich Netgear ProSafe. Łączność 10 GbE jest obsługiwana przez przełącznik Netgear ProSafe Plus XS708E ze złączami 8P8C oraz przełącznik Mellanox SX1036 10/40 Gb , wyposażony w kable typu fan-out, które rozdzielają cztery porty Ethernet SFP+ z jednego portu QSFP.
Chociaż termin Ethernet jest często używany jako synonim miedzianego okablowania skrętkowego ze złączem 8P8C (powszechnie nazywanym złączem RJ45), Ethernet odnosi się do standardu komunikacji sieciowej, który może być stosowany zarówno w łączach fizycznych miedzianych, jak i światłowodowych. W przypadku stosunkowo krótkich odcinków kable miedziane często oferują atrakcyjny stosunek ceny do wydajności w zastosowaniach Ethernet, ale wraz ze wzrostem wymaganych prędkości transmisji danych i odległości transmisji, kable światłowodowe zaczynają oferować przewagę konkurencyjną nad kablami miedzianymi.
Widzimy nowy sprzęt z Ethernetem na trzech poziomach:
- 1GbE – Obecnie w 2013 roku większość urządzeń domowych i konsumenckich jest zaprojektowana z wbudowaną kartą gigabitowego Ethernetu 1000BASE-T, podobnie jak urządzenia dla stacji roboczych przedsiębiorstw, sieci NAS/SAN dla małych i średnich firm oraz interfejsy LAN dla serwerów. Coraz częściej spotykamy się ze standardem standardu Ethernetu 10GBASE-T w sprzęcie serwerowym i pamięci masowej, ale na razie gigabitowe prędkości są de facto minimalnym standardem dla przewodowej łączności sieciowej.
- 10GbE – W pierwszej dekadzie XXI wieku prędkości 10 gigabitów wymagały światłowodu lub krótkodystansowych złącz Twinax za pośrednictwem złączy typu SPF. Miedź i złącze 8P8C zyskują obecnie na popularności w architekturach SAN dzięki rosnącej dostępności sprzętu sieciowego 10GBASE-T, który umożliwia prędkości 10 gigabitów w sieciach Cat6 i Cat7. 10GbE w miedzianej skrętce sprawiło, że 2000GBASE-T stało się nowym, przystępnym cenowo rozwiązaniem dla szybkich połączeń między pamięciami masowymi, choć światłowód nadal dominuje na rynku. Przełącznik Netgear M7100 posiada dwadzieścia cztery porty 10GBase-T i cztery porty SFP+, podczas gdy nasz Netgear ProSafe Plus XS708E posiada osiem portów 10GbE i jeden współdzielony port światłowodowy 10G SFP+.
- 40GbE – Dzięki QSFP+, który konsoliduje cztery linie SFP+ w jednym złączu, możemy osiągnąć łączność 40 GbE, często niezbędną dla najszybszych nowoczesnych macierzy pamięci masowej. Sprzęt infrastruktury konwergentnej, taki jak Mellanox SX6036, którego używamy w laboratorium, zapewnia opcje InfiniBand 40GbE lub 56Gb/s w zależności od konfiguracji. Przełącznik Ethernet Mellanox SX1036 10/40 Gb stanowi podstawę sieci laboratorium.
InfiniBand
Technologia InfiniBand stała się powszechnie dostępna na początku XXI wieku, a jej udoskonaleniem zajęli się producenci przełączników Mellanox i QLogic. InfiniBand oferuje pięć poziomów wydajności łącza: pojedynczą przepustowość (SDR) 2.5 Gb/s na pasmo, podwójną przepustowość (DDR) 5 Gb/s, poczwórną przepustowość (QDR) 10 Gb/s, czternastokrotną przepustowość (FDR) 14 Gb/s oraz zwiększoną przepustowość (EDR) 26 Gb/s na pasmo jednokierunkowe.
InfiniBand może być używany z okablowaniem miedzianym lub światłowodowym, w zależności od wymaganej wydajności i odległości połączenia. Obecnie złącza SFF-8470, często nazywane po prostu złączami InfiniBand, zazwyczaj kończą kable wraz ze złączami typu SFP. W laboratorium testowym StorageReview Enterprise znajduje się sieć Mellanox InfiniBand o przepustowości 56 Gb/s, która jest wykorzystywana w testach porównawczych urządzeń pamięci masowej flash, w tym w naszym teście porównawczym bazy danych MarkLogic NoSQL.
Test porównawczy MarkLogic NoSQL porównuje wydajność pamięci masowej różnych urządzeń, w tym akceleratorów aplikacji PCIe, grup dysków SSD i dużych macierzy HDD. Do zapewnienia połączeń międzysystemowych w tych testach korzystamy z infrastruktury Mellanox InfiniBand opartej na naszym urządzeniu Mellanox SX6036, zapewniającej przepustowość sieci 56 Gb/s oraz obsługę protokołów iSER (iSCSI-RDMA) i SRP (SCSI RDMA). Protokoły iSER i SRP zastępują stos TCP iSCSI protokołem RDMA (Remote Direct Memory Access), co zwiększa wydajność w środowisku klastrowym, umożliwiając ruch sieciowy z pominięciem procesorów systemów i kopiowanie danych z pamięci systemów wysyłających bezpośrednio do pamięci systemów odbierających. Funkcje te są również dostępne w sieci Ethernet dzięki protokołowi iSCSI over RDMA (iSER).
Dzięki tej infrastrukturze InfiniBand, w połączeniu z serwerem EchoStreams GridStreams Quad-Node Server i standardowym zestawem testów MarkLogic NoSQL, możemy testować nowe, wydajne urządzenia pamięci masowej, takie jak Micron P320h 2.5″ PCIe Application Accelerator, aby porównać specyfikacje producenta z wydajnością w warunkach rzeczywistych. Jeszcze w tym roku dodamy nowy test porównawczy VMware, który również wykorzystuje technologię InfiniBand SAN firmy StorageReview.
protokół Fibre Channel
Pod koniec lat 1990. XX wieku Fibre Channel był dominującym protokołem połączeń dla szybkich sieci obliczeniowych i sieci pamięci masowej (SAN). Wprowadzając pewne zamieszanie, Fibre Channel jest używany jako skrót od Fibre Channel Protocol, szeregowego protokołu komunikacyjnego opartego na kanałach, często wdrażanego zarówno w kablach miedzianych, jak i światłowodowych. Fizyczna warstwa łącza Fibre Channel umożliwia poprowadzenie jednej trasy komunikacyjnej przez więcej niż jeden typ technologii łącza, w tym mieszanie segmentów miedzianych i światłowodowych, w celu dotarcia do celu.
Laboratorium StorageReview wykorzystuje łączność FC 8 Gb/s i 16 Gb/s za pośrednictwem przełącznika QLogic SB5800V 8 Gb Fibre Channel oraz przełącznika Brocade 6510 16 Gb FC . W aplikacjach infrastruktury konwergentnej używamy dwuportowych kart HBA QLogic 16 Gb, a w innych sytuacjach wykorzystujemy również jednoportowe karty HBA Emulex 16 Gb Fibre Channel. Kluczową różnicą między urządzeniami Fibre Channel a innymi infrastrukturami SAN są ceny i licencje. Podczas gdy przełączniki Ethernet są zazwyczaj dostępne z ustaloną liczbą portów (zwykle 12, 24 lub 48), które są aktywne w momencie zakupu, producenci FC często stosują model licencjonowania per port, w którym przełącznik Fibre Channel może oferować 48 portów fizycznych, ale w pakiecie z licencją na 12 lub 24 z nich jest oferowany tylko przy pierwszym zakupie. Dodatkowe porty i czasami inne funkcjonalności można włączyć w razie potrzeby, dokupując dodatkowe licencje.
Fibre Channel to pierwszy protokół SAN obsługiwany przez technologię Mt. Rainier firmy QLogic , która łączy karty HBA QLogic SAN z serwerową pamięcią masową flash i oprogramowaniem, zapewniając niezależne od systemu operacyjnego buforowanie za pośrednictwem karty PCIe zainstalowanej w serwerach. Technologia Mt. Rainier opiera się na karcie adaptera opartej na PCIe HBA QLogic do zarządzania logiką i pamięcią podręczną, a także samą pamięcią masową, która następnie łączy się z warstwą pamięci flash. Rezultatem jest lokalna pamięć podręczna dla serwera obliczeniowego za pośrednictwem karty interfejsu, która i tak byłaby wymagana do łączności Fibre Channel SAN. Dla aplikacji działających na serwerze lub klastrze pamięć podręczna wygląda jak pamięć masowa SAN, ale dostęp do niej jest szybszy.
To podejście, wykorzystujące infrastrukturę SAN do zapewnienia lokalnego i klastrowego buforowania, pokazuje ogromne możliwości innowacji w obecnej generacji technologii Fibre Channel. Zainstalowanie w klastrze więcej niż jednego adaptera FabricCache firmy QLogic umożliwia współdzielenie pamięci podręcznej – integracja z infrastrukturą Fibre Channel pozwala na wykorzystanie pamięci podręcznej na karcie zarówno w skali lokalnej, jak i klastrowej.
Komponenty fizyczne
Skrętka miedziana (kable typu CAT)
Skrętka miedziana jest najszerzej stosowanym połączeniem poza sieciami pamięci masowej o dużej szybkości, chociaż wraz z pojawieniem się gigabitowych i 10-gigabitowych połączeń miedzianych, skrętka zyskała przewagę nad światłowodami w zastosowaniach SAN o dużej szybkości. Rodzina skrętek „Cat” (kategoria) charakteryzuje się niskim kosztem, łatwością produkcji oraz typem złącza, który pozostał praktycznie niezmieniony przez kilka generacji technologii sieciowych.
Skrętka miedziana jest klasyfikowana według numeru generacji, który odzwierciedla jej maksymalną prędkość transmisji danych i maksymalną znamionową odległość łącza. Począwszy od lat 1990. XX wieku, kolejne generacje „katalogów” przyniosły łączność o prędkości 100 Mb/s (kat. 5), 1 Gb/s (kat. 5e), 10 Gb/s (kat. 6) oraz zwiększoną maksymalną odległość łącza (kat. 7).
Twinax
Pierwotnie stosowane we wczesnych systemach mikrokomputerowych, okablowanie twinax (Twinax) nadal znajduje zastosowanie jako warstwa fizyczna połączeń 10GbE w XXI wieku. Ze względu na prostą konstrukcję, Twinax oferuje niższe koszty niż kable światłowodowe na krótkich odcinkach, ale mimo to jest droższy niż 10GbE za pomocą skrętki kat. 6 lub kat. 7. Jeśli skrętka będzie nadal zyskiwać na popularności w zastosowaniach połączeń SAN, Twinax może ponownie zostać zdegradowany do starszych i niszowych zastosowań.
Światłowód
Kable światłowodowe oferują szereg zalet technicznych w porównaniu z miedzią w zakresie transmisji danych, choć ich znacznie wyższy koszt i brak praktycznych możliwości samodzielnego tworzenia kabli w centrach danych przez techników skłoniły wiele przedsiębiorstw i centrów danych do rozważenia wykorzystania miedzi do połączeń międzysystemowych. Do zalet światłowodów należą większe maksymalne odległości transmisji oraz brak podatności na zakłócenia elektromagnetyczne pochodzące z pobliskich urządzeń lub nieprawidłowej instalacji.
Światłowód występuje w dwóch odmianach: jednomodowej i wielomodowej. Światłowód jednomodowy charakteryzuje się jedną wewnętrzną nicią i umożliwia osiągnięcie większych maksymalnych prędkości transmisji danych oraz odległości między segmentami sieci. Wymaga jednak użycia droższych laserów, co może generować wyższe koszty urządzeń sieciowych. Światłowód wielomodowy jest odporny na tańsze materiały kablowe i może być zasilany prostszymi i tańszymi diodami LED zamiast laserów.
Obecnie kabel optyczny pozostaje uniwersalnym kablem do wdrażania korporacyjnych sieci SAN. Nowoczesne łącza światłowodowe zazwyczaj wykorzystują standardowe w branży złącza podrzędne, co sprawia, że modernizacja i zmiany protokołów sprowadzają się do wymiany transceiverów, aby korzystać z tego samego łącza dla Ethernetu, Fibre Channel lub InfiniBand. Początkowe koszty instalacji światłowodu są wysokie, ale wysokiej jakości kabel charakteryzuje się długą żywotnością, ponieważ zwiększenie przepustowości często wymaga jedynie modernizacji transceiverów i przełączników.
Transceiver/złącza typu SFP
W ciągu ostatnich 10 lat złącza SFP i ich następcy zdominowały rosnący segment rynku połączeń międzysystemowych ze względu na elastyczność formatu. Większość urządzeń z 2013 roku to złącza SFP+ lub QSFP, choć istnieją również inne warianty.
- SFP: Small Form-Factor Pluggable, zaprojektowany do prędkości do 1 Gb/s
- SFP+: ulepszona, wtykowa konstrukcja Small Form-Factor, zaprojektowana do prędkości do 10 Gb/s i wstecznie kompatybilna z SFP
- QSFP: Quad Small Form-Factor Pluggable, zaprojektowany do obsługi połączeń 40 Gb/s i szybszych, ten współczynnik kształtu łączy cztery interfejsy w jednym transceiverze
Patrząc w przyszłość
Dzięki wsparciu firm Brocade, Emulex, HP, Intel, Mellanox, Netgear, QLogic i innych, laboratorium StorageReview jest przygotowane na wszelkie potrzeby w zakresie połączeń. W tak heterogenicznym środowisku elastyczność jest kluczowa – nigdy nie wiadomo, kiedy część szkieletu światłowodowego będzie wymagała udostępnienia nowej macierzy, a kiedy zobaczymy standardowy, mały serwer NAS obsługujący agregację czterech łączy Ethernet. Oczywiście nie wszystkie środowiska korporacyjne i MŚP będą wymagały takiej elastyczności i właśnie dlatego niektórzy dostawcy pamięci masowej stawiają bardziej na modułowość niż na ograniczanie klientów do konkretnych wymagań dotyczących połączeń. Na przykład NetApp oferuje wymienne karty światłowodowe i 10 GbE, co ułatwia dopasowanie macierzy do środowisk, które mogą być ujednolicone w oparciu o jedną lub drugą technologię.
Specjaliści od połączeń międzysystemowych również robią coś podobnego – dostępne są teraz przełączniki SFP+, które ułatwiają technikom przełączanie się między mediami i protokołami łącza bez konieczności demontażu i ponownego montażu. Konwergentne adaptery hosta (HBA) firmy QLogic obsługują zmianę portów między Ethernetem a Fibre Channel poprzez zamianę transceiverów i kabli, a także zmianę ustawień w BIOS-ie karty. Firma Mellanox była jednym z pierwszych liderów w dziedzinie kart sieciowych wykorzystujących wirtualne połączenia międzysystemowe, umożliwiając tej samej karcie sieciowej działanie przez InfiniBand lub Ethernet poprzez podłączenie innego kabla i załadowanie innego sterownika.
Dynamika rozwoju infrastruktury konwergentnej podąża równolegle z trendem wirtualizacji. Implikacje najnowszych generacji sieci SAN i technologii wirtualizacji wskazują na stały proces oddzielania infrastruktury fizycznej nie tylko od serwerów i aplikacji, które na nich działają, ale także od warstwy sieciowej, która łączy samą infrastrukturę. Zamiast konkurować o silosy i konkurencję między technologiami, rynek zmierza w kierunku interkompatybilności i heterogenicznych, konwergentnych infrastruktur.
Amazon