Enterprise Test Lab Nätverksöversikt

Storage Area Networks (SAN) utnyttja nätverksarkitekturer i busstil för att accelerera och decentralisera åtkomsten till företagslagring. Accelererande lagringsåtkomst omfattar därför accelererande SAN-prestanda såväl som själva lagringsmediet, vilket gör det avgörande att utrusta StorageReview Enterprise Test Lab med en mängd olika sammankopplingsalternativ över de tre viktiga nätverksprotokollfamiljerna: Ethernet, InfiniBand och Fibre Channel. Dessa sammankopplingsalternativ ger möjlighet att utföra omfattande benchmarking baserat på förhållanden som är jämförbara med vad SAN-administratörer faktiskt upplever inom området.

All-flash-lagringsarrayer och hybridarrayer är de lagringsteknologier som har drivit på utvecklingen av snabbare sammankopplingar, men administratörer av stora hårddiskpooler drar också nytta av att ägna stor uppmärksamhet åt SAN-prestanda och tillförlitlighet. Idag kan åtkomst till konvergerade infrastruktursammankopplingsplattformar hjälpa till att undvika att bli låst till ett protokoll eller fysiskt länklager, men sammankopplingsval som görs under arkitekturen av lagringsnätverk kan påverka SAN-kapacitet och prestanda i många år framöver.

Ett brett utbud av alternativ för SAN-implementering, inklusive val av kablar och anslutningar, kan göra det svårt att vid första anblicken avgöra vilka sammankopplingskombinationer och konfigurationer som är mest lämpliga för en viss enhet eller applikation. Denna översikt över Enterprise Test Labs nätverksutrustning kommer att börja med en diskussion om vart och ett av de tre vanligaste sammankopplingsprotokollen (Ethernet, InfiniBand och Fibre Channel) som en översikt över alternativen för SAN-arkitekter och tekniker. Vi kommer sedan att bryta ner och illustrera de viktigaste fysiska länklageralternativen som är tillgängliga för StorageReview-företagsbenchmarks.

ethernet

StorageReview-labbet är utrustat med Ethernet-switchhårdvara från Netgear och Mellanox som gör det möjligt för oss att distribuera anslutningsalternativ från 1GbE till 40GbE. För 1GbE benchmarks använder vi Netgear ProSafe prosumer switchar. Vår 10GbE-anslutning drivs av en Netgear ProSafe Plus XS708E använder 8P8C-kontakter och en Mellanox SX1036 10/40Gb, med fan-out-kablar som bryter ut fyra SFP+ Ethernet-portar från en enda QSFP-port.

Även om termen Ethernet ofta används synonymt med tvinnade kopparkablar som har en 8P8C-kontakt (vanligen kallad RJ45-kontakt), hänvisar Ethernet till en nätverkskommunikationsstandard som kan användas över både koppar- och fiberoptiska fysiska länkar. För relativt korta körningar erbjuder kopparkablar ofta en övertygande pris-till-prestanda-standard för Ethernet-tillämpningar, men allteftersom dataöverföringshastigheterna ökar och överföringsavstånden ökar, börjar fiberoptisk kabel att erbjuda en konkurrensfördel jämfört med koppar.

Vi ser ny utrustning med Ethernet på tre nivåer:

1GbE – För närvarande under 2013 är de flesta hem- och prosumerutrustningar designade med inbyggt 1000BASE-T gigabit Ethernet, tillsammans med utrustning för företagsarbetsstationer, SMB NAS/SAN och inbyggda server-LAN-gränssnitt. Vi börjar se mer och mer 10GBASE-T twisted pair Ethernet-fraktstandard på server- och lagringshårdvara, men för närvarande är gigabithastigheter den de facto minimistandarden för trådbunden nätverksanslutning.
10GbE – Under det första decenniet av 2000-talet krävde 10 gigabithastigheter fiberoptisk eller kortvarig Twinax via SPF-liknande kontakter. Koppar och 8P8C-kontakten gör nu intåg i SAN-arkitekturer på grund av den växande tillgängligheten av 10GBASE-T nätverkshårdvara, som tillåter tio gigabithastigheter över cat6 och cat7. 10GbE över tvinnat kopparpar har gjort 10GBASE-T till ett prisvärt nytt val för höghastighetslagringssammankoppling, även om fiberoptik fortfarande dominerar marknaden. Vår Netgear M7100 Switch har tjugofyra 10GBase-T-portar och 4 SFP+-portar, medan vår Netgear ProSafe Plus XS708E har åtta 10GbE-portar och en delad 10G fiber SFP+-port.
40GbE – Via QSFP+ som konsoliderar fyra SFP+-banor till en anslutning, kan vi uppnå 40GbE-anslutning som ofta är nödvändig för de snabbaste moderna lagringsarrayerna. Konvergerad infrastruktur hårdvara, såsom Mellanox SX6036 använder vi i labbet, ger alternativ för 40GbE eller 56Gb/s InfiniBand beroende på konfiguration. A Mellanox SX1036 10/40Gb Ethernet-switch fungerar som ryggraden för labbets nätverk.

InfiniBand

InfiniBand blev allmänt tillgängligt i början av 2000-talet med switchtillverkarna Mellanox och QLogic som driver standarden framåt. InfiniBand erbjuder fem nivåer av länkprestanda: enkel datahastighet (SDR) vid 2.5 Gb/s per körfält, dubbel datahastighet (DDR) vid 5 Gb/s, quad datahastighet (QDR) vid 10 Gb/s, fjorton datahastighet (FDR) vid 14 Gb/s och förbättrad datahastighet (EDR) vid 26 Gb/s per enkelriktad körfält.

InfiniBand kan användas med koppar- eller fiberoptiska kablar beroende på vilken prestanda och avstånd som krävs för sammankopplingen. Idag terminerar SFF-8470-kontakter, ofta bara kallade InfiniBand Connectors, vanligen kablar tillsammans med SFP-liknande kontakter. StorageReview Enterprise Test Lab är hem för ett 56Gb/s Mellanox InfiniBand-tyg som används för att benchmarka flashlagringsenheter, inklusive vår MarkLogic NoSQL-databas riktmärke.

MarkLogic NoSQL benchmark jämför lagringsprestanda över en mängd olika enheter, inklusive PCIe Application acceleratorer, grupper av SSD:er och stora hårddiskar. Vi använder ett Mellanox InfiniBand-tyg som drivs av vår Mellanox SX6036 att tillhandahålla sammankopplingarna för dessa riktmärken på grund av dess 56 Gb/s nätverksgenomströmning samt stöd för protokollen iSER (iSCSI-RDMA) och SRP (SCSI RDMA). iSER och SRP ersätter iSCSI TCP-stacken med Remote Direct Memory Access (RDMA), vilket möjliggör större effektivitet i en klustrad miljö genom att tillåta nätverkstrafik att kringgå systemens processorer och tillåta att data kopieras från det sändande systemets minne direkt till mottagningssystems minne. Dessa funktioner överförs också till Ethernet med iSCSI over RDMA (iSER)-protokollet.

Att ha detta InfiniBand-tyg på plats, i kombination med en EchoStreams GridStreams Quad-Node Server och en standardiserad uppsättning av MarkLogic NoSQL-riktmärken, gör det möjligt för oss att driva nya högpresterande lagringsenheter som t.ex. Micron P320h 2.5 tum PCIe Application Accelerator för att se hur tillverkarens specifikationer jämförs med prestanda under verkliga förhållanden. Senare i år kommer vi att lägga till ett nytt VMware-riktmärke som också utnyttjar StorageReviews InfiniBand SAN.

Fiber Channel Protocol

I slutet av 1990-talet var Fibre Channel det dominerande sammankopplingsprotokollet för höghastighetsdator- och lagringsnätverk (SAN). För att skapa en viss förvirring används Fibre Channel som en förkortning för Fibre Channel Protocol, ett seriellt, kanalbaserat kommunikationsprotokoll som ofta distribueras över såväl koppar- som fiberoptisk kabel. Fibre Channels fysiska länklager gör att en enda kommunikationsväg kan dirigeras över mer än en typ av länkteknik, inklusive blandning av koppar- och fiberoptiska segment, för att nå sin destination.

StorageReview-labbet har både 8Gb/s och 16Gb/s FC-anslutning via en QLogic SB5800V 8Gb fiberkanal switch och en Brocade 6510 16Gb FC växla. För konvergerade infrastrukturapplikationer använder vi 16 Gb QLogic HBA med dubbla portar, och i andra situationer använder vi även enports 16 Gb Emulex Fibre Channel HBA. En viktig skillnad mellan Fibre Channel-utrustning och annan SAN-infrastruktur är prissättning och licensiering. Medan Ethernet-switchar i allmänhet är tillgängliga med ett visst antal portar (vanligtvis 12, 24 eller 48) som alla är aktiva vid köp, är det vanligt att FC-tillverkare använder en licensmodell per port, där en Fibre Channel-switch kan finnas med 48 fysiska portar men inkluderar endast medföljande licenser för 12 eller 24 av dessa med det första köpet. Ytterligare portar och ibland annan funktionalitet aktiveras vid behov genom att köpa ytterligare licenser.

Fibre Channel är det första SAN-protokollet som stöds av QLogics Mt. Rainier-teknik, som kombinerar QLogic SAN HBAs med serverbaserad flashlagring och programvara för att tillhandahålla OS-oberoende cachning via ett PCIe-kort installerat i servrar. Mt. Rainier fokuserar på ett QLogic PCIe HBA-baserat adapterkort för logik- och cachehantering samt själva lagringen, som sedan ansluts till flashnivån. Nettoresultatet är lokal cache för datorservern via ett gränssnittskort som skulle ha krävts för Fibre Channel SAN-anslutning oavsett. För applikationer som körs på en server eller ett kluster ser cachen ut som SAN-lagring, men den är snabbare att komma åt.

Detta tillvägagångssätt, som utnyttjar SAN-infrastrukturen för att tillhandahålla lokal och klusteromfattande cachelagring, visar det betydande utrymmet för innovation i den nuvarande generationen av Fibre Channel-teknik. Genom att installera mer än en av QLogics FabricCache-adaptrar i ett kluster kan cachen delas överallt – integration med Fibre Channel-tyget gör att cachen på kortet kan utnyttjas på både lokal- och klusterskala.

Fysiska komponenter

Tvinnad kopparkabel (Cat-kablar)

Tvinnad kopparkabel är den mest använda sammankopplingen utanför höghastighetslagringsnätverk, även om med ankomsten av gigabit och 10 gigabit kopparkopplingar, har partvinnat par kunnat göra vinster mot fiberoptisk kabel för höghastighets SAN-applikationer. "Katt"-familjen (kategori) av partvinnade kablar har fördelarna med låg kostnad, enkel tillverkning och en kontakttyp som har förblivit relativt oförändrad genom flera generationer av nätverksteknologier.

Tvinnad kopparkabel är klassad med ett generationsnummer som återspeglar dess maximala dataöverföringshastighet och maximala nominella länkavstånd. Med början på 1990-talet har en rad "cat"-generationer gett 100 Mb/s anslutning (cat5), 1Gb/s (cat5e), 10Gb/s (cat6) och ökat maximalt länkavstånd (cat7).

Twinax

Ursprungligen användes i tidiga mikrodatorsystem, tvåaxliga kablar (Twinax) har funnits fortsatt använda som ett fysiskt lager för 10GbE sammankopplingar under 21-talet. Tack vare sin enkla konstruktion erbjuder Twinax kostnadsfördelar jämfört med fiberoptiska kablar för korta körningar, men är inte desto mindre dyrare än 10 GbE via cat6 eller cat7 twisted pair. Om partvinnad kabel fortsätter att vinna mark i SAN-interconnect-applikationer kan Twinax återigen förpassas till äldre och nischade applikationer.

Fiberoptisk kabel

Fiberoptiska kablar erbjuder ett antal tekniska fördelar jämfört med koppar för dataöverföring, även om deras mycket högre kostnad och teknikernas brist på praktiska medel för att skapa sina egna kablar i datacentret har fått många företag och datacenter att ompröva koppar för sammankopplingar. Bland fiberoptikens fördelar är längre maximala överföringslängder och bristande sårbarhet för elektromagnetiskt "brus" från närliggande utrustning eller felaktig installation.

Fiberoptik finns i två varianter: enkelläge och multiläge. Singelläge har en inre sträng och är kapabel till större maximala datahastigheter och avstånd mellan nätverkssegment. Det kräver dock användning av dyrare lasrar som kan driva upp kostnaden för nätverksenheter. Multi-mode är tolerant mot billigare kabelmaterial och kan drivas av enklare, billigare LED-ljus snarare än laser.

För närvarande är optisk fortfarande den universella kabeln för SAN-implementering för företag. Moderna fiberoptiska sammankopplingar har i allmänhet underanslutningar av industristandard, vilket gör uppgraderingar och protokolländringar till en fråga om att byta transceivrar för att använda samma länk för Ethernet, Fibre Channel eller InfiniBand. Initiala kostnader för fiberoptisk installation är höga, men kvalitetskabel har lång livslängd, eftersom bandbreddsuppgraderingar ofta bara kräver uppgradering av transceivrar och switchhårdvara.

SFP-stil transceiver/kontakter

Under de senaste 10 åren har SFP och SFP:s efterträdare behärskat ett växande segment av samtrafikmarknaden på grund av formfaktorns flexibilitet. Det mesta av det vi ser under 2013 har SFP+ eller QSFP, även om det finns andra varianter.

SFP: Small Form-Factor Pluggable, designad för hastigheter upp till 1 Gb/s
SFP+: Enhanced Small Form-Factor Pluggable, designad för hastigheter upp till 10Gb/s och bakåtkompatibla med SFP
QSFP: Quad Small Form-Factor Pluggable, designad för att stödja 40 Gb/s och snabbare anslutningar, denna formfaktor kombinerar fyra gränssnitt till en transceiver

Looking Forward

Med stöd från Brocade, Emulex, HP, Intel, Mellanox, Netgear, QLogic och andra är StorageReview-labbet utrustat för alla sammankopplingsbehov som kan uppstå. I en heterogen miljö som denna är flexibilitet nyckeln, det går inte att säga när en del av Fiber-stamnätet kan behöva tillhandahållas för en ny array eller när vi kommer att se en vanlig liten NAS som stöder quad-Ethernet-länkaggregation. Alla företags- eller SMB-miljöer behöver naturligtvis inte vara så flexibla och för det ändamålet talar vissa lagringsleverantörer mer om modularitet än att låsa in köpare till specifika sammankopplingskrav. NetApp har till exempel utbytbara fiber- och 10GbE-kort för att göra deras arrayer lättare att placera in i miljöer som kan ha standardiserats på det ena eller det andra.

Interconnect-killarna gör något liknande också, SFP+-switchar finns nu tillgängliga som gör det enkelt för tekniker att växla mellan länkmedia och protokoll utan att riva ut och bygga om. QLogic Converged Host Bust Adapters (HBA) stöder byte av portar mellan Ethernet och Fibre Channel genom att byta transceivrar och kablar samt ändra en inställning i kortets BIOS. Mellanox har varit en tidig ledare inom nätverkskort som använder virtuella sammankopplingar, vilket gör att samma nätverkskort kan fungera via InfiniBand eller Ethernet genom att ansluta en annan kabel och ladda en annan drivrutin.

Momentumet mot konvergerad infrastruktur löper parallellt med trenden mot virtualisering. Implikationerna av de senaste generationerna av SAN och virtualiseringsteknik pekar på en stadig rörelse för att frikoppla fysisk infrastruktur, inte bara från servrarna och applikationerna som körs på dem, utan också från nätverkslagret som ansluter själva infrastrukturen. Istället för att se konkurrerande sammankopplingsplattformar röra sig mot silos och konkurrens mellan teknologier, driver marknaden istället mot interkompatibilitet och heterogena, konvergerade infrastrukturer.