Storage Area Networks (SAN's) maak gebruik van bus-achtige netwerkarchitecturen om de toegang tot bedrijfsopslag te versnellen en te decentraliseren. Het versnellen van opslagtoegang omvat daarom zowel het versnellen van de SAN-prestaties als de opslagmedia zelf, waardoor het van cruciaal belang is om de StorageReview Enterprise-testlaboratorium met een verscheidenheid aan verbindingsopties voor de drie belangrijkste families van netwerkprotocollen: Ethernet, InfiniBand en Fibre Channel. Deze interconnect-opties bieden de middelen om uitgebreide benchmarking uit te voeren op basis van omstandigheden die vergelijkbaar zijn met wat SAN-beheerders daadwerkelijk ervaren in het veld.
Storage Area Networks (SAN's) maak gebruik van bus-achtige netwerkarchitecturen om de toegang tot bedrijfsopslag te versnellen en te decentraliseren. Het versnellen van opslagtoegang omvat daarom zowel het versnellen van de SAN-prestaties als de opslagmedia zelf, waardoor het van cruciaal belang is om de StorageReview Enterprise-testlaboratorium met een verscheidenheid aan verbindingsopties voor de drie belangrijkste families van netwerkprotocollen: Ethernet, InfiniBand en Fibre Channel. Deze interconnect-opties bieden de middelen om uitgebreide benchmarking uit te voeren op basis van omstandigheden die vergelijkbaar zijn met wat SAN-beheerders daadwerkelijk ervaren in het veld.
All-flash storage-arrays en hybride arrays zijn de opslagtechnologieën die de ontwikkeling van snellere verbindingen hebben gestimuleerd, maar beheerders van grote harde-schijfpools hebben er ook baat bij om goed op de SAN-prestaties en -betrouwbaarheid te letten. Tegenwoordig kan toegang tot geconvergeerde infrastructurele interconnectieplatforms helpen voorkomen dat je vast komt te zitten in één protocol of fysieke linklaag, maar keuzes voor interconnectie die tijdens de architectuur van opslagnetwerken worden gemaakt, kunnen de SAN-mogelijkheden en -prestaties jarenlang beïnvloeden.
Een breed scala aan opties voor SAN-implementatie, waaronder keuzes voor bekabeling en connectoren, kan het moeilijk maken om op het eerste gezicht te zeggen welke verbindingscombinaties en configuraties het meest geschikt zijn voor een bepaald apparaat of een bepaalde toepassing. Dit overzicht van de netwerkapparatuur van het Enterprise Test Lab begint met een bespreking van elk van de drie meest voorkomende verbindingsprotocollen (Ethernet, InfiniBand en Fibre Channel) als een overzicht van de opties voor SAN-architecten en technici. Vervolgens zullen we de belangrijkste fysieke linklaagopties die beschikbaar zijn voor StorageReview enterprise-benchmarks opsplitsen en illustreren.
Ethernet
Het StorageReview-lab is uitgerust met Ethernet-switchinghardware van Netgear en Mellanox waarmee we connectiviteitsopties van 1GbE tot 40GbE kunnen inzetten. Voor 1GbE-benchmarks gebruiken we Netgear ProSafe prosumer-switches. Onze 10GbE-connectiviteit wordt mogelijk gemaakt door een Netgear ProSafe Plus XS708E gebruikmakend van 8P8C-connectoren en een Mellanox SX1036 10/40Gb, met uitwaaierende kabels die vier SFP+ Ethernet-poorten uit een enkele QSFP-poort halen.
Hoewel de term Ethernet vaak als synoniem wordt gebruikt voor twisted-pair koperen bekabeling met een 8P8C-connector (gewoonlijk een RJ45-connector genoemd), verwijst Ethernet naar een netwerkcommunicatiestandaard die kan worden gebruikt via fysieke verbindingen van zowel koper als glasvezel. Voor relatief korte runs bieden koperen kabels vaak een aantrekkelijke prijs-kwaliteitverhouding voor Ethernet-toepassingen, maar naarmate de vereiste datatransmissiesnelheden toenemen en de transmissieafstanden toenemen, begint glasvezelkabel een concurrentievoordeel te bieden ten opzichte van koper.
We zien nieuwe uitrusting met Ethernet op drie niveaus:
- 1GbE – Momenteel, anno 2013, is de meeste uitrusting voor thuisgebruik en prosumenten ontworpen met ingebouwde 1000BASE-T gigabit Ethernet, samen met uitrusting voor zakelijke werkstations, SMB NAS/SAN en ingebouwde server-LAN-interfaces. We beginnen steeds meer 10GBASE-T twisted pair Ethernet-verzendstandaard op server- en opslaghardware te zien, maar voorlopig zijn gigabitsnelheden de de facto minimumstandaard voor bekabelde netwerkconnectiviteit.
- 10GbE - In het eerste decennium van de jaren 2000 waren voor snelheden van 10 gigabit glasvezel of short-run Twinax via SPF-achtige connectoren vereist. Koper en de 8P8C-connector maken nu hun intrede in SAN-architecturen dankzij de groeiende beschikbaarheid van 10GBASE-T-netwerkhardware, die snelheden van tien gigabit over cat6 en cat7 mogelijk maakt. 10GbE via twisted-pair koper heeft van 10GBASE-T een betaalbare nieuwe keuze gemaakt voor supersnelle opslagverbindingen, hoewel glasvezel nog steeds de markt domineert. Ons Netgear M7100-schakelaar beschikt over vierentwintig 10GBase-T-poorten en 4 SFP+-poorten, terwijl onze Netgear ProSafe Plus XS708E beschikt over acht 10GbE-poorten en één gedeelde 10G glasvezel SFP+-poort.
- 40GbE – Via QSFP+, dat vier SFP+-lanes consolideert in één connector, kunnen we 40GbE-connectiviteit realiseren die vaak nodig is voor de snelste moderne opslagarrays. Geconvergeerde infrastructuurhardware, zoals de Mellanox SX6036 gebruiken we in het lab, biedt opties voor 40GbE of 56Gb/s InfiniBand, afhankelijk van de configuratie. A Mellanox SX1036 10/40Gb Ethernet-switch dient als de ruggengraat voor het netwerk van het Lab.
InfiniBand
InfiniBand werd in het begin van de jaren 2000 op grote schaal beschikbaar, met schakelaarfabrikanten Mellanox en QLogic die de standaard vooruit stuwden. InfiniBand biedt vijf niveaus van verbindingsprestaties: enkele datasnelheid (SDR) bij 2.5 Gb/s per baan, dubbele datasnelheid (DDR) bij 5 Gb/s, quad data rate (QDR) bij 10 Gb/s, veertien datasnelheid (FDR) bij 14Gb/s, en verbeterde datasnelheid (EDR) bij 26Gb/s per unidirectionele baan.
InfiniBand kan worden gebruikt met koperen of glasvezelbekabeling, afhankelijk van de vereiste prestaties en de vereiste afstand voor de verbinding. Tegenwoordig beëindigen SFF-8470-connectoren, vaak eenvoudigweg InfiniBand-connectoren genoemd, gewoonlijk kabels samen met SFP-achtige connectoren. Het StorageReview Enterprise Test Lab is de thuisbasis van een 56Gb/s Mellanox InfiniBand-fabric die wordt gebruikt bij het benchmarken van flash-opslagapparatuur, waaronder onze MarkLogic NoSQL-database benchmark.
De MarkLogic NoSQL-benchmark vergelijkt de opslagprestaties van verschillende apparaten, waaronder PCIe-toepassingsversnellers, groepen SSD's en grote HDD-arrays. We gebruiken een Mellanox InfiniBand-stof aangedreven door onze MellanoxSX6036 om de interconnects voor deze benchmarks te leveren vanwege de 56Gb/s netwerkdoorvoer en ondersteuning voor de iSER (iSCSI-RDMA) en SRP (SCSI RDMA) protocollen. iSER en SRP vervangen de iSCSI TCP-stack door Remote Direct Memory Access (RDMA), wat een grotere efficiëntie in een geclusterde omgeving mogelijk maakt doordat netwerkverkeer de CPU's van het systeem kan omzeilen en gegevens rechtstreeks vanuit het geheugen van het verzendende systeem naar het systeem kunnen worden gekopieerd. het geheugen van ontvangende systemen. Deze functies worden ook overgebracht naar Ethernet met het iSCSI over RDMA (iSER)-protocol.
Het hebben van deze InfiniBand-stof op zijn plaats, in combinatie met een EchoStreams GridStreams Quad-Node-server en een gestandaardiseerde set MarkLogic NoSQL-benchmarks, stelt ons in staat krachtige nieuwe opslagapparaten zoals de Micron P320h 2.5″ PCIe-toepassingsversneller om te zien hoe de specificaties van de fabrikant zich verhouden tot de prestaties onder praktijkomstandigheden. Later dit jaar voegen we een nieuwe VMware-benchmark toe die ook gebruikmaakt van StorageReview's InfiniBand SAN.
Fibre Channel-protocol
Eind jaren negentig was Fibre Channel het dominante interconnectieprotocol voor high-speed computing en storage area networks (SAN). Om enige verwarring te creëren, wordt Fibre Channel gebruikt als afkorting voor Fibre Channel Protocol, een serieel, kanaalgebaseerd communicatieprotocol dat vaak wordt ingezet via zowel koper- als glasvezelkabels. Met de fysieke verbindingslaag van Fibre Channel kan een enkele communicatieroute over meer dan één type verbindingstechnologie worden geleid, inclusief het mengen van koper- en glasvezelsegmenten, om zijn bestemming te bereiken.
Het StorageReview-lab bevat zowel 8Gb/s als 16Gb/s FC-connectiviteit via een QLogic SB5800V 8Gb Fibre Channel schakelen en een Brokaat 6510 16Gb FC schakelaar. Voor geconvergeerde infrastructuurtoepassingen gebruiken we 16Gb QLogic dual-port HBA's, en in andere situaties gebruiken we ook single-port 16Gb Emulex Fibre Channel HBA's. Een belangrijk verschil tussen Fibre Channel-apparatuur en andere SAN-infrastructuur is prijsstelling en licentieverlening. Terwijl Ethernet-switches over het algemeen beschikbaar zijn met een vast aantal poorten (meestal 12, 24 of 48) die allemaal actief zijn bij aankoop, is het gebruikelijk dat FC-fabrikanten een licentiemodel per poort gebruiken, waarbij een Fibre Channel-switch kan worden gebruikt 48 fysieke poorten, maar alleen gebundelde licenties voor 12 of 24 hiervan bij de eerste aankoop. Extra poorten en soms andere functionaliteit worden naar behoefte ingeschakeld door extra licenties aan te schaffen.
Fibre Channel is het eerste SAN-protocol dat wordt ondersteund door QLogic's Mount Rainier-technologie, dat QLogic SAN HBA's combineert met servergebaseerde flashopslag en software om OS-onafhankelijke caching te bieden via een PCIe-kaart die in servers is geïnstalleerd. Mount Rainier draait om een QLogic PCIe HBA-gebaseerde adapterkaart voor logica en cachebeheer, evenals de opslag zelf, die vervolgens verbinding maakt met de flash-laag. Het nettoresultaat is een lokale cache voor de rekenserver via een interfacekaart die hoe dan ook nodig zou zijn geweest voor Fibre Channel SAN-connectiviteit. Voor toepassingen die op een server of een cluster draaien, ziet de cache eruit als SAN-opslag, maar is sneller toegankelijk.
Deze aanpak, waarbij gebruik wordt gemaakt van de SAN-infrastructuur om lokale en clusterbrede caching te bieden, toont de aanzienlijke ruimte voor innovatie in de huidige generatie Fibre Channel-technologie. Door meer dan één van de FabricCache-adapters van QLogic in een cluster te installeren, kan de cache overal worden gedeeld. Door integratie met de Fibre Channel-fabric kan de cache op de kaart worden gebruikt op zowel lokale schaal als op clusterschaal.
Fysieke componenten
Twisted Pair koperen kabel (Cat-kabels)
Twisted pair koperkabel is de meest gebruikte interconnect buiten snelle opslagnetwerken, hoewel met de komst van gigabit en 10 gigabit koperen interconnects twisted pair winst heeft kunnen boeken ten opzichte van glasvezelkabel voor snelle SAN-toepassingen. De "cat" (categorie) familie van twisted pair-kabels heeft de voordelen van lage kosten, gemakkelijke fabricage en een connectortype dat relatief onveranderd is gebleven door verschillende generaties netwerktechnologieën.
Koperen kabel met getwist paar wordt beoordeeld door een generatienummer dat de maximale gegevensoverdrachtsnelheid en maximale nominale verbindingsafstand weergeeft. Vanaf de jaren negentig heeft een opeenvolging van "cat"-generaties gezorgd voor 1990Mb/s connectiviteit (cat100), 5Gb/s (cat1e), 5Gb/s (cat10) en een grotere maximale linkafstand (cat6).
Twinax
Oorspronkelijk gebruikt in vroege microcomputersystemen, wordt twinaxiale bekabeling (Twinax) in de 10e eeuw voortdurend gebruikt als fysieke laag voor 21GbE-verbindingen. Vanwege de eenvoudige constructie biedt Twinax kostenvoordelen ten opzichte van glasvezelkabels voor korte runs, maar is desalniettemin duurder dan 10GbE via cat6 of cat7 twisted pair. Als twisted pair-kabel terrein blijft winnen in SAN-interconnecttoepassingen, kan Twinax opnieuw worden verbannen naar legacy- en nichetoepassingen.
Glasvezelkabel
Glasvezelkabels bieden een aantal technische voordelen ten opzichte van koper voor datatransmissie, hoewel hun veel hogere kosten en het gebrek aan praktische middelen van technici om hun eigen kabels in het datacenter te maken, ertoe hebben geleid dat veel bedrijven en datacenters koper voor onderlinge verbindingen hebben heroverwogen. Tot de voordelen van glasvezel behoren langere maximale transmissielengtes en een gebrek aan kwetsbaarheid voor elektromagnetische 'ruis' van apparatuur in de buurt of onjuiste installatie.
Glasvezel is te vinden in twee varianten: single mode en multi-mode. Enkele modus heeft één binnenstreng en is in staat tot grotere maximale datasnelheden en afstanden tussen netwerksegmenten. Het vereist echter het gebruik van duurdere lasers die de kosten van netwerkapparaten kunnen opdrijven. Multi-mode is tolerant ten opzichte van goedkopere kabelmaterialen en kan worden aangestuurd door eenvoudigere, goedkopere LED-lampen in plaats van lasers.
Op dit moment blijft optisch de universele kabel voor SAN-implementatie in ondernemingen. Moderne glasvezelverbindingen zijn over het algemeen voorzien van industriestandaard subconnectoren, waardoor upgrades en protocolwijzigingen een kwestie zijn van het verwisselen van transceivers om dezelfde link te gebruiken voor Ethernet, Fibre Channel of InfiniBand. De initiële kosten voor glasvezelinstallatie zijn hoog, maar kwaliteitskabel heeft een lange levensduur, omdat voor bandbreedte-upgrades vaak alleen transceivers en switchhardware moeten worden geüpgraded.
SFP-stijl transceiver/connectoren
Gedurende de afgelopen 10 jaar hebben SFP en de opvolgers van SFP een groeiend segment van de interconnectiemarkt beheerst dankzij de flexibiliteit van de vormfactor. Het meeste van wat we in 2013 zien, bevat SFP+ of QSFP, hoewel er ook andere varianten zijn.
- SFP: Small Form-Factor Pluggable, ontworpen voor snelheden tot 1Gb/s
- SFP+: Enhanced Small Form-Factor Pluggable, ontworpen voor snelheden tot 10Gb/s en achterwaarts compatibel met SFP
- QSFP: Quad Small Form-Factor Pluggable, ontworpen om 40Gb/s en snellere verbindingen te ondersteunen, deze vormfactor combineert vier interfaces in één transceiver
We zien je graag
Met ondersteuning van Brocade, Emulex, HP, Intel, Mellanox, Netgear, QLogic en anderen is het StorageReview-lab uitgerust voor elke interconnectiebehoefte die zich zou kunnen voordoen. In een heterogene omgeving als deze is flexibiliteit de sleutel, het is niet te zeggen wanneer een deel van de glasvezel-backbone moet worden ingericht voor een nieuwe array of wanneer we een standaard kleine NAS zullen zien die quad-Ethernet-linkaggregatie ondersteunt. Natuurlijk hoeven niet alle bedrijfs- of MKB-omgevingen zo flexibel te zijn en daarom praten sommige opslagproviders meer over modulariteit dan kopers te binden aan specifieke interconnectievereisten. NetApp heeft bijvoorbeeld verwisselbare glasvezel- en 10GbE-kaarten om hun arrays gemakkelijker in te passen in omgevingen die mogelijk op de een of de ander zijn gestandaardiseerd.
De interconnect-jongens doen ook iets soortgelijks, er zijn nu SFP+-switches beschikbaar die het voor technici eenvoudig maken om te schakelen tussen linkmedia en protocollen zonder uit te scheuren en opnieuw op te bouwen. QLogic geconvergeerde Host Bust Adapters (HBA's) ondersteunen het wisselen van poorten tussen Ethernet en Fibre Channel door transceivers en kabels te verwisselen en door een instelling in het BIOS van de kaart te wijzigen. Mellanox is een vroege leider op het gebied van netwerkkaarten die gebruikmaken van virtuele verbindingen, waardoor dezelfde NIC via InfiniBand of Ethernet kan werken door een andere kabel aan te sluiten en een ander stuurprogramma te laden.
Het momentum naar geconvergeerde infrastructuur loopt parallel aan de trend naar virtualisatie. De implicaties van de meest recente generaties SAN- en virtualisatietechnologie wijzen op een gestage beweging om de fysieke infrastructuur niet alleen los te koppelen van de servers en applicaties die erop draaien, maar ook van de netwerklaag die de infrastructuur zelf verbindt. In plaats van concurrerende interconnectieplatforms te zien evolueren naar silo's en concurrentie tussen technologieën, stuurt de markt in plaats daarvan naar onderlinge compatibiliteit en heterogene, geconvergeerde infrastructuren.