Storage Area Networks (SANs) nutzen busbasierte Netzwerkarchitekturen, um den Zugriff auf Unternehmensspeicher zu beschleunigen und zu dezentralisieren. Die Beschleunigung des Speicherzugriffs umfasst daher sowohl die Optimierung der SAN-Performance als auch der Speichermedien selbst. Aus diesem Grund ist es entscheidend, das StorageReview Enterprise Test Lab mit einer Vielzahl von Verbindungsoptionen für die drei wichtigsten Netzwerkprotokollfamilien auszustatten: Ethernet, InfiniBand und Fibre Channel. Diese Verbindungsoptionen ermöglichen umfassende Benchmarks unter Bedingungen, die den realen Einsatzbedingungen von SAN-Administratoren entsprechen.
All-Flash-Speicher-Arrays und Hybrid-Arrays sind die Speichertechnologien, die die Entwicklung schnellerer Verbindungen vorangetrieben haben, aber auch Administratoren großer Festplattenpools profitieren davon, wenn sie der SAN-Leistung und -Zuverlässigkeit große Aufmerksamkeit schenken. Heutzutage kann der Zugang zu konvergenten Infrastruktur-Verbindungsplattformen dazu beitragen, die Bindung an ein Protokoll oder eine physische Verbindungsschicht zu vermeiden, aber Verbindungsentscheidungen, die während der Architektur von Speichernetzwerken getroffen werden, können sich über Jahre hinweg auf die SAN-Funktionen und die Leistung auswirken.
Eine Vielzahl von Optionen für die SAN-Implementierung, einschließlich der Auswahl von Kabeln und Anschlüssen, kann es schwierig machen, auf den ersten Blick zu erkennen, welche Verbindungskombinationen und -konfigurationen für ein bestimmtes Gerät oder eine bestimmte Anwendung am besten geeignet sind. Dieser Überblick über die Netzwerkausrüstung des Enterprise Test Lab beginnt mit einer Diskussion der drei gängigsten Verbindungsprotokolle (Ethernet, InfiniBand und Fibre Channel) als Überblick über die Optionen für SAN-Architekten und -Techniker. Anschließend werden wir die wichtigsten physischen Link-Layer-Optionen aufschlüsseln und veranschaulichen, die für StorageReview-Unternehmens-Benchmarks verfügbar sind.
Ethernet
Das StorageReview-Labor ist mit Ethernet-Switching-Hardware von Netgear und Mellanox ausgestattet, die uns Konnektivitätsoptionen von 1 Gbit/s bis 40 Gbit/s ermöglicht. Für 1-Gbit/s-Benchmarks verwenden wir Netgear ProSafe Prosumer-Switches. Unsere 10-Gbit/s-Konnektivität wird durch einen Netgear ProSafe Plus XS708E mit 8P8C-Anschlüssen und einen Mellanox SX1036 10/40Gb realisiert , wobei Fan-Out-Kabel vier SFP+-Ethernet-Ports von einem einzigen QSFP-Port abzweigen.
Obwohl der Begriff Ethernet oft synonym mit Twisted-Pair-Kupferkabeln verwendet wird, die über einen 8P8C-Stecker (allgemein als RJ45-Stecker bezeichnet) verfügen, bezieht sich Ethernet auf einen Netzwerkkommunikationsstandard, der sowohl über physische Kupfer- als auch über Glasfaserverbindungen eingesetzt werden kann. Bei relativ kurzen Strecken bieten Kupferkabel oft einen überzeugenden Preis-Leistungs-Standard für Ethernet-Anwendungen, aber wenn die erforderlichen Datenübertragungsgeschwindigkeiten steigen und die Übertragungsentfernungen größer werden, bieten Glasfaserkabel zunehmend einen Wettbewerbsvorteil gegenüber Kupfer.
Wir sehen neue Geräte mit Ethernet auf drei Ebenen:
- 1GbE – Derzeit sind im Jahr 2013 die meisten Heim- und Prosumer-Geräte mit integriertem 1000BASE-T-Gigabit-Ethernet ausgestattet, außerdem Geräte für Unternehmens-Workstations, SMB-NAS/SAN und integrierte Server-LAN-Schnittstellen. Wir fangen an, immer mehr 10GBASE-T-Twisted-Pair-Ethernet als Standard für Server- und Speicherhardware zu sehen, aber derzeit sind Gigabit-Geschwindigkeiten de facto der Mindeststandard für kabelgebundene Netzwerkkonnektivität.
- 10GbE – Im ersten Jahrzehnt der 2000er Jahre erforderten 10-Gigabit-Geschwindigkeiten Glasfaser oder Kurzstrecken-Twinax über SPF-Stecker. Aufgrund der wachsenden Verfügbarkeit von 8GBASE-T-Netzwerkhardware, die Geschwindigkeiten von zehn Gigabit über Cat8 und Cat10 ermöglicht, halten Kupfer und der 6P7C-Anschluss nun Einzug in SAN-Architekturen. 10GbE über Twisted-Pair-Kupfer hat 10GBASE-T zu einer erschwinglichen neuen Wahl für Hochgeschwindigkeits-Speicherverbindungen gemacht, obwohl Glasfaser immer noch den Markt dominiert. Unser Netgear M7100-Switch verfügt über vierundzwanzig 10GBase-T-Ports und 4 SFP+-Ports, während unser Netgear ProSafe Plus XS708E verfügt über acht 10GbE-Ports und einen gemeinsam genutzten 10G-Glasfaser-SFP+-Port.
- 40GbE – Über QSFP+, das vier SFP+-Lanes in einem Anschluss konsolidiert, sind wir in der Lage, 40-GbE-Konnektivität zu erreichen, die oft für die schnellsten modernen Speicher-Arrays erforderlich ist. Konvergente Infrastruktur-Hardware, wie z Mellanox SX6036 verwenden wir im Labor, bietet je nach Konfiguration Optionen für 40GbE oder 56Gb/s InfiniBand. A Mellanox SX1036 10/40-Gbit-Ethernet-Switch dient als Rückgrat für das Netzwerk des Labors.
InfiniBand
InfiniBand wurde Anfang der 2000er Jahre allgemein verfügbar, wobei die Switch-Hersteller Mellanox und QLogic den Standard vorantrieben. InfiniBand bietet fünf Verbindungsleistungsstufen: Single Data Rate (SDR) bei 2.5 Gbit/s pro Spur, Double Data Rate (DDR) bei 5 Gbit/s, Quad Data Rate (QDR) bei 10 Gbit/s, Fourteen Data Rate (FDR) bei 14 Gbit/s und erweiterte Datenrate (EDR) bei 26 Gbit/s pro unidirektionaler Spur.
InfiniBand kann je nach benötigter Leistung und Verbindungsdistanz mit Kupfer- oder Glasfaserkabeln verwendet werden. Heutzutage werden Kabel üblicherweise mit SFF-8470-Steckverbindern, oft einfach InfiniBand-Steckverbinder genannt, sowie mit SFP-Steckverbindern konfektioniert. Das StorageReview Enterprise Test Lab verfügt über ein 56-Gbit/s-Mellanox-InfiniBand-Netzwerk, das für Benchmarks von Flash-Speichergeräten, einschließlich unseres MarkLogic-NoSQL-Datenbank -Benchmarks, eingesetzt wird.
Der MarkLogic NoSQL-Benchmark vergleicht die Speicherleistung verschiedener Geräte, darunter PCIe-Anwendungsbeschleuniger, SSD-Cluster und große HDD-Arrays. Für die Verbindungen dieser Benchmarks nutzen wir ein Mellanox InfiniBand-Fabric, das auf unserem Mellanox SX6036 basiert . Grund dafür sind der Netzwerkdurchsatz von 56 Gbit/s sowie die Unterstützung der Protokolle iSER (iSCSI-RDMA) und SRP (SCSI RDMA). iSER und SRP ersetzen den iSCSI-TCP-Stack durch Remote Direct Memory Access (RDMA). Dies ermöglicht eine höhere Effizienz in Clusterumgebungen, da der Netzwerkverkehr die CPUs der Systeme umgeht und Daten direkt vom Speicher des sendenden Systems in den Speicher des empfangenden Systems kopiert werden können. Diese Funktionen werden mit dem iSCSI over RDMA (iSER)-Protokoll auch auf Ethernet übertragen.
Durch die Implementierung dieses InfiniBand-Fabrics in Verbindung mit einem EchoStreams GridStreams Quad-Node-Server und einem standardisierten Satz von MarkLogic NoSQL-Benchmarks können wir neue Hochleistungsspeichergeräte wie den Micron P320h 2.5″ PCIe Application Accelerator testen und die Leistung unter realen Bedingungen mit den Herstellerangaben vergleichen. Im Laufe des Jahres werden wir einen neuen VMware-Benchmark hinzufügen, der ebenfalls das InfiniBand SAN von StorageReview nutzt.
Fibre Channel-Protokoll
Ende der 1990er Jahre war Fibre Channel das vorherrschende Verbindungsprotokoll für Hochgeschwindigkeitscomputer und Speichernetzwerke (SAN). Für einige Verwirrung sorgt die Tatsache, dass Fibre Channel als Abkürzung für Fibre Channel Protocol verwendet wird, ein serielles, kanalbasiertes Kommunikationsprotokoll, das häufig sowohl über Kupfer- als auch über Glasfaserkabel eingesetzt wird. Die physikalische Verbindungsschicht von Fibre Channel ermöglicht die Weiterleitung einer einzelnen Kommunikationsroute über mehr als eine Art von Verbindungstechnologie, einschließlich der Mischung von Kupfer- und Glasfasersegmenten, um ihr Ziel zu erreichen.
Das StorageReview-Labor nutzt sowohl 8-Gbit/s- als auch 16-Gbit/s-FC-Konnektivität über einen QLogic SB5800V 8-Gbit/s-Fibre-Channel- Switch und einen Brocade 6510 16-Gbit/s-FC -Switch. Für konvergente Infrastrukturen verwenden wir 16-Gbit/s-QLogic-Dual-Port-HBAs, in anderen Fällen auch 16-Gbit/s-Emulex-Fibre-Channel-Single-Port-HBAs. Ein wesentlicher Unterschied zwischen Fibre-Channel-Geräten und anderer SAN-Infrastruktur liegt in der Preisgestaltung und Lizenzierung. Während Ethernet-Switches in der Regel mit einer festen Anzahl von Ports (üblicherweise 12, 24 oder 48) erhältlich sind, die beim Kauf alle aktiv sind, verwenden FC-Hersteller üblicherweise ein Port-basiertes Lizenzmodell. So kann ein Fibre-Channel-Switch beispielsweise 48 physische Ports besitzen, aber beim Kauf nur Lizenzen für 12 oder 24 davon enthalten. Zusätzliche Ports und gegebenenfalls weitere Funktionen werden bei Bedarf durch den Kauf zusätzlicher Lizenzen freigeschaltet.
Fibre Channel ist das erste SAN-Protokoll, das von QLogics Mt. Rainier-Technologie unterstützt wird . Diese kombiniert QLogic SAN HBAs mit serverbasiertem Flash-Speicher und Software, um betriebssystemunabhängiges Caching über eine in Servern installierte PCIe-Karte zu ermöglichen. Mt. Rainier basiert auf einer QLogic PCIe HBA-basierten Adapterkarte für Logik- und Cache-Management sowie den Speicher selbst, der mit der Flash-Speicherebene verbunden wird. Das Ergebnis ist ein lokaler Cache für den Rechenserver über eine Schnittstellenkarte, die ohnehin für die Fibre Channel-SAN-Konnektivität erforderlich gewesen wäre. Für Anwendungen, die auf einem Server oder Cluster laufen, verhält sich der Cache wie SAN-Speicher, der Zugriff darauf ist jedoch deutlich schneller.
Dieser Ansatz, der die SAN-Infrastruktur nutzt, um lokales und Cluster-weites Caching bereitzustellen, zeigt den erheblichen Raum für Innovationen in der aktuellen Generation der Fibre-Channel-Technologie. Durch die Installation von mehr als einem der FabricCache-Adapter von QLogic in einem Cluster kann der Cache überall gemeinsam genutzt werden. Durch die Integration mit der Fibre Channel-Fabric kann der On-Card-Cache sowohl auf lokaler als auch auf Clusterebene genutzt werden.
Physikalische Komponenten
Twisted-Pair-Kupferkabel (Cat-Kabel)
Twisted-Pair-Kupferkabel sind die am weitesten verbreitete Verbindung außerhalb von Hochgeschwindigkeits-Speichernetzwerken, obwohl Twisted-Pair mit der Einführung von Gigabit- und 10-Gigabit-Kupferverbindungen gegenüber Glasfaserkabeln für Hochgeschwindigkeits-SAN-Anwendungen gewinnen konnte. Die „Cat“-Familie (Kategorie) der Twisted-Pair-Kabel zeichnet sich durch niedrige Kosten, eine einfache Herstellung und einen Steckertyp aus, der über mehrere Generationen von Netzwerktechnologien hinweg relativ unverändert geblieben ist.
Twisted-Pair-Kupferkabel werden anhand einer Generationsnummer bewertet, die ihre maximale Datenübertragungsrate und maximale Nennverbindungsentfernung widerspiegelt. Ab den 1990er Jahren brachte eine Reihe von „Cat“-Generationen Konnektivität mit 100 Mbit/s (Cat5), 1 Gbit/s (Cat5e), 10 Gbit/s (Cat6) und eine größere maximale Verbindungsentfernung (Cat7).
Twinax
Ursprünglich in frühen Mikrocomputersystemen verwendet, findet die Twinax-Verkabelung (Twinax) auch im 10. Jahrhundert weiterhin Verwendung als physikalische Schicht für 21-GbE-Verbindungen. Aufgrund seines einfachen Aufbaus bietet Twinax bei kurzen Strecken Kostenvorteile gegenüber Glasfaserkabeln, ist aber dennoch teurer als 10GbE über Cat6- oder Cat7-Twisted-Pair. Wenn Twisted-Pair-Kabel in SAN-Verbindungsanwendungen weiter an Bedeutung gewinnen, könnte Twinax erneut in Legacy- und Nischenanwendungen verbannt werden.
Glasfaserkabel
Glasfaserkabel bieten gegenüber Kupfer eine Reihe technischer Vorteile für die Datenübertragung. Allerdings haben ihre viel höheren Kosten und der Mangel an praktischen Mitteln der Techniker zum Erstellen eigener Kabel im Rechenzentrum viele Unternehmen und Rechenzentren dazu veranlasst, Kupfer für Verbindungen zu überdenken. Zu den Vorteilen der Glasfaser gehören längere maximale Übertragungslängen und die mangelnde Anfälligkeit für elektromagnetisches „Rauschen“ von Geräten in der Nähe oder unsachgemäßer Installation.
Glasfaser gibt es in zwei Varianten: Singlemode und Multimode. Der Single-Modus verfügt über einen inneren Strang und ist für größere maximale Datenraten und Entfernungen zwischen Netzwerksegmenten geeignet. Allerdings ist dafür der Einsatz teurerer Laser erforderlich, was die Kosten für Netzwerkgeräte in die Höhe treiben kann. Multimode verträgt weniger teure Kabelmaterialien und kann mit einfacheren, kostengünstigeren LED-Leuchten anstelle von Lasern betrieben werden.
Derzeit ist optisches Kabel nach wie vor das universelle Kabel für die SAN-Implementierung in Unternehmen. Moderne Glasfaserverbindungen verfügen im Allgemeinen über branchenübliche Subanschlüsse, sodass Upgrades und Protokolländerungen nur durch den Austausch von Transceivern möglich sind, um dieselbe Verbindung für Ethernet, Fibre Channel oder InfiniBand zu verwenden. Die anfänglichen Kosten für die Glasfaserinstallation sind hoch, aber hochwertige Kabel haben eine lange Lebensdauer, da Bandbreitenerweiterungen oft nur die Aufrüstung von Transceivern und Switch-Hardware erfordern.
Transceiver/Anschlüsse im SFP-Stil
In den letzten 10 Jahren haben SFP und SFP-Nachfolger aufgrund der Flexibilität des Formfaktors ein wachsendes Segment des Verbindungsmarktes beherrscht. Das meiste, was wir 2013 sehen, verfügt über SFP+ oder QSFP, obwohl es auch andere Varianten gibt.
- SFP: Small Form-Factor Pluggable, ausgelegt für Geschwindigkeiten von bis zu 1 Gbit/s
- SFP+: Enhanced Small Form-Factor Pluggable, entwickelt für Geschwindigkeiten von bis zu 10 Gbit/s und abwärtskompatibel mit SFP
- QSFP: Quad Small Form-Factor Pluggable, entwickelt für die Unterstützung von 40 Gbit/s und schnelleren Verbindungen. Dieser Formfaktor vereint vier Schnittstellen in einem Transceiver
Ich freue mich auf
Mit der Unterstützung von Brocade, Emulex, HP, Intel, Mellanox, Netgear, QLogic und anderen ist das StorageReview-Labor für jeden möglichen Verbindungsbedarf gerüstet. In einer heterogenen Umgebung wie dieser ist Flexibilität von entscheidender Bedeutung. Es ist nicht abzusehen, wann ein Teil des Glasfaser-Backbones für ein neues Array bereitgestellt werden muss oder wann wir ein standardmäßiges kleines NAS sehen werden, das Quad-Ethernet-Link-Aggregation unterstützt. Natürlich müssen nicht alle Unternehmens- oder KMU-Umgebungen so flexibel sein, und aus diesem Grund sprechen einige Speicheranbieter eher von Modularität als davon, Käufer an bestimmte Verbindungsanforderungen zu binden. NetApp verfügt beispielsweise über austauschbare Glasfaser- und 10-GbE-Karten, um die Integration ihrer Arrays in Umgebungen zu erleichtern, die möglicherweise auf die eine oder andere Art standardisiert sind.
Auch die Interconnect-Leute machen etwas Ähnliches: Es sind jetzt SFP+-Switches erhältlich, die es Technikern erleichtern, zwischen Verbindungsmedien und Protokollen zu wechseln, ohne sie herauszureißen und neu aufzubauen. Die konvergenten Host-Bust-Adapter (HBAs) von QLogic unterstützen den Portwechsel zwischen Ethernet und Fibre Channel durch den Austausch von Transceivern und Kabeln sowie durch die Änderung einer Einstellung im BIOS der Karte. Mellanox war schon früh führend bei Netzwerkkarten, die virtuelle Verbindungen nutzen und es ermöglichen, dass dieselbe Netzwerkkarte über InfiniBand oder Ethernet betrieben werden kann, indem ein anderes Kabel angeschlossen und ein anderer Treiber geladen wird.
Der Trend zur konvergenten Infrastruktur geht parallel zum Trend zur Virtualisierung. Die Auswirkungen der neuesten Generationen der SAN- und Virtualisierungstechnologie deuten darauf hin, dass sich die physische Infrastruktur nicht nur von den darauf ausgeführten Servern und Anwendungen, sondern auch von der Netzwerkschicht, die die Infrastruktur selbst verbindet, stetig entkoppelt. Anstatt zu sehen, dass sich konkurrierende Verbindungsplattformen in Richtung Silos und Wettbewerb zwischen Technologien bewegen, strebt der Markt stattdessen nach Interkompatibilität und heterogenen, konvergenten Infrastrukturen.
Amazon