Storage Area Networks (SANs) Nutzen Sie Netzwerkarchitekturen im Bus-Stil, um den Zugriff auf Unternehmensspeicher zu beschleunigen und zu dezentralisieren. Die Beschleunigung des Speicherzugriffs umfasst daher die Beschleunigung der SAN-Leistung sowie der Speichermedien selbst, weshalb die Ausstattung des Speichermediums von entscheidender Bedeutung ist StorageReview Enterprise Test Lab mit einer Vielzahl von Verbindungsoptionen für die drei wichtigsten Netzwerkprotokollfamilien: Ethernet, InfiniBand und Fibre Channel. Diese Verbindungsoptionen bieten die Möglichkeit, ein umfassendes Benchmarking auf der Grundlage von Bedingungen durchzuführen, die mit denen vergleichbar sind, denen SAN-Administratoren tatsächlich vor Ort ausgesetzt sind.
Storage Area Networks (SANs) Nutzen Sie Netzwerkarchitekturen im Bus-Stil, um den Zugriff auf Unternehmensspeicher zu beschleunigen und zu dezentralisieren. Die Beschleunigung des Speicherzugriffs umfasst daher die Beschleunigung der SAN-Leistung sowie der Speichermedien selbst, weshalb die Ausstattung des Speichermediums von entscheidender Bedeutung ist StorageReview Enterprise Test Lab mit einer Vielzahl von Verbindungsoptionen für die drei wichtigsten Netzwerkprotokollfamilien: Ethernet, InfiniBand und Fibre Channel. Diese Verbindungsoptionen bieten die Möglichkeit, ein umfassendes Benchmarking auf der Grundlage von Bedingungen durchzuführen, die mit denen vergleichbar sind, denen SAN-Administratoren tatsächlich vor Ort ausgesetzt sind.
All-Flash-Speicher-Arrays und Hybrid-Arrays sind die Speichertechnologien, die die Entwicklung schnellerer Verbindungen vorangetrieben haben, aber auch Administratoren großer Festplattenpools profitieren davon, wenn sie der SAN-Leistung und -Zuverlässigkeit große Aufmerksamkeit schenken. Heutzutage kann der Zugang zu konvergenten Infrastruktur-Verbindungsplattformen dazu beitragen, die Bindung an ein Protokoll oder eine physische Verbindungsschicht zu vermeiden, aber Verbindungsentscheidungen, die während der Architektur von Speichernetzwerken getroffen werden, können sich über Jahre hinweg auf die SAN-Funktionen und die Leistung auswirken.
Eine Vielzahl von Optionen für die SAN-Implementierung, einschließlich der Auswahl von Kabeln und Anschlüssen, kann es schwierig machen, auf den ersten Blick zu erkennen, welche Verbindungskombinationen und -konfigurationen für ein bestimmtes Gerät oder eine bestimmte Anwendung am besten geeignet sind. Dieser Überblick über die Netzwerkausrüstung des Enterprise Test Lab beginnt mit einer Diskussion der drei gängigsten Verbindungsprotokolle (Ethernet, InfiniBand und Fibre Channel) als Überblick über die Optionen für SAN-Architekten und -Techniker. Anschließend werden wir die wichtigsten physischen Link-Layer-Optionen aufschlüsseln und veranschaulichen, die für StorageReview-Unternehmens-Benchmarks verfügbar sind.
Ethernet
Das StorageReview-Labor ist mit Ethernet-Switching-Hardware von Netgear und Mellanox ausgestattet, die es uns ermöglicht, Konnektivitätsoptionen von 1 GbE bis 40 GbE bereitzustellen. Für 1GbE-Benchmarks verwenden wir Netgear ProSafe Prosumer-Switches. Unsere 10-GbE-Konnektivität wird von a betrieben Netgear ProSafe Plus XS708E unter Verwendung von 8P8C-Anschlüssen und a Mellanox SX1036 10/40 GB, mit Fan-out-Kabeln, die vier SFP+-Ethernet-Ports von einem einzigen QSFP-Port trennen.
Obwohl der Begriff Ethernet oft synonym mit Twisted-Pair-Kupferkabeln verwendet wird, die über einen 8P8C-Stecker (allgemein als RJ45-Stecker bezeichnet) verfügen, bezieht sich Ethernet auf einen Netzwerkkommunikationsstandard, der sowohl über physische Kupfer- als auch über Glasfaserverbindungen eingesetzt werden kann. Bei relativ kurzen Strecken bieten Kupferkabel oft einen überzeugenden Preis-Leistungs-Standard für Ethernet-Anwendungen, aber wenn die erforderlichen Datenübertragungsgeschwindigkeiten steigen und die Übertragungsentfernungen größer werden, bieten Glasfaserkabel zunehmend einen Wettbewerbsvorteil gegenüber Kupfer.
Wir sehen neue Geräte mit Ethernet auf drei Ebenen:
- 1GbE – Derzeit sind im Jahr 2013 die meisten Heim- und Prosumer-Geräte mit integriertem 1000BASE-T-Gigabit-Ethernet ausgestattet, außerdem Geräte für Unternehmens-Workstations, SMB-NAS/SAN und integrierte Server-LAN-Schnittstellen. Wir fangen an, immer mehr 10GBASE-T-Twisted-Pair-Ethernet als Standard für Server- und Speicherhardware zu sehen, aber derzeit sind Gigabit-Geschwindigkeiten de facto der Mindeststandard für kabelgebundene Netzwerkkonnektivität.
- 10GbE – Im ersten Jahrzehnt der 2000er Jahre erforderten 10-Gigabit-Geschwindigkeiten Glasfaser oder Kurzstrecken-Twinax über SPF-Stecker. Aufgrund der wachsenden Verfügbarkeit von 8GBASE-T-Netzwerkhardware, die Geschwindigkeiten von zehn Gigabit über Cat8 und Cat10 ermöglicht, halten Kupfer und der 6P7C-Anschluss nun Einzug in SAN-Architekturen. 10GbE über Twisted-Pair-Kupfer hat 10GBASE-T zu einer erschwinglichen neuen Wahl für Hochgeschwindigkeits-Speicherverbindungen gemacht, obwohl Glasfaser immer noch den Markt dominiert. Unser Netgear M7100-Switch verfügt über vierundzwanzig 10GBase-T-Ports und 4 SFP+-Ports, während unser Netgear ProSafe Plus XS708E verfügt über acht 10GbE-Ports und einen gemeinsam genutzten 10G-Glasfaser-SFP+-Port.
- 40GbE – Über QSFP+, das vier SFP+-Lanes in einem Anschluss konsolidiert, sind wir in der Lage, 40-GbE-Konnektivität zu erreichen, die oft für die schnellsten modernen Speicher-Arrays erforderlich ist. Konvergente Infrastruktur-Hardware, wie z Mellanox SX6036 verwenden wir im Labor, bietet je nach Konfiguration Optionen für 40GbE oder 56Gb/s InfiniBand. A Mellanox SX1036 10/40-Gbit-Ethernet-Switch dient als Rückgrat für das Netzwerk des Labors.
InfiniBand
InfiniBand wurde Anfang der 2000er Jahre allgemein verfügbar, wobei die Switch-Hersteller Mellanox und QLogic den Standard vorantrieben. InfiniBand bietet fünf Verbindungsleistungsstufen: Single Data Rate (SDR) bei 2.5 Gbit/s pro Spur, Double Data Rate (DDR) bei 5 Gbit/s, Quad Data Rate (QDR) bei 10 Gbit/s, Fourteen Data Rate (FDR) bei 14 Gbit/s und erweiterte Datenrate (EDR) bei 26 Gbit/s pro unidirektionaler Spur.
InfiniBand kann je nach erforderlicher Leistung und erforderlicher Entfernung für die Verbindung mit Kupfer- oder Glasfaserkabeln verwendet werden. Heutzutage schließen SFF-8470-Anschlüsse, oft einfach InfiniBand-Anschlüsse genannt, Kabel zusammen mit SFP-Anschlüssen ab. Das StorageReview Enterprise Test Lab beherbergt eine 56-Gbit/s-Mellanox-InfiniBand-Fabric, die beim Benchmarking von Flash-Speichergeräten, einschließlich unserer, verwendet wird MarkLogic NoSQL-Datenbank Benchmark.
Der MarkLogic NoSQL-Benchmark vergleicht die Speicherleistung verschiedener Geräte, darunter PCIe-Anwendungsbeschleuniger, SSD-Gruppen und große HDD-Arrays. Wir verwenden ein von uns hergestelltes Mellanox InfiniBand-Gewebe Mellanox SX6036 Aufgrund seines Netzwerkdurchsatzes von 56 Gbit/s sowie der Unterstützung der Protokolle iSER (iSCSI-RDMA) und SRP (SCSI RDMA) kann er die Verbindungen für diese Benchmarks bereitstellen. iSER und SRP ersetzen den iSCSI-TCP-Stack durch Remote Direct Memory Access (RDMA), was eine höhere Effizienz in einer Clusterumgebung ermöglicht, indem der Netzwerkverkehr die CPUs der Systeme umgeht und Daten aus dem Speicher der sendenden Systeme direkt in die kopiert werden können Speicher des Empfangssystems. Diese Funktionen werden mit dem iSCSI over RDMA (iSER)-Protokoll auch auf Ethernet übertragen.
Wenn dieses InfiniBand-Gewebe in Verbindung mit einem angebracht ist EchoStreams GridStreams Quad-Node-Server und ein standardisierter Satz von MarkLogic NoSQL-Benchmarks ermöglichen es uns, leistungsstarke neue Speichergeräte wie das voranzutreiben Micron P320h 2.5″ PCIe-Anwendungsbeschleuniger um zu sehen, wie sich die Spezifikationen des Herstellers mit der Leistung unter realen Bedingungen vergleichen lassen. Später in diesem Jahr werden wir einen neuen VMware-Benchmark hinzufügen, der auch das InfiniBand SAN von StorageReview nutzt.
Fibre Channel-Protokoll
Ende der 1990er Jahre war Fibre Channel das vorherrschende Verbindungsprotokoll für Hochgeschwindigkeitscomputer und Speichernetzwerke (SAN). Für einige Verwirrung sorgt die Tatsache, dass Fibre Channel als Abkürzung für Fibre Channel Protocol verwendet wird, ein serielles, kanalbasiertes Kommunikationsprotokoll, das häufig sowohl über Kupfer- als auch über Glasfaserkabel eingesetzt wird. Die physikalische Verbindungsschicht von Fibre Channel ermöglicht die Weiterleitung einer einzelnen Kommunikationsroute über mehr als eine Art von Verbindungstechnologie, einschließlich der Mischung von Kupfer- und Glasfasersegmenten, um ihr Ziel zu erreichen.
Das StorageReview-Labor umfasst sowohl 8-Gbit/s- als auch 16-Gbit/s-FC-Konnektivität über a QLogic SB5800V 8 GB Fibre Channel Schalter und a Brocade 6510 16 GB FC schalten. Für konvergente Infrastrukturanwendungen verwenden wir 16-Gb-QLogic-Dual-Port-HBAs und in anderen Situationen auch 16-Gb-Emulex-Fibre-Channel-HBAs mit einem Port. Ein wesentlicher Unterschied zwischen Fibre-Channel-Geräten und anderen SAN-Infrastrukturen besteht in der Preisgestaltung und Lizenzierung. Während Ethernet-Switches im Allgemeinen mit einer festgelegten Anzahl von Ports (normalerweise 12, 24 oder 48) erhältlich sind, die alle beim Kauf aktiv sind, verwenden FC-Hersteller häufig ein Lizenzmodell pro Port, bei dem möglicherweise ein Fibre-Channel-Switch enthalten ist 48 physische Ports, beim Erstkauf sind jedoch nur gebündelte Lizenzen für 12 oder 24 davon enthalten. Durch den Kauf zusätzlicher Lizenzen werden bei Bedarf zusätzliche Ports und manchmal auch andere Funktionen aktiviert.
Fibre Channel ist das erste SAN-Protokoll, das unterstützt wird QLogics Mt. Rainier-Technologie, das QLogic SAN HBAs mit serverbasiertem Flash-Speicher und Software kombiniert, um betriebssystemunabhängiges Caching über eine in Servern installierte PCIe-Karte bereitzustellen. Mt. Rainier konzentriert sich auf eine QLogic PCIe HBA-basierte Adapterkarte für die Logik- und Cache-Verwaltung sowie den Speicher selbst, der dann mit der Flash-Ebene verbunden wird. Das Endergebnis ist ein lokaler Cache für den Rechenserver über eine Schnittstellenkarte, der für die Fibre-Channel-SAN-Konnektivität ohnehin erforderlich gewesen wäre. Für Anwendungen, die auf einem Server oder Cluster ausgeführt werden, ähnelt der Cache einem SAN-Speicher, ist aber schneller zugänglich.
Dieser Ansatz, der die SAN-Infrastruktur nutzt, um lokales und Cluster-weites Caching bereitzustellen, zeigt den erheblichen Raum für Innovationen in der aktuellen Generation der Fibre-Channel-Technologie. Durch die Installation von mehr als einem der FabricCache-Adapter von QLogic in einem Cluster kann der Cache überall gemeinsam genutzt werden. Durch die Integration mit der Fibre Channel-Fabric kann der On-Card-Cache sowohl auf lokaler als auch auf Clusterebene genutzt werden.
Physikalische Komponenten
Twisted-Pair-Kupferkabel (Cat-Kabel)
Twisted-Pair-Kupferkabel sind die am weitesten verbreitete Verbindung außerhalb von Hochgeschwindigkeits-Speichernetzwerken, obwohl Twisted-Pair mit der Einführung von Gigabit- und 10-Gigabit-Kupferverbindungen gegenüber Glasfaserkabeln für Hochgeschwindigkeits-SAN-Anwendungen gewinnen konnte. Die „Cat“-Familie (Kategorie) der Twisted-Pair-Kabel zeichnet sich durch niedrige Kosten, eine einfache Herstellung und einen Steckertyp aus, der über mehrere Generationen von Netzwerktechnologien hinweg relativ unverändert geblieben ist.
Twisted-Pair-Kupferkabel werden anhand einer Generationsnummer bewertet, die ihre maximale Datenübertragungsrate und maximale Nennverbindungsentfernung widerspiegelt. Ab den 1990er Jahren brachte eine Reihe von „Cat“-Generationen Konnektivität mit 100 Mbit/s (Cat5), 1 Gbit/s (Cat5e), 10 Gbit/s (Cat6) und eine größere maximale Verbindungsentfernung (Cat7).
Twinax
Ursprünglich in frühen Mikrocomputersystemen verwendet, findet die Twinax-Verkabelung (Twinax) auch im 10. Jahrhundert weiterhin Verwendung als physikalische Schicht für 21-GbE-Verbindungen. Aufgrund seines einfachen Aufbaus bietet Twinax bei kurzen Strecken Kostenvorteile gegenüber Glasfaserkabeln, ist aber dennoch teurer als 10GbE über Cat6- oder Cat7-Twisted-Pair. Wenn Twisted-Pair-Kabel in SAN-Verbindungsanwendungen weiter an Bedeutung gewinnen, könnte Twinax erneut in Legacy- und Nischenanwendungen verbannt werden.
Glasfaserkabel
Glasfaserkabel bieten gegenüber Kupfer eine Reihe technischer Vorteile für die Datenübertragung. Allerdings haben ihre viel höheren Kosten und der Mangel an praktischen Mitteln der Techniker zum Erstellen eigener Kabel im Rechenzentrum viele Unternehmen und Rechenzentren dazu veranlasst, Kupfer für Verbindungen zu überdenken. Zu den Vorteilen der Glasfaser gehören längere maximale Übertragungslängen und die mangelnde Anfälligkeit für elektromagnetisches „Rauschen“ von Geräten in der Nähe oder unsachgemäßer Installation.
Glasfaser gibt es in zwei Varianten: Singlemode und Multimode. Der Single-Modus verfügt über einen inneren Strang und ist für größere maximale Datenraten und Entfernungen zwischen Netzwerksegmenten geeignet. Allerdings ist dafür der Einsatz teurerer Laser erforderlich, was die Kosten für Netzwerkgeräte in die Höhe treiben kann. Multimode verträgt weniger teure Kabelmaterialien und kann mit einfacheren, kostengünstigeren LED-Leuchten anstelle von Lasern betrieben werden.
Derzeit ist optisches Kabel nach wie vor das universelle Kabel für die SAN-Implementierung in Unternehmen. Moderne Glasfaserverbindungen verfügen im Allgemeinen über branchenübliche Subanschlüsse, sodass Upgrades und Protokolländerungen nur durch den Austausch von Transceivern möglich sind, um dieselbe Verbindung für Ethernet, Fibre Channel oder InfiniBand zu verwenden. Die anfänglichen Kosten für die Glasfaserinstallation sind hoch, aber hochwertige Kabel haben eine lange Lebensdauer, da Bandbreitenerweiterungen oft nur die Aufrüstung von Transceivern und Switch-Hardware erfordern.
Transceiver/Anschlüsse im SFP-Stil
In den letzten 10 Jahren haben SFP und SFP-Nachfolger aufgrund der Flexibilität des Formfaktors ein wachsendes Segment des Verbindungsmarktes beherrscht. Das meiste, was wir 2013 sehen, verfügt über SFP+ oder QSFP, obwohl es auch andere Varianten gibt.
- SFP: Small Form-Factor Pluggable, ausgelegt für Geschwindigkeiten von bis zu 1 Gbit/s
- SFP+: Enhanced Small Form-Factor Pluggable, entwickelt für Geschwindigkeiten von bis zu 10 Gbit/s und abwärtskompatibel mit SFP
- QSFP: Quad Small Form-Factor Pluggable, entwickelt für die Unterstützung von 40 Gbit/s und schnelleren Verbindungen. Dieser Formfaktor vereint vier Schnittstellen in einem Transceiver
Ich freue mich auf
Mit der Unterstützung von Brocade, Emulex, HP, Intel, Mellanox, Netgear, QLogic und anderen ist das StorageReview-Labor für jeden möglichen Verbindungsbedarf gerüstet. In einer heterogenen Umgebung wie dieser ist Flexibilität von entscheidender Bedeutung. Es ist nicht abzusehen, wann ein Teil des Glasfaser-Backbones für ein neues Array bereitgestellt werden muss oder wann wir ein standardmäßiges kleines NAS sehen werden, das Quad-Ethernet-Link-Aggregation unterstützt. Natürlich müssen nicht alle Unternehmens- oder KMU-Umgebungen so flexibel sein, und aus diesem Grund sprechen einige Speicheranbieter eher von Modularität als davon, Käufer an bestimmte Verbindungsanforderungen zu binden. NetApp verfügt beispielsweise über austauschbare Glasfaser- und 10-GbE-Karten, um die Integration ihrer Arrays in Umgebungen zu erleichtern, die möglicherweise auf die eine oder andere Art standardisiert sind.
Auch die Interconnect-Leute machen etwas Ähnliches: Es sind jetzt SFP+-Switches erhältlich, die es Technikern erleichtern, zwischen Verbindungsmedien und Protokollen zu wechseln, ohne sie herauszureißen und neu aufzubauen. Die konvergenten Host-Bust-Adapter (HBAs) von QLogic unterstützen den Portwechsel zwischen Ethernet und Fibre Channel durch den Austausch von Transceivern und Kabeln sowie durch die Änderung einer Einstellung im BIOS der Karte. Mellanox war schon früh führend bei Netzwerkkarten, die virtuelle Verbindungen nutzen und es ermöglichen, dass dieselbe Netzwerkkarte über InfiniBand oder Ethernet betrieben werden kann, indem ein anderes Kabel angeschlossen und ein anderer Treiber geladen wird.
Der Trend zur konvergenten Infrastruktur geht parallel zum Trend zur Virtualisierung. Die Auswirkungen der neuesten Generationen der SAN- und Virtualisierungstechnologie deuten darauf hin, dass sich die physische Infrastruktur nicht nur von den darauf ausgeführten Servern und Anwendungen, sondern auch von der Netzwerkschicht, die die Infrastruktur selbst verbindet, stetig entkoppelt. Anstatt zu sehen, dass sich konkurrierende Verbindungsplattformen in Richtung Silos und Wettbewerb zwischen Technologien bewegen, strebt der Markt stattdessen nach Interkompatibilität und heterogenen, konvergenten Infrastrukturen.