EchoStreams GridStreams ist eine 2U-Quad-Node-Serverplattform mit hoher Dichte, die für Hochleistungs-Rechenzentren und Cloud-Service-Provider der Open Computing Alliance entwickelt wurde. Jeder der vier Knoten verfügt über ein Motherboard halber Breite mit Unterstützung für einen oder zwei Intel Xeon 2600-Prozessoren und Platz für einen oder zwei PCIe-Erweiterungssteckplätze, je nach Motherboard-Konfiguration. Der GridStreams bietet in der Mitte eine Reihe von acht 7-mm-2.5-Zoll-Laufwerksschächten, von denen jeweils zwei von den Rechenknoten gemeinsam genutzt werden können. Die Knoten und Laufwerksschächte sind für den Einsatz in Rechenzentren konfiguriert und können von der Vorderseite des Gehäuses aus gewartet werden. Beide sind Hot-Swap-fähig . Auf der Rückseite des Gehäuses befinden sich nur Lüfter und Stromversorgung. Sie sind für den Austausch in neuen Rechenzentrumsumgebungen konzipiert, in denen das Rack sowohl 12 VDC als auch einen Kühlluftstrom für das Servergehäuse bereitstellt.
GridStreams verstärkt das StorageReview Test Lab als Schlüsselkomponente für die Prüfung von Hochleistungs-All-Flash-Speicherarrays in unserer neuen Testumgebung für Datenbanken und Softwareanwendungen. Das rechenintensive 2U-Quad-Node-System stellt die erforderlichen Systemressourcen bereit, um High-End-Speichergeräte in unseren anstehenden Anwendungstests effektiv zu belasten. Synthetische Benchmarks benötigen (vergleichsweise) nicht viele Systemressourcen und können selbst bei 1–2 Millionen IOPS in synthetischen Workloads auf einem einzelnen Dual-CPU-Server ausgeführt werden. Der Verbrauch dieser I/O-Menge durch eine reale Anwendung erfordert exponentiell mehr Ressourcen, d. h. mehr CPU-Kerne und RAM, als ein einzelner Server bereitstellen kann. Um diese Lasten im StorageReview Test Lab zu simulieren, verwenden wir verschiedene Systeme und Konfigurationen, darunter das Vier-Node-System EchoStreams GridStreams, um die für die Ausführung der neuesten Anwendungs-Benchmarks benötigten rechenintensiven Ressourcen zu erhalten.
EchoStreams GridStreams-Spezifikationen
- Gehäusehöhe: 2U
- Rechenknoten: 4
- Motherboard: Halbbreite bis zu 18 Zoll tief
- Chipsatz: Intel C602
- Prozessor (pro Knoten)
- Konfiguriert: 2 x Intel E5-2640 (2.5 GHz, 15 MB Cache, 6 Kerne)
- Unterstützt: 2 x Intel Sockel 2011 / Xeon E5-2600-Familie
- Speicher (pro Knoten)
- Konfiguriert: 128 GB (16 x 8 GB)
- Gesamtsteckplätze: 16 (4 Kanäle pro CPU, 8 DIMM pro CPU)
- Maximal bis zu 512 GB RDIMM/Maximal bis zu 128 GB UDIMM
- Speicher (pro Knoten)
- Konfiguriert: 2 x 100 GB Micron RealSSD P400e
- 2 x 2.5-Zoll-7-mm-Festplatte oder SSD
- 2 x SATA 6.0 Gbit / s
- I/O-Erweiterung (pro Knoten)
- Konfiguriert: Mellanox ConnectX-3 QDR InfiniBand 56-Gbit/s-NIC
- 1 x PCIe x16 (Gen3 x16 Link)
- Stromversorgung (pro Knoten): 400 W Open-Frame-Netzteil
- Gehäusekühlung: 4 x Hot-Swap-fähige 80-mm-Lüfter
- Frontplatte (pro Knoten)
- Netzschalter mit LED
- Schalter mit LED lokalisieren
- Reset-Schalter
- Systemwarn-LED
- On-Board-Konnektivität (pro Knoten)
- 2 x Intel Server-Klasse GbE LAN
- 1 x Management-LAN mit iKVM-Unterstützung
- Optionales integriertes Mellanox ConnectX-3 QDR InfiniBand mit einem Port
Hardwareoptionen
Der EchoStreams GridStreams Quad-Node-Server basiert auf Standardhardware, was bedeutet, dass die Hardwareoptionen je nach Käuferanforderungen variieren können. Das System, mit dem StorageReview geliefert wurde, bietet eine Vielzahl von Konnektivitätsoptionen, von integriertem SAS und SATA bis hin zu Ethernet und optionalem integriertem InfiniBand. Jeder Knoten unterstützt Konfigurationen mit einem oder zwei Prozessoren. Derzeit unterstützt EchoStreams Intel Xeon E5-2600-Prozessoren.
Die lokale Speicherbereitstellung im GridStreams-Gehäuse erfolgt knotenweise. Jeder Knoten ist über einen Steckplatz mit zwei der acht 7-mm-SSD/HDD-Einschübe an der Vorderseite verbunden. Jeder Knoten ist per Definition unabhängig und kann bei Bedarf schnell getrennt und entnommen werden. Optional ist auch ein integriertes RAID verfügbar, das eine RAID-1-Konfiguration über zwei Festplatten oder SSDs ermöglicht, um einen Laufwerksausfall zu kompensieren. In unserem Labor verwenden wir zwei Micron P400e SSDs pro Rechenknoten in einer Multi-OS-Umgebung ohne Redundanz. Eine SSD bootet den Knoten mit CentOS 6.3, die andere mit Windows Server 2012.
Um den speziellen Anforderungen unseres Labors gerecht zu werden, haben wir unsere eigenen Mellanox ConnectX-3 InfiniBand-Netzwerkkarten (NICs) für den einzelnen PCIe-3.0-Steckplatz in jedem Knoten bereitgestellt. InfiniBand wurde speziell aufgrund seines hohen Datendurchsatzes und seiner geringen Latenz ausgewählt, die für unsere neuesten Anwendungs-Benchmarks erforderlich sind. Auf Kundenwunsch kann jedes Motherboard auch mit einer integrierten Mellanox ConnectX-3 QDR-Schnittstelle ausgestattet werden, wodurch der einzelne PCIe-Steckplatz für andere Zwecke frei wird. Dies verleiht jedem System ein hohes Maß an Flexibilität und ermöglicht es dem Endbenutzer, das Potenzial jedes Knotens optimal auszuschöpfen.
Überwachung und Verwaltung
Jeder Knoten verfügt über einen dedizierten Ethernet-Port für die integrierte Verwaltung über eine iKVM-Schnittstelle. Das iKVM unterstützt Konsolenumleitung und Remote-Laufwerkhosting, sodass Administratoren Systeme aus der Ferne einrichten oder diagnostizieren können, ohne eine direkte Verbindung zum System herstellen zu müssen. Die iKVM-Schnittstelle von GridStreams wurde bei der Ersteinrichtung jedes Knotens ausgiebig genutzt, um die Plattform im Testlabor schnell online zu bringen.
Die mitgelieferte Verwaltungssoftware unterstützt auch die Fernsteuerung der Stromversorgung und liefert dem Benutzer sekundengenaue Informationen zu Wärme, Leistung und Kühlung. Auf einen Blick kann der Benutzer die Spannungsleitungen des Netzteils, die Lüftergeschwindigkeit sowie die Motherboard- und CPU-Temperaturen überprüfen. Jeder dieser Sensoren kann auch protokollieren und bietet so die Möglichkeit zu überwachen, wie sich die Bedingungen von Leerlauf bis hin zu hoher Last ändern, um sicherzustellen, dass die Systeme ordnungsgemäß für ihre Umgebung gerüstet sind.
Designen und Bauen
Das einzigartige Design der EchoStreams GridStreams positioniert das Motherboard und die I/O-Anschlüsse an der Vorderseite des Gehäuses anstatt an der Rückseite. Dies bietet mehr Flexibilität in Rechenzentren, die für dieses Layout ausgelegt sind. Obwohl das StorageReview-Labor über eine herkömmliche Rack-Montageumgebung verfügt, konnten wir die GridStreams dennoch problemlos mit Kabeln integrieren, die durch Steckplätze in einem unserer Eaton-Racks der S-Serie geführt wurden . Für die Netzwerkanbindung sind die Nodes mit zwei Intel 1-GbE-Ports sowie einem weiteren 1-GbE-Port für die iKVM-Verwaltung ausgestattet. Die Frontblende verfügt außerdem über eine Aussparung für einen einzelnen QSFP-InfiniBand-Port, der auf Motherboards mit dieser optionalen Erweiterung vorhanden ist.
Eine der einzigartigsten Designmerkmale des GridStreams-Servers ist die Hot-Swap-fähige Festplatte an der Vorderseite des Gehäuses. Während viele Rechenknoten über zwei integrierte Speichereinschübe verfügen, hat EchoStreams einen anderen Weg gewählt. Im GridStreams-Gehäuse hat jeder Knoten direkten Zugriff auf zwei Einschübe, die in der Regel als RAID 1 für redundante Systemlaufwerke konfiguriert sind. Unsere Konfiguration verwendet Microns 100-GB-SSD RealSSD P400e für die Boot-Laufwerke von CentOS 6.3 und Windows Server 2012.
Der EchoStreams GridStreams ist für eine einfache Wartung in einer Produktionsumgebung konzipiert, wobei jeder Knoten auf einem Fach montiert ist, das leicht herausgezogen werden kann, um das Motherboard und die PCIe-Schnittstelle mit einer schnellen Bewegung zu entfernen. Jedes Fach ist über schnell lösbare Strom- und Datenanschlüsse mit dem Gehäuse verbunden. Dieses Design ermöglicht es Benutzern, neue Hardware einzurichten oder einzelne Knoten außerhalb der Rack-Umgebung in leicht verwaltbaren Teilen zu warten, ohne das gesamte System aus dem Rack schleppen zu müssen.
EchoStreams liefert Gleitschienen für den GridStreams-Server mit Schnellverbindungsstücken, um die Schienen einfach in einem Rack zu montieren und das System in Position zu schieben. Obwohl die Schienen eine gewisse Erweiterung ermöglichten, nachdem der Server in unserer Rack-Umgebung montiert wurde, können sie nicht vollständig ausgefahren werden, um das gesamte Gehäuse zu bedienen, ohne es vollständig zu entfernen. Aufgrund des Zugangs zum Knoten an der Vorderseite und des Zugangs zum Lüfter an der Rückseite müsste ein Benutzer das gesamte Gehäuse nur dann aus dem Rack entfernen, wenn die Stromversorgung ausfällt.
Kühlung:
Der EchoStreams GridStreams bietet ein einzigartiges Kühldesign von vorne nach hinten, das vier 80-mm-Lüfter an der Rückseite des Gehäuses umfasst. Diese vier Lüfter sorgen für die alleinige Kühlung und Luftzirkulation der GridStreams; Kühle Luft wird zuerst über die PCIe-Karte und SSDs oder Festplatten geleitet, dann über die Prozessoren und zuletzt über die Netzteile. Die Lüftergeschwindigkeit wird von jedem Knoten gesteuert, was Drosselungsprofile ermöglicht oder die Lüfter auf volle Geschwindigkeit sperrt. Für unsere fortlaufende Labornutzung halten wir die Lüfter bei allen unseren Tests auf 100 %. In einem Open Compute-Rack, das sowohl Strom als auch Kühlung liefert, können die Lüfter aus dem Gehäuse entfernt werden, damit das Rack die Kühlung für das GridStreams-Gehäuse bereitstellen kann. Jeder der vier Lüfter kann vor Ort ausgetauscht werden, um den langfristigen Wartungsanforderungen gerecht zu werden. Um die defekte Lüftereinheit zu entfernen, lösen Sie zwei Halteschrauben mit handfesten Knöpfen und ziehen Sie die Einheit von der Rückseite des Gehäuses ab. Jeder Lüfter verfügt über einen Stromanschluss mit Schnellverschluss, sodass Sie sich beim Entfernen oder Einsetzen eines neuen Lüfters nicht mit Kabeln herumschlagen müssen.
In unseren Tests mit einer durchschnittlichen Labortemperatur von 25.8 °C lief jeder Knoten mit einer CPU-Temperatur von 42 °C/45 °C (vorne/hinten) im Leerlauf, die dann unter Last auf 68 °C/90 °C anstieg. Damit sich das Labor auf die oberen Betriebstemperaturgrenzen der EchoStreams GridStreams aufwärmen konnte, haben wir jeden Knoten bei 47 °C/51 °C im Leerlauf und 74 °C/90 °C unter Last und einer Rack-Umgebungstemperatur von 31 °C gemessen.
Tuning
Die GridStreams können entweder über 100-240-V-Quellen oder über herkömmliche 12-V-Gleichstromquellen in Open-Compute-Rechenzentren mit Niederspannungs-Rack-Power-Centern betrieben werden. Unser System verfügt über vier hocheffiziente 400-Watt-Netzteile mit 100–240 V, die über die Knoten hinweg nicht redundant sind. Dies bedeutet, dass jeder Knoten über einen eigenen Stromanschluss verfügt und bei Ausfall einer Stromversorgung die Stromversorgung dieses bestimmten Knotens ausfällt. Kunden, die sich für ein höheres Maß an Effizienz oder Stromredundanz entscheiden, können sich an eines der 12-VDC-Rack-Power-Center von EchoStreams wenden, das mehrere GridStreams-Server unterstützt. Der RPC bietet automatisch skalierende interne N+1 Stromknoten, die sich an die Nachfrage anpassen und hoch- oder herunterfahren, um das System in einem Zustand zu halten, der die Effizienz maximiert.
In unseren Tests mit einem Knoten, der mit einem einzelnen 8-GB-DDR3-RDIMM-Speicher, zwei Intel Xeon E5-2640-Prozessoren und einer Mellanox ConnectX-3 InfiniBand-Netzwerkkarte konfiguriert war, haben wir einen Stromverbrauch im Leerlauf von 98 Watt gemessen, der unter Volllast mit unserer Eaton Advanced ePDU auf 232 Watt anstieg . Im Leerlauf betrug der Leistungsfaktor 0.93 und erhöhte sich unter Last auf 0.97.
Fazit
Die Quad-Node-2U-Rechenplattform EchoStreams GridStreams kommt zu einem kritischen Zeitpunkt in das StorageReview-Labor, da wir auf größere anwendungsbasierte Tests umsteigen, die immer vielseitigere Rechenlösungen erfordern, um die bestmögliche Anwendungsleistung zu erzielen. Die GridStreams berücksichtigen natürlich nicht nur Leistungsprobleme, sondern auch Dichte und spezielle Anforderungen für Mitglieder der Open Computing Alliance. Die Wartungsfreundlichkeit des Gehäuses und der Blades sowie die an der Vorderseite montierten E/A-Ports machen die GridStreams zu einer idealen Lösung für Cloud-Dienstanbieter, denen bei den herkömmlichen Serveranbietern nur wenige Optionen zur Verfügung stehen. Darüber hinaus plant EchoStreams, die Plattform weiterzuentwickeln und letztendlich Lüfter und Netzteile zu entfernen, die zu intelligenten Racks verschmelzen, die diese Aufgaben in großen Rechenzentren übernehmen.
Unsere Ziele sind etwas weniger ehrgeizig als die eines großen Rechenzentrums, aber in einem kleineren Maßstab ist die Fähigkeit, reale Rechen- und Speicherumgebungen zu simulieren, für ordnungsgemäße Tests und Bewertungen von entscheidender Bedeutung. Zu diesem Zweck wird die GridStreams-Lösung zu einem unschätzbar wertvollen Teil des Labors, da wir unseren Testumfang in Bezug auf die Speicherung und das Ökosystem insgesamt weiter ausbauen.
Amazon