Auf dem Open Compute Project Summit kündigt Facebook heute sein flexibles NVMe-JBOF (nur ein Haufen Flash) Lightning an. Facebook stellt Lightning als Flash-Baustein bzw. Flash-Schlitten vor. Lightning wird es Rechenzentren ermöglichen, die Flash-Kapazität besser über mehrere Anwendungen hinweg zu skalieren und gleichzeitig das Verhältnis von Rechenleistung zu Speicher zu optimieren. Facebook steuert dieses neue JBOF zum Open Compute Project bei.
Facebook setzt schon seit einiger Zeit stark auf Flash. Sie verwenden es für Cache, Datenbankanwendungen und Startlaufwerke. Flash bietet ihnen zwar die Leistung, die sie suchen, weist jedoch einige Nachteile auf, z. B. die fehlende effektive Skalierung. Die Flash-Dichte verdoppelt sich ungefähr alle anderthalb Jahre, was eine effiziente Skalierung zu einem Problem macht. Facebook hat nach Möglichkeiten gesucht, die Anzahl der Hardwarebausteine zu minimieren und gleichzeitig die Gesamtmenge an Flash zu maximieren, die für bestimmte Anwendungen verfügbar ist. Facebook sah in der Aufschlüsselung der Hardware- und Softwarekomponenten eine mögliche Lösung zur Verbesserung seiner betrieblichen Effizienz. Geben Sie ihren JBOF Lightning ein.
Lightning bietet eine durchgehende PCIe-Gen-3-Verbindung (CPU zu SSD). Um eine schnellere Markteinführung zu ermöglichen, ein einheitliches Erscheinungsbild beizubehalten, Modularität bei PCIe-Switch-Lösungen zu ermöglichen und Flexibilität bei SSD-Formfaktoren zu ermöglichen, nutzt Facebook die bestehende Open Vault (Knox) SAS JBOD-Infrastruktur. Facebook musste eine bestimmte Topologie verwenden, um das neue JBOF (siehe Abbildung oben) und neue Boards zu implementieren:
- PCIe-Retimer-Karte. Diese x16 PCIe Gen 3-Karte ist im Leopard-Server installiert, der als Hauptknoten für das JBOF dient. Es handelt sich um ein einfaches, kostengünstiges und stromsparendes Design zur Weiterübertragung der PCIe-Signale über externe Mini-SAS-HD-Kabel (SFF-8644) mit einer Länge von mindestens 2 Metern.
- PCIe-Erweiterungskarte (PEB). Auf dieser Platine befinden sich der PCIe-Switch, der Lightning BMC und alle Schaltkreise zur Switch-Unterstützung. Pro SSD-Fach wird ein PEB installiert und ersetzt das in Knox verwendete SAS Expander Board (SEB). Dies ermöglicht uns die Verwendung einer gemeinsamen Schaltplatine für beide Fächer und ermöglicht uns außerdem, problemlos neue oder andere Versionen (z. B. mit Schaltern der nächsten Generation) zu entwerfen, ohne die restliche Infrastruktur zu ändern. Jeder PEB verfügt über bis zu 32 PCIe-Lanes als Uplink(s) zum Retimer im Hauptknoten und 60 PCIe-Lanes zu den SSDs. Das PEB kann bei einem Ausfall im laufenden Betrieb ausgetauscht werden, ohne dass dies Auswirkungen auf das andere Fach im System hat.
- PCIe Drive Plane Board (PDPB). Das PDPB enthält die 15x SFF-8639 (U.2) SSD-Anschlüsse und Unterstützungsschaltkreise. Jeder SSD-Anschluss bzw. -Steckplatz ist mit 4 PCIe-Lanes, PCIe-Takten, PCIe-Reset und zusätzlichen Seitenbandsignalen vom PCIe-Switch bzw. den PCIe-Switches am PEB verbunden. Jeder SSD-Steckplatz kann auch in 2x x2-Ports aufgeteilt werden, wodurch wir die Anzahl der SSDs pro Fach von 15x auf 30x verdoppeln können (von 30x pro System auf 60x pro System), ohne dass eine zusätzliche PCIe-Switching-Ebene erforderlich ist.
Die Vorteile umfassen:
- Lightning kann eine Vielzahl von SSD-Formfaktoren unterstützen, darunter 2.5-Zoll-M.2- und 3.5-Zoll-SSDs.
- Lightning unterstützt das überraschende Hot-Add- und Surprise-Hot-Removal von SSDs, um den Austausch vor Ort so einfach und transparent wie SAS-JBODs zu machen.
- Lightning wird einen ASPEED AST2400 BMC-Chip mit OpenBMC verwenden.
- Lightning unterstützt mehrere Switch-Konfigurationen, wodurch wir unterschiedliche SSD-Konfigurationen (z. B. 15x x4 SSDs vs. 30x x2 SSDs) oder unterschiedliche Kopfknoten-zu-SSD-Zuordnungen unterstützen können, ohne die Hardware in irgendeiner Weise zu ändern.
- Lightning kann bis zu vier Hauptknoten unterstützen. Durch die Unterstützung mehrerer Kopfknoten pro Fach können wir das Verhältnis von Rechenleistung zu Speicher nach Bedarf anpassen, indem wir einfach die Switch-Konfiguration ändern.
Auch wenn eine reine NVMe-Lösung nach einer wunderbaren Idee klingt, müssen einige Bedenken geklärt werden, bevor sie überall in Rechenzentren implementiert werden können. NMVe kann nicht wie SAS-Laufwerke im laufenden Betrieb angeschlossen oder hinzugefügt werden. Derzeit ist PCIe-Hot-Plugging kompliziert. PCIe verfügt im Gegensatz zum SAS nicht über ein In-Band-Gehäuse- und Gehäuseverwaltungsschema, was die Verwaltung schwierig macht. Ein Teil des Layouts und neuer Platinen befasst sich mit der Aufrechterhaltung der Signalintegrität. Im Gegensatz zur Verwendung externer PCIe-Kabel entschied sich Facebook für Mini-SAS-HD-Kabel (SFF-8644). Die Kabel nutzen ein vollständiges Spektrum an PCIe-Seitenbandsignalen und einen USB-Anschluss für eine Out-of-Band-Verwaltungsverbindung. Und Facebook beschäftigt sich mit dem Stromverbrauch von NVMe, eine 2.5-Zoll-NVMe-SSD kann bis zu 25 W verbrauchen. Lightning begrenzt die Leistung auf 14 W pro Steckplatz.
Lightning ist als flexible, skalierbare Lösung für Flash konzipiert. Es unterstützt mehrere SSD-Formfaktoren und mehrere Hauptknoten und verwendet dabei eine Leistungsstufe, die für die angestrebten IOPS/TB sinnvoll ist. Das Hinzufügen dieser Lösung zu OCP sollte das NVMe-Ökosystem stärken und die Einführung von NVMe-SSDs beschleunigen.
Amazon