Wenn man an Kubernetes (K8s) denkt, fallen einem oft Begriffe ein, die mit großen Umgebungen zu tun haben, wie „Cloud-Scale“, „unbegrenzte Erweiterbarkeit“ und sogar „riesig“. Die Realität sieht jedoch so aus, dass ein erheblicher Teil der IT-Welt mit viel kleineren K8-Umgebungen für Entwicklung und Produktion beginnen muss. Um Komfort, Flexibilität und Skalierbarkeit auf Cloud-Ebene zu bieten und Kostenvorteile für lokale und hybride Cloud-Infrastrukturen zu erzielen, hat Supermicro eine schlüsselfertige Lösung eingeführt, die ihre branchenführende Hardware gepaart mit erstklassiger Hardware nutzt -line-Softwareintegration. In diesem Artikel werden wir untersuchen, was diese Supermicro Rack Plug-and-Play-Lösung ausmacht, wie sie funktioniert und welche Wirtschaftlichkeit der Betrieb einer internen K8s-Plattform im Vergleich zu einer cloudbasierten Plattform bietet.
Supermicro Rack Plug-and-Play-Cloud-Infrastruktur
Die vier Komponenten, aus denen jede K8s-Installation besteht, sind Rechenleistung, Speicher, Netzwerk und Software. Um möglichst viele Kunden zu erreichen, hat Supermicro auf der Grundlage dieses Programms verschiedene System- und Rack-Level-Konfigurationen entwickelt. Die Hardware für diese Lösung nutzt Intels bewährte Xeon-CPUs der dritten Generation und Optane Persistent Memory (PMem), auf die wir später noch eingehen werden. Die Architektur ihrer Lösung besteht aus verschiedenen Klassifizierungen von Rechenknoten, die der branchenüblichen Klassifizierung folgen:
- Bastion-Knoten und SCC-VM Um die Bereitstellung zu aktivieren, wurde auf einem Knoten ein Bastion-Knoten bereitgestellt, um die OpenShift-Installation auszuführen. Auf dem Bastion-Knoten wird Red Hat Enterprise Linux ausgeführt, um die Skripte, Dateien und Tools zur Bereitstellung des kompakten Clusters zu hosten. Dieser Knoten betreibt auch eine VM zum Hosten von SuperCloud Composer zur Verwaltung und Überwachung des OpenShift-Clusters.
- Hauptknoten Bietet eine hochverfügbare und belastbare Plattform für den API-Server, den Controller-Manager-Server usw. Um den K8s-Cluster zu verwalten und seinen Betrieb zu planen, sind mehrere Masterknoten erforderlich, um sicherzustellen, dass der K8s-Cluster keinen Single Point of Failure aufweist.
- Infrastruktur-(Infra-)Knoten Isoliert Infrastruktur-Workloads, um eine Trennung und Abstraktion für Wartungs- und Verwaltungszwecke zu ermöglichen.
- Anwendungsknoten führt die Containeranwendungen aus.
- OpenShift Data Foundation (ODF)-Knoten (früher bekannt als OpenShift Container Storage [OCS]) hostet den softwaredefinierten Speicher (SDS), der Daten einen dauerhaften Ort zum Leben bietet, während Container in verschiedenen Umgebungen hoch- und heruntergefahren werden. ODF unterstützt auch Datei-, Block- oder Objektspeicher.
Supermicro hat einen kompakten 3-Knoten-Cluster basierend auf seinem X12 BigTwin entwickelt und X12 Ultra-Systeme integriert, um zusätzliche Speicherkapazität für das JumpStart-Programm bereitzustellen, das wir in diesem Artikel behandeln werden. Für einen Cluster der Einstiegsklasse ist kein Ceph-Speicher erforderlich.
Der X12 BigTwin ist ein 2U-4-Knoten-System mit zwei Intel Xeon Platinum 6338N-Prozessoren. Es enthält 72 Intel-Rechenkerne, 4 TB Intel Optane PMem, 512 GB DDR4-Speicher und 184 TB NVMe-gestützten Speicher pro Knoten. Für die Konnektivität verfügt es über 100-Gbit-Schnittstellen für NVMe-oF, die dauerhaften Speicher über 3 Knoten hinweg unterstützen, und 25 Gbit für die Schnittstelle zum Objektspeicher-Cluster. Drei der X12 Ultra-Server sind Speicherknoten, die jeweils über bis zu 1.1 PB Objektspeicher und bis zu 80 Rechenkerne verfügen können. Eine der für diese Lösung besonders geeigneten Branchen sind Medien und Unterhaltung für Video-Streaming, Content-Bereitstellung und Analysezwecke.
Wie oben erwähnt, verwendet das BigTwin-System Intel Optane PMem Series 200 und traditionellen DDR4-Speicher. Auf diese Weise kann Supermicro die Speicherkapazität so wirtschaftlich wie möglich erhöhen, da Optane PMem etwa halb so teuer ist wie DDR4 (pro GB).
Es ist zu beachten, dass der X12 BigTwin über ein gemeinsames Stromversorgungs- und Kühldesign verfügt, um die Betriebskosten zu reduzieren. Supermicro teilte uns einen konkreten Anwendungsfall über einen seiner Kunden im Finanzsektor mit. Sie konnten mit den X20 BigTwin-Systemen im Vergleich zu ihren X12 12U-Systemen eine Energieeinsparung von mehr als 1 % feststellen, da das BigTwin-System nur 675 W Strom verbrauchte, verglichen mit den 980 W, die das X12 1U-System bei der gleichen Arbeitslast verbrauchte.
Große Systeme sind nicht jedermanns Sache und der kompakte Cluster von Supermicro ist ideal für Unternehmen, die eine sofort einsatzbereite DevOps-Einstiegsumgebung suchen. Supermicro bietet ein kostenloses Fernzugriffsprogramm namens Rack Plug and Play JumpStart für den Kompaktcluster an, damit IT und Entwickler ihre Arbeitsabläufe testen und Benutzerfreundlichkeit und Leistung bewerten können. Der X12 BigTwin kann mit SYS-620BT-DNC8R, einem 2U-2-Node-SKU mit 3.5-Zoll-SAS/SATA-Laufwerksunterstützung, an einen Scale-out-Objektspeicher angepasst werden. Bei dieser Konfiguration sind möglicherweise keine 100-GBit-Schnittstellen erforderlich, um die Leistung pro Dollar zu optimieren. Der kompakte Cluster ist auch als Komplett-Rack-Lösung mit vorinstalliertem Red Hat OpenShift erhältlich, worauf wir in diesem Artikel näher eingehen.
Sollten die Anforderungen kleiner oder größer werden, verfügt Supermicro über Referenzarchitekturen für Edge-, Regional- und Core-Rechenzentrumslösungen, die eine einfache Skalierung auf die benötigte Kapazität ermöglichen.
Supermicro hat vier weitere Rack-Plug-and-Play-Konfigurationen entwickelt – Edge, Performance, High Density und Extreme (in der Reihenfolge von der geringsten zur größten Anzahl von Intel-Rechenkernen).
Supermicro Rack Plug and Play Cloud zum Anfassen
Um einen besseren Überblick über die Hardware der einzelnen Konfigurationen zu erhalten, haben wir die Stückliste für den Edge (SKU: SRS-OPNSHFT-3N ) betrachtet. Diese besteht aus drei Master-Knoten, drei Anwendungsknoten und drei ODF-Knoten. Um die Anzahl der Knoten zu minimieren, wurden die Infrastrukturknoten weggelassen und ihre Aufgaben auf die übrigen Knoten verteilt.
Diese Lösung verfügt über 72 Intel-Rechenkerne, 768 GB RAM und 138 TB Speicher (davon 46 TB NVMe-Speicher). Für redundante Interkonnektivität verfügt es über ein duales 10-Gbit-Netzwerk (insgesamt vier), sowohl für die Verwaltung als auch für die Daten, die über zwei SX350X-12-Switches vermittelt werden. All dies benötigt nur 6U Rack-Platz und kann über zwei standardmäßige 120-V-Stromkreise betrieben werden, die üblicherweise in einem Büro oder Zuhause zu finden sind.
Supermicro sieht den Anwendungsfall für ihre Edge-Konfiguration darin, KI/ML am Edge und mit Zielmärkten in den Bereichen Einzelhandel, Gesundheitswesen, Fertigung und Energie auszuführen. Wir glauben auch, dass dies eine gute, kostengünstige Lösung für kleine Entwicklungsteams und verteilte Content-Delivery-Netzwerke wäre.
Die Stückliste für die Performance-SKU (SRS-OPNSHFT-10) besteht aus drei Master-Knoten, drei gemeinsam angeordneten Infra-Knoten, drei Anwendungsknoten und drei ODF-Knoten. Diese Lösung verfügt über 288 Intel-Rechenkerne, 3 TB RAM und 138 TB NVMe-Speicher. Für redundante Interkonnektivität verfügt es über ein 1-Gbit-Netzwerk (insgesamt vier) für die Verwaltung und ein vierfaches 25-Gbit-Netzwerk für Daten, das über zwei SX350X-12-Switches vermittelt wird, wobei der Verwaltungsverkehr über einen SSE-G3648BR-Switch geleitet wird. All dies nimmt 42U Rack-Platz ein.
Die High-Density-SKU (SRS-OPNSHFT-20) verfügt über 336 Intel-Rechenkerne mit 3 TB RAM und 18 Knoten. Diese SuperRack-Lösung mit hoher Dichte ist die skalierte Version des kompakten Clusters, verwendet jedoch zwei SYS-220BT-HNTR (2U-4-Knoten-System) für Controller- und Infrastrukturknoten und SYS-620BT-DNC8R (2U-2-Knoten-System) als Anwendungsknoten.
Noch leistungsstärker ist die Extreme-Variante (SRS-OPNSHFT-30) mit 640 Intel-Rechenkernen, 8 TB RAM und 22 Knoten. Hier finden Sie die vollständigen Spezifikationen aller vier Supermicro-Varianten.
Supermicro Rack Plug-and-Play-Software
Die auf allen SKUs vorinstallierte Software ist Red Hats äußerst beliebte OpenShift-Plattform , eine Kubernetes-Plattform der Enterprise-Klasse mit umfassender Automatisierung für die Verwaltung von Kubernetes-Bereitstellungen. Red Hat ist ein wichtiger Akteur und Unterstützer der Kubernetes-Community, und OpenShift genießt dort hohes Ansehen. OpenShift ermöglicht nicht nur die Systemverwaltung, sondern auch die Self-Service-Bereitstellung für Entwicklungsteams. Ein weiterer Vorteil von OpenShift ist, dass Sie bei Bedarf dieselben Schnittstellen und Workflows für Public-Cloud-Ressourcen nutzen können. Dies ist ein großer Vorteil, da es den Lernaufwand reduziert und Fehler aufgrund von Workflow-Änderungen vermeiden kann.
Um einen kurzen Überblick zu geben: OpenShift ist ein sehr ausgereiftes Produkt, da es ursprünglich vor über einem Jahrzehnt entwickelt wurde und in dieser Zeit die Platform-as-a-Service (PaaS) von Red Hat war und vollständig Open Source ist. Seine Softwarekomponenten basieren auf einem sorgfältig kuratierten Stack, der die besten und beliebtesten Komponenten verwendet. Für die Orchestrierung und Planung werden K8s in Verbindung mit Docker für die Containerlaufzeit und natürlich Red Hat für das Betriebssystem verwendet.
Eine Schlüsselkomponente im Software-Stack ist OpenShift Container Platform (OCP) und Red Hat Enterprise Linux CoreOS (RHCOS), die beide mit CoreOS geliefert wurden (ein Unternehmen, das Red Hat bereits 2018 übernommen hat).
RHCOS ist eine abgespeckte Version von Red Hat Enterprise Linux, die speziell für den Container-Einsatz entwickelt wurde. OCP ist eine Platform as a Service (PaaS), die für Linux-Container entwickelt und von K8s orchestriert und verwaltet wird. Beide wurden von Red Hat vollständig getestet und werden in der Praxis häufig eingesetzt. Dies sind wichtige Bestandteile zur Reduzierung der Bare-Metal-Kosten dieser Lösung.
Um die Entwicklung und Bereitstellung zu beschleunigen, enthält OpenShift das Operator-Framework. Ein Operator im K8s-Sprachgebrauch ist eine Software, die das menschliche Wissen bündelt, das zum Bereitstellen und Verwalten einer Anwendung auf K8s erforderlich ist. Das Operator Framework besteht aus einer Reihe von Tools und K8s-Komponenten, die die Operatorentwicklung und die zentrale Verwaltung auf einem Multi-Tenant-Cluster unterstützen. OpenShift verfügt über Operatoren für beliebte Anwendungen wie Redis und Cassandra. Durch den Einsatz von Operatoren kann bei der Bereitstellung einer Anwendung unabhängig vom Qualifikationsniveau der Person, die sie bereitstellt, viel Zeit und Frustration eingespart werden.
SuperCloud-Komponist
Eine der verborgenen Stärken von Supermicro ist SuperCloud Composer (SCC), eine zentrale Benutzeroberfläche zur Überwachung und Verwaltung von Servern sowie zur Bereitstellung von Betriebssystemen. SCC verfügt über eine API, die die Redfish-kompatible Integration ermöglicht, und bietet Funktionen von der Energieverwaltung bis zum Asset-Management. Dies ist ein wesentlicher Bestandteil der Lösung, der durch die Bereitstellung von Hardware-Support die Gesamtlösung abrundet.
Die Voraussetzungen für den Kompaktcluster von Supermicro ähneln denen der Standard-OpenShift-Installation von Red Hat. Zu diesen Voraussetzungen gehören unter anderem die folgenden:
- Sicherstellen, dass die Netzwerkkonnektivität vorhanden ist
- Richten Sie Load Balancer für die API und Ingress ein oder installieren Sie sie
- Für den Cluster sind DNS-Einträge vorhanden
- Alle CLI-Tools, die Sie möglicherweise benötigen
- DHCP-Adressreservierung oder Verwendung statischer IPs
Der Kompaktcluster lässt sich problemlos bereitstellen, wenn alle Voraussetzungen erfüllt sind. Für die Zukunft plant Supermicro die Veröffentlichung eines Ansible Playbooks, das bei der Orchestrierung des Einrichtungsprozesses helfen soll, einschließlich der HW-RAID-1-Konfiguration für die NVMe-M.2-Startlaufwerke und der OpenShift-Cluster-Installation. Im Wesentlichen wird dies dazu beitragen, eine Zero-Touch-Bereitstellung zu ermöglichen, die wir normalerweise nur von ISVs mit OEM-Appliance(s) sehen.
Knoten D befindet sich physisch innerhalb des 2U-Gehäuses, wurde jedoch für Supermicro-Administratoren, die das JumpStart-Programm aktiv unterstützen, in ein separates BMC-Netzwerk isoliert. Dieser Knoten verfügt über eine 1-GBit-NIC für die „Provisioning Bridge“ für die SCC-VM. Basierend auf der Netzwerktopologie ermöglicht das JumpStart-Programm Remotebenutzern den sicheren Zugriff auf die SCC-VM und den OpenShift-Cluster, um die Funktionen des Clusters zu erkunden, einschließlich einer Video-on-Demand-Demo, die auf einem Pod ausgeführt wird. Der Demo-Workflow ist unten dargestellt.
Supermicro Rack Plug and Play Cloud Jumpstart-Programm
Die Investition in eine neue Lösung birgt stets Unsicherheiten hinsichtlich der Kompatibilität mit bestehenden Arbeitsabläufen und deren Arbeitsbelastung. Um diese Bedenken auszuräumen, hat Supermicro ein umfassendes Jumpstart- Programm entwickelt , das potenziellen Kunden die Möglichkeit bietet, die Lösung vor dem Kauf zu testen.
Kosten
Öffentliche Clouds basieren auf der allgemeinen Fehleinschätzung, sie seien kostengünstiger als Bereitstellungen vor Ort. In vielen Situationen ist der Besitz der Hardware jedoch attraktiver, wenn man das stabile Preismodell mit den laufenden Kosten einer Cloud-Lösung vergleicht. Ja, die Cloud-Anbieter haben den Skalenvorteil, da sie die Kosten für ihr Betriebspersonal über Tausende von Knoten hinweg amortisieren können. Supermicro hat dies jedoch durch den Einsatz von OpenShift abgemildert, wobei Red Hat die Last des Testens und Wartens der Lösung übernommen hat. Dies bedeutet, dass Supermicro-Kunden keine Updates und Patches für ihre Systeme validieren müssen, was ein zeitaufwändiger und damit kostspieliger Prozess sein kann.
Auch die Preisstabilität ist ein Faktor, der für Supermicro spricht. Es gibt sicherlich mehr als eine Horrorgeschichte, in der ein Public-Cloud-Kunde sein Budget durch übermäßigen Ressourcenverbrauch überschritten hat. Die Realität ist, dass bei einer hochautomatisierten Lösung wie K8s eine einfache Fehlkonfiguration eine Vielzahl von Anwendungen hervorbringen kann, die öffentliche Cloud-Ressourcen verbrauchen. Im Gegensatz dazu ist dies mit einer On-Premise-Lösung einfach nicht möglich.
Diese Lösung ist nicht nur kostenmäßig mit öffentlichen Clouds konkurrenzfähig, sondern Supermicro bietet auch andere Vorschläge zur Kostensenkung an, z. B. die Ausführung eines Bare-Metal-Abonnements der Red Hat Open Data Foundation (ODF) anstelle der Ausführung auf einem Hypervisor, da dies normalerweise kostengünstiger ist und vermeidet eine Hypervisor-Steuer.
Wir haben Supermicro gefragt, wie Kunden OpenShift (die Softwarekomponente in ihrer Lösung) erwerben können, und sie sagten, dass es entweder in einer einzigen Rechnung von ihnen enthalten sein könnte oder Kunden es direkt bei Red Hat kaufen könnten.
Supermicro war so freundlich, für uns einige Zahlen zum Kostenunterschied bei der Bereitstellung von OpenShift auf Bare-Metal oder der Verwendung eines Hypervisors zu ermitteln. Wir waren überrascht, wie viel Geld durch den Betrieb auf Bare-Metal im Vergleich zu einem Hypervisor gespart werden konnte. Da K8s-Anwendungen Speicher benötigen, wurde auch geschätzt, dass nur 4 Kerne für Anwendungen, die ein Dateisystem benötigen, den Objektspeicher blockieren.
Die Zahlen zeigen, dass der Betrieb von OpenShift auf Bare-Metal-Servern je nach benötigten Rechen- und Speicherressourcen pro Cluster 3- bis 9-mal kostengünstiger sein kann als auf einem Hypervisor. Zur Abschätzung der Kosteneinsparungen wurden zwei Szenarien analysiert. Im günstigsten Fall wurden 16 OCP-Abonnements (32 Kerne) und 2 ODF-Abonnements (4 Kerne) berücksichtigt. Im teuersten Fall wurden alle 64 Kerne pro Knoten für Rechenleistung und Speicher genutzt. Jeder Knoten kann standardmäßig bis zu 250 Pods unterstützen. Supermicro empfiehlt eine sorgfältige Planung von OpenShift-Bereitstellungen. Ein guter Ausgangspunkt ist das Planungsdokument für OpenShift 4.8.
Datenverwaltung
Datenlokalität ist ein heikles Thema. Viele Unternehmen und Regierungen haben sehr strenge Vorschriften darüber, wo Daten gespeichert werden müssen. Mit einer On-Premise-Lösung können Sie und alle Prüfer sicher sein, wo sich die Daten befinden, bis hin zur Handauflegung. Der physische Zugriff auf den Speicher in einer öffentlichen Cloud ist einfach nicht möglich – Punkt, Ende der Geschichte.
Fazit
Supermicro hat einen Markt identifiziert und eine zuverlässige, erschwingliche Lösung geschaffen, um ihn zu füllen, wie es in der Vergangenheit oft getan wurde. In diesem Fall besteht der Markt für einen K8s-Cluster vor Ort, der die bewährten Xeon-Prozessoren der dritten Generation von Intel für Zuverlässigkeit in Verbindung mit Intel Optane PMem nutzt, um die Kosten zu senken, ohne die Leistung zu beeinträchtigen, und die bewährte K8s-Software von Red Hat. Diese vordefinierten Lösungen ermöglichen Kunden die schnelle Bereitstellung eines K8S-Clusters, da diese Lösungen von Supermicro vorgefertigt, validiert und getestet wurden.
Ihre Lösung kann innerhalb von Tagen bereitgestellt werden, statt in den Wochen, die normalerweise für die Bereitstellung einer Roll-Your-Own-Lösung erforderlich wären, und da die Lösung von Supermicro umfassend auf Kompatibilität getestet wurde, werden Sie nicht auf zeit- oder kostenraubende Fallstricke stoßen, die dazu führen die beim Einsatz neuer Technologien auftreten können. Apropos Kosten: Das Preismodell der Lösung von Supermicro verhindert den Aufkleberschock, der bei der Nutzung einer Public Cloud auftreten kann.
Ganz gleich, welche Anforderungen Sie haben, Supermicro hat eine Lösung entwickelt, die Sie abdeckt. Von der Edge-SKU, die für Edge-KI/ML-Arbeitsplätze oder kleine Entwicklungsteams entwickelt wurde, bis zur Extreme-SKU, die für regionale und zentrale Rechenzentren für Produktions-Workloads entwickelt wurde und als Ersatz für öffentliche Cloud-Bereitstellungen verwendet werden kann.
Um mehr Informationen über die K8s-Lösung von Supermicro zu erhalten, können Sie hier deren Webportal besuchen.
Im Jumpstart-Programm können Sie diese Lösung selbst ausprobieren .
Amazon