Mit diesem Laborprojekt wollten wir einen winzigen, aber leistungsstarken 3-Knoten-Proxmox-VE-6.3-Cluster entwickeln. Da uns die Lenovo-Nano-PCs bereits beeindruckt haben, haben wir für dieses Experiment drei weitere Geräte angeschafft. Anhand der Lenovo ThinkCentre m90n können wir demonstrieren, welche Rechenleistung und Speicherkapazität auf einem nur halb so großen Gehäuse wie einem Schuhkarton realisiert werden können. Obwohl die Entwicklung winziger Cluster Kompromisse mit sich bringt, halten wir diese Lösung für eine hervorragende Kombination aus Leistung und Preis. Dadurch eignet sich diese Proxmox-Lösung hervorragend als Lern-/Entwicklungscluster oder ist sogar eine ernstzunehmende Alternative für ressourcenschonende Edge-/Retail-Computing-Lösungen.
Warum Proxmox VE?
Beim Einrichten eines Hypervisor-Clusters sind VMware ESXi und vSphere normalerweise die erste Wahl. Wenn jedoch Consumer-Hardware ins Spiel kommt, treten Komplikationen auf. Für ESXi muss ein unterstützter Ethernet-Adapter vorhanden sein, um die Installation abzuschließen. Die im M219n integrierte Ethernet-Karte I90-LM wird von ESXi nicht unterstützt, kann aber mit einem benutzerdefinierten ESXi-Image mit zusätzlichen Treibern für USB-NICs zum Laufen gebracht werden. Leider sind die nicht offiziell unterstützten NIC-Treiber bestenfalls unzuverlässig, sodass wir nach einer Alternative gesucht haben.
Proxmox VE ist die ideale Wahl für Heimlabore, die Hypervisoren auf Consumer-Hardware betreiben möchten. Es bietet außerdem eine Lösung für die fehlenden Ethernet-Treiber in ESXi. Im Gegensatz zu ESXi unterstützt Proxmox die Ethernet-Karte I219-LM, wodurch die Einrichtung unseres 3-Knoten-ThinkCentre-Clusters (M90n) zum Kinderspiel wurde. Proxmox VE wurde kürzlich auf Version 6.3 aktualisiert . Wir haben die aktualisierte Plattform bisher etwas verspätet getestet; dieser kleine Cluster war dafür der perfekte Anlass.
Winzige Proxmox-Cluster-Hardware
Unsere drei Lenovo ThinkCentre M90n sind mit Intel i5-8265U Prozessoren der 8. Generation, 8 GB DDR4-RAM und jeweils zwei NVMe-SSDs ausgestattet . Nach Fertigstellung des Clusters stehen 24 Kerne, 24 GB RAM und ca. 3.5 TB NVMe-Speicher zur Verfügung. Die Flexibilität dieser kompakten Systeme, zwei SSD-Einschübe zu bieten, macht sie für unsere Laborarbeit besonders interessant. Wir verwenden hier zwar das Standardmodell M90n, Lenovo bietet aber auch eine lüfterlose IoT-Version mit einer zweiten Netzwerkkarte, jedoch weniger Arbeitsspeicher.
Thermische Aktivität
Um es kurz zu machen: Wichtig ist, dass bei der Auslastung kleiner Hardware wie des Lenovo M90n-Clusters auf optimale Luftzirkulation und Wärmeableitung geachtet werden muss. Das bedeutet, ihn auf einer ebenen Fläche zu betreiben, sicherzustellen, dass Lufteinlässe und -auslässe frei sind und die Cluster gegebenenfalls nicht zu stapeln. Mit unserer Seek ShotPRO- Kamera haben wir die Nanos unter Last untersucht.
Als wir anfingen, die Grenzen unseres M90n-Clusters auszutesten, bemerkten wir, dass die Hotspots auf dem Gehäuse ungefähr mit der Einlassöffnung übereinstimmten, wenn man mit dem Stapeln dieser begann. Ein Abstandshalter oder ein anderer Isolierblock, wenn Sie sie stapeln möchten, würde dieses Problem wahrscheinlich beheben. Auch dies war eher der Fall, nachdem wir sie bei hoher Speicher- und CPU-Auslastung ausgeführt hatten, stellten wir fest, dass es zu einer Erwärmung kam.
Insgesamt erwies sich die M90n-Plattform jedoch als optimal geeignet für eine kostengünstige, stromsparende und platzsparende Homelab-Plattform. Die beiden NVMe M.2-Steckplätze haben uns jedoch wirklich überzeugt, da sie es uns ermöglichten, jeden Nano mit Flash zu füllen und den Einsatz von Festplatten zu vermeiden.
So installieren Sie Proxmox
Die Installation von Proxmox ist ganz einfach: Laden Sie die neueste Proxmox-ISO-Datei von der Proxmox-Website herunter und schreiben Sie sie auf einen USB-Stick. Starten Sie den Lenovo Nano vom soeben erstellten Proxmox-Installationsmedium, um die Installation zu beginnen. Folgen Sie einfach den Anweisungen. Wenn Sie Proxmox auf mehreren Computern für einen Cluster installieren, geben Sie ihnen unbedingt unterschiedliche Hostnamen, damit Sie diese später nicht ändern müssen. Nach Abschluss der Installation sollte Ihr Bildschirm etwa so aussehen:
Stellen Sie in Ihrem Browser auf einem anderen Computer im selben Netzwerk eine Verbindung zur angegebenen Adresse her. Wenn die Web-GUI nicht erreichbar ist, kann die IPv4-Adresse manuell geändert werden, indem die Dateien /etc/network/interfaces und /etc/hosts bearbeitet werden. Wenn Sie erfolgreich zur Proxmox-Web-GUI gelangt sind, werden Sie zur Eingabe des Benutzernamens und Passworts aufgefordert, die Sie im Installationsprozess erstellt haben.
Nach erfolgreicher Anmeldung werden Sie mit der Übersichtsseite des Rechenzentrums begrüßt. Wenn Sie einen einzelnen Computer als Hypervisor verwenden möchten, sollten Sie hier aufhören. Wir erstellen einen Proxmox-Cluster, daher besteht unser nächster Schritt darin, zu überprüfen, ob unsere beiden anderen Knoten korrekt eingerichtet wurden, indem wir auf ihre jeweiligen Web-GUIs zugreifen und uns anmelden.
Konfigurieren eines Proxmox-Clusters
Sobald wir Zugriff auf alle drei Knoten haben, öffnen wir die Registerkarte „Cluster“ auf dem ersten Knoten. Wenn Sie auf der Registerkarte „Cluster“ auf „Cluster erstellen“ klicken, wird ein Popup-Fenster aufgerufen, in dem Sie aufgefordert werden, einen Clusternamen zuzuweisen. Nachdem Sie einen Clusternamen eingegeben haben, klicken Sie auf „Erstellen“. Wir haben jetzt einen einzelnen Knotencluster, der von unserem ersten Knoten aus läuft. Der nächste Schritt besteht darin, unserem Cluster einen zweiten Knoten hinzuzufügen.
Proxmox vereinfachte das Hinzufügen weiterer Knoten zu einem Cluster durch die Erstellung eines Join-Schlüssels zum Kopieren/Einfügen. Um die Beitrittsinformationen für den Cluster abzurufen, klicken Sie oben auf der Registerkarte „Cluster-Informationen“ auf die Schaltfläche „Beitrittsinformationen“. Ein Popup mit der IP-Adresse des aktuellen Knotens, dem Fingerabdruck und den Beitrittsinformationen wird angezeigt. Wenn Sie auf die Schaltfläche „Informationen kopieren“ klicken, werden die Beitrittsinformationen abgerufen, die wir zum Hinzufügen eines weiteren Knotens zum Cluster benötigen.
In einem neuen Tab müssen wir auf die Weboberfläche für den zweiten Knoten zugreifen. Sobald wir die Weboberfläche für die Registerkarte „Cluster“ auf dem zweiten Knoten geöffnet haben, wird durch Klicken auf die Schaltfläche „Cluster beitreten“ oben ein Popup-Fenster angezeigt, in dem Sie nach den Beitrittsinformationen des Clusters gefragt werden. Durch das Einfügen der Beitrittsinformationen aus unserem Cluster werden alle Felder außer dem Passwort ausgefüllt. Durch Klicken auf die Schaltfläche „Beitreten“ unten rechts im Popup wird Ihr Knoten dem Cluster hinzugefügt.
Wenn Sie Ihren Knoten keine anderen Hostnamen zugewiesen haben, tritt bei der Join-Aufgabe an dieser Stelle ein Fehler auf. Um den Hostnamen über die Shell zu ändern, bearbeiten Sie die Dateien /etc/hosts bzw. /etc/hostnames. Sie können den Hostnamen auch über die Weboberfläche ändern, indem Sie zu Ihrem Knoten navigieren und dann den Hostnamen auf den Registerkarten System>Netzwerk und System>Hosts ändern.
Wenn alles richtig eingerichtet ist, sollte die Webschnittstelle eine Zeitüberschreitung aufweisen und nach der Aktualisierung sollten links unter der Dropdown-Liste „Datencenter“ zwei Knoten aufgelistet sein. Um den dritten Knoten hinzuzufügen, führen Sie die gleichen Schritte aus. Wenn alle Knoten korrekt hinzugefügt wurden, ermöglicht Proxmox den Zugriff auf den Cluster über alle Webschnittstellen der drei Knoten. Proxmox-Cluster können über 2 physische Knoten erreichen, für dieses Projekt beschränken wir uns jedoch auf drei.
Konfigurieren von VMs für Proxmox
Um eine VM zu einem der Knoten hinzuzufügen, müssen wir zunächst die ISO des gewünschten Betriebssystems hochladen. Dazu wählen wir den gewünschten Knoten und dann ein Speichervolume des Knotens aus. Wenn es in Ihrem Knoten nur ein Speichergerät gibt, wählen Sie „local (yourhostname)“ aus. Wählen Sie dann die Registerkarte „ISO-Images“ und klicken Sie oben auf die Schaltfläche „Hochladen“. Wählen Sie die gewünschte ISO-Datei aus und laden Sie sie hoch.
Nachdem der Upload abgeschlossen ist, wird durch Klicken auf „VM erstellen“ die Einrichtung der virtuellen Maschine gestartet. Auf der Registerkarte „Allgemein“ müssen eine ID-Nummer für die VM und ein Name zugewiesen werden. Wenn Sie auf „Weiter“ klicken, gelangen Sie zur Registerkarte „Betriebssystem“, wo Sie den Pfad zur ISO angeben müssen.
Für unsere Demo wird sich an der Registerkarte „System“ nichts ändern. Auf der Registerkarte „Festplatte“ können das Speichergerät und die Festplattengröße eingestellt werden. Auf der Registerkarte „CPU“ können wir festlegen, wie viele Kerne der VM zugewiesen werden. Auf der Registerkarte „Speicher“ können wir die der VM zugewiesene RAM-Menge ändern. Die Netzwerkeinstellung bleibt die Standardeinstellung. Die Registerkarte „Bestätigen“ fasst die Ressourcenzuweisung für die VM zusammen und fordert den Benutzer auf, die Erstellung der VM zu bestätigen.
Sobald der VM-Erstellungsassistent abgeschlossen ist, wird die VM links unter dem Namen des Knotens aufgelistet. Proxmox nutzt NoVNC, um die Steuerung der VM über den Browser im Konsolen-Tab zu ermöglichen. Die VM kann über die Schaltflächen „Start“ und „Herunterfahren“ oben auf der VM-Seite gestartet und gestoppt werden. Um eine VM zu entfernen, stellen Sie sicher, dass sie deaktiviert ist. Klicken Sie oben auf das Dropdown-Menü „Mehr“ und wählen Sie „Entfernen“ aus.
Winzige Cluster-Proxmox-Leistung
Um unseren Test-/Entwicklungs-3-Knoten-Cluster auf die Probe zu stellen und ein paar Brände zu entfachen, haben wir das getan, was für uns am besten ist: Wir haben 6 VMs bereitgestellt und den Cluster für alle Festplatten-I/Os ausgelastet, die es wert war. Dabei handelte es sich weniger um einen vollständigen Benchmark als vielmehr darum, zu zeigen, wie leistungsfähig eine kostengünstige Bereitstellung sein kann, wenn VMs auf kostengünstigem NVMe-Speicher liegen.
Unsere VMs bestanden aus jeweils 3 CPUs, jeweils 3 GB RAM und einer 50 GB großen Rohfestplatte, die zusätzlich zum Betriebssystemlaufwerk zugewiesen wurde, um mit VDbench zu arbeiten. Dann erreichten wir es mit 64 K sequentiellen Lese- und Schreib-Workloads sowie 4 K-Zufalls-Lese- und Schreibtests. Überraschenderweise ist diese 3-Knoten-Plattform durchaus leistungsfähig.
Auf den drei Knoten (die während unserer Workload-Bereitstellung sehr heiß wurden) erzielten wir eine beeindruckende Bandbreite und I/O-Leistung. Insgesamt erreichten wir über die sechs VMs eine Schreibgeschwindigkeit von 1.9 GB/s und eine Lesegeschwindigkeit von 4.2 GB/s . Die I/O-Leistung lag bei 283.000 IOPS (Lesen) und 203.000 IOPS (Schreiben).
Fazit
Wir waren bereits von der Lenovo Nano-Familie begeistert und dieses kleine Laborprojekt hat lediglich bestätigt, dass diese Hardware zwar nicht dafür konzipiert, aber ideal für einen winzigen Proxmox-Cluster ist. Angesichts der Leistung, die wir mit dieser relativ bescheidenen Konfiguration erzielen konnten, könnten Homelabber eine weitaus schlechtere Hardware-Auswahl treffen. Vor allem, wenn man bedenkt, dass wir für die Nanos bei unter 2000 US-Dollar stecken. Und sollten Sie weniger Leistung benötigen, bietet Lenovo regelmäßig Konfigurationen der unteren Preisklasse für 300 US-Dollar an. Sie bieten auch eine Reihe von AMD-basierten Nanos und die robustere IoT-Version an, die über einen zweiten Ethernet-Port verfügt.
Wir beabsichtigen, Proxmox auf den Nanos etwas weiter zu erkunden, die gemeinsame Nutzung von Ceph-Speicher steht auf der Liste, ebenso wie ein paar andere Dinge. Möchten Sie, dass wir etwas tun? Kontaktieren Sie uns in den sozialen Netzwerken oder schreiben Sie uns eine Nachricht, wir würden uns freuen, Ihre Wünsche zu berücksichtigen!
Amazon