W ramach tego eksperymentu laboratoryjnego chcieliśmy stworzyć niewielki, ale wydajny, 3-węzłowy klaster Proxmox VE 6.3. Byliśmy pod wrażeniem linii komputerów Lenovo Nano, więc pozyskaliśmy trzy kolejne na potrzeby tego eksperymentu. Korzystając z komputerów Lenovo ThinkCentre m90n , możemy zademonstrować moc obliczeniową i wydajność pamięci masowej, które można zmieścić na powierzchni o połowę mniejszej niż pudełko na buty. Chociaż tworzenie małych klastrów wiąże się z pewnymi kompromisami, uważamy, że to rozwiązanie stanowi doskonałe połączenie wydajności i ceny, co czyni je idealnym klastrem Proxmox do zastosowań edukacyjnych/rozwojowych, a nawet poważnym kandydatem do lekkich obliczeń brzegowych/detalicznych.
Dlaczego Proxmox VE?
Podczas konfiguracji klastra hiperwizora VMware ESXi i vSphere są zazwyczaj pierwszym wyborem. Jednak w przypadku sprzętu konsumenckiego zaczynają pojawiać się komplikacje. ESXi wymaga obecności obsługiwanej karty Ethernet do ukończenia instalacji. Karta Ethernet I219-LM wbudowana w M90n nie jest obsługiwana przez ESXi, ale można ją skonfigurować do pracy z niestandardowym obrazem ESXi z dodatkowymi sterownikami dla kart sieciowych USB. Niestety, oficjalnie nieobsługiwane sterowniki kart sieciowych są w najlepszym razie zawodne, dlatego poszukaliśmy alternatywy.
Proxmox VE to idealny wybór dla domowych laboratorów, którzy chcą uruchamiać hypervisory na sprzęcie konsumenckim. Jest to również rozwiązanie problemu nieobsługiwanych sterowników Ethernet w ESXi. W przeciwieństwie do ESXi, Proxmox obsługuje kartę Ethernet I219-LM, co ułatwia konfigurację naszego 3-węzłowego klastra M90n ThinkCentre. Proxmox VE został niedawno zaktualizowany do wersji 6.3 . Trochę zwlekaliśmy z testowaniem zaktualizowanej platformy; ten niewielki klaster był idealnym pretekstem.
Sprzęt klastra Tiny Proxmox
Nasze trzy komputery Lenovo ThinkCentre M90n są wyposażone w procesory Intel i5-8265U ósmej generacji, 8 GB pamięci RAM DDR4 i po 2 dyski NVMe każdy. Po ukończeniu klastra będzie on miał dostęp do 24 rdzeni, 24 GB pamięci RAM i około 3.5 TB pamięci masowej NVMe. Elastyczność tych małych systemów, oferujących dwie zatoki SSD, czyni je niezwykle interesującymi do tego typu prac laboratoryjnych. Chociaż tutaj używamy standardowego modelu M90n, Lenovo oferuje wersję IoT , która jest bezwentylatorowa i oferuje drugą kartę sieciową, ale mniejszą ilość wbudowanej pamięci DRAM.
Aktywność termiczna
Pomijając nieco szczegóły, warto zauważyć, że gdy zaczynasz wykorzystywać mały sprzęt, taki jak klaster Lenovo M90n, do granic możliwości, musisz zadbać o przepływ powietrza i temperaturę. Oznacza to, że należy go ustawić na płaskiej powierzchni, upewnić się, że wloty i wyloty powietrza są drożne, a być może rozważyć nieukładanie ich jeden na drugim. Za pomocą naszej kamery Seek ShotPRO przyjrzeliśmy się komputerom Nano pod obciążeniem.
Gdy zaczęliśmy testować granice możliwości naszego klastra M90n, zauważyliśmy, że punkty zapalne na obudowie pokrywają się mniej więcej z portem wlotowym, gdy zaczynamy je układać w stosy. Przekładka lub inny rodzaj bloku izolacyjnego, jeśli chcemy je układać w stosy, prawdopodobnie rozwiązałby ten problem. Ponownie, problem ten występował częściej po uruchomieniu ich przy dużym obciążeniu pamięci masowej i procesora, gdzie zauważyliśmy nagrzewanie się podzespołów.
Ogólnie rzecz biorąc, platforma M90n okazała się optymalnie dopasowana do niedrogiego, energooszczędnego i kompaktowego laboratorium domowego. Dwa gniazda NVMe M.2 naprawdę nas przekonały, ponieważ pozwoliły nam napełnić każdy Nano pamięcią flash i uniknąć użycia dysków twardych.
Jak zainstalować Proxmox
Instalacja Proxmox jest dość prosta. Wystarczy pobrać najnowszy plik ISO Proxmox ze strony internetowej Proxmox i zapisać go na nośniku USB. Uruchomienie Lenovo Nano z utworzonego właśnie nośnika instalacyjnego Proxmox rozpocznie instalację Proxmox – wystarczy postępować zgodnie z instrukcjami. Instalując system na wielu komputerach w klastrze, pamiętaj o nadaniu im różnych nazw hostów, aby nie trzeba było ich później zmieniać. Po zakończeniu instalacji ekran powinien wyglądać mniej więcej tak:
W przeglądarce, na innym komputerze w tej samej sieci, połącz się z podanym adresem. Jeśli nie możesz nawiązać połączenia z web-GUI, adres IPv4 można zmienić ręcznie, edytując pliki /etc/network/interfaces i /etc/hosts. Jeśli udało Ci się nawiązać połączenie z web-GUI Proxmox, zostaniesz poproszony o podanie nazwy użytkownika i hasła utworzonych podczas instalacji.
Po pomyślnym zalogowaniu zostanie wyświetlona strona podsumowania centrum danych. Jeśli Twoim celem jest użycie pojedynczego komputera jako hiperwizora, to właśnie tutaj powinieneś się zatrzymać. Tworzymy klaster Proxmox, więc naszym następnym krokiem będzie sprawdzenie, czy pozostałe dwa węzły zostały poprawnie skonfigurowane, poprzez uzyskanie dostępu do ich interfejsów webowych i zalogowanie się.
Konfigurowanie klastra Proxmox
Po uzyskaniu dostępu do wszystkich trzech węzłów, otworzymy zakładkę klastra na pierwszym węźle. Kliknięcie przycisku „Utwórz klaster” na karcie klastra spowoduje wyświetlenie okna z prośbą o podanie nazwy klastra. Po wpisaniu nazwy klastra kliknij przycisk „Utwórz”. Mamy teraz klaster z jednym węzłem działający na pierwszym węźle. Następnym krokiem jest dodanie drugiego węzła do klastra.
Proxmox usprawnił dodawanie kolejnych węzłów do klastra, tworząc klucz łączenia typu „kopiuj/wklej”. Aby pobrać informacje o łączu dla klastra, kliknij przycisk „Informacje o łączu” u góry zakładki „Informacje o klastrze”. Pojawi się okno dialogowe zawierające adres IP bieżącego węzła, odcisk palca oraz informacje o łączu. Kliknięcie przycisku „Kopiuj informacje” spowoduje pobranie informacji o łączu potrzebnych do dodania kolejnego węzła do klastra.
W nowej karcie będziemy musieli uzyskać dostęp do interfejsu internetowego drugiego węzła. Po otwarciu interfejsu internetowego na karcie klastra na drugim węźle, kliknięcie przycisku „Dołącz do klastra” u góry spowoduje wyświetlenie okna z prośbą o podanie informacji o dołączeniu do klastra. Wklejenie informacji o dołączeniu z naszego klastra spowoduje wypełnienie wszystkich pól z wyjątkiem hasła. Kliknięcie przycisku „Dołącz” w prawym dolnym rogu okna spowoduje dodanie węzła do klastra.
Jeśli nie przypisałeś/aś innym nazwom hostów do swoich węzłów, zadanie łączenia (join) w tym momencie napotka błąd. Aby zmienić nazwę hosta za pośrednictwem powłoki, edytuj odpowiednio pliki /etc/hosts i /etc/hostnames. Nazwę hosta można również zmienić za pośrednictwem interfejsu webowego, przechodząc do węzła, a następnie zmieniając nazwę hosta w zakładkach System>Sieć i System>Hosty.
Jeśli wszystko jest poprawnie skonfigurowane, interfejs sieciowy powinien wygasnąć po upływie limitu czasu, a po odświeżeniu powinny pojawić się 2 węzły po lewej stronie pod menu rozwijanym „Datacenter”. Aby dodać trzeci węzeł, wykonaj te same kroki. Jeśli wszystkie węzły zostaną dodane poprawnie, Proxmox umożliwi dostęp do klastra z dowolnego z 3 interfejsów sieciowych węzłów. Klastry Proxmox mogą obejmować ponad 100 węzłów fizycznych, ale w tym projekcie ograniczymy się do trzech.
Konfigurowanie maszyn wirtualnych dla Proxmox
Aby dodać maszynę wirtualną do dowolnego węzła, najpierw musimy przesłać plik ISO wybranego systemu operacyjnego. W tym celu należy wybrać węzeł, a następnie wolumin pamięci masowej węzła. Jeśli w węźle znajduje się tylko jedno urządzenie pamięci masowej, należy wybrać opcję „lokalny (nazwa_hosta)”. Następnie należy wybrać zakładkę „Obrazy ISO” i kliknąć przycisk „Prześlij” u góry ekranu. Należy wybrać żądany plik ISO i przesłać go.
Po zakończeniu przesyłania kliknięcie przycisku „Utwórz maszynę wirtualną” rozpocznie konfigurację maszyny wirtualnej. W zakładce „Ogólne” należy nadać maszynie wirtualnej numer ID oraz nazwę. Kliknięcie „Dalej” przeniesie Cię do zakładki „System operacyjny”, gdzie będziesz musiał podać ścieżkę do pliku ISO.
W naszej demonstracji nic w zakładce System nie zostanie zmienione. Na karcie Dysk twardy można ustawić urządzenie pamięci masowej i rozmiar dysku. Na karcie Procesor można ustawić liczbę rdzeni przydzielonych maszynie wirtualnej. Karta Pamięć pozwala zmienić ilość pamięci RAM dedykowanej maszynie wirtualnej. Ustawienia sieciowe pozostaną domyślne. Karta Potwierdź podsumowuje alokację zasobów dla maszyny wirtualnej i prosi użytkownika o potwierdzenie utworzenia maszyny wirtualnej.
Po zakończeniu pracy kreatora tworzenia maszyny wirtualnej, zostanie ona wyświetlona po lewej stronie pod nazwą węzła. Proxmox używa NoVNC do sterowania maszyną wirtualną za pośrednictwem przeglądarki w zakładce konsoli. Maszynę wirtualną można uruchomić i zatrzymać za pomocą przycisków „Start” i „Zamknij” u góry strony maszyny wirtualnej. Aby usunąć maszynę wirtualną, upewnij się, że jest wyłączona, kliknij menu rozwijane „Więcej” u góry i wybierz opcję „Usuń”.
Wydajność Tiny Cluster Proxmox
Aby przetestować nasz testowo-rozwojowy klaster 3-węzłowy, zrobiliśmy to, co uznaliśmy za najlepsze… wdrożyliśmy 6 maszyn wirtualnych i wycisnęliśmy z klastra wszystkie możliwe operacje wejścia/wyjścia na dyskach. Nie był to kompletny benchmark, a raczej próba pokazania, jak wydajne może być wdrożenie niskokosztowe z maszynami wirtualnymi umieszczonymi na niedrogiej pamięci masowej NVMe.
Nasze maszyny wirtualne składały się z 3 procesorów, 3 GB pamięci RAM i 50 GB dysku twardego, przydzielonego dodatkowo do dysku systemu operacyjnego, aby przetestować je w VDbench. Następnie przeprowadziliśmy sekwencyjne obciążenia odczytu i zapisu 64 KB, a także losowe testy odczytu i zapisu 4 KB. Zaskakująco, ta 3-węzłowa platforma jest całkiem wydajna.
Na trzech węzłach (które były bardzo obciążone podczas wdrażania obciążenia) zaobserwowaliśmy imponującą przepustowość i wydajność wejścia/wyjścia. Łącznie udało nam się uzyskać 1.9 GB/s zapisu i 4.2 GB/s odczytu na 6 maszynach wirtualnych. Z perspektywy wejścia/wyjścia zanotowaliśmy 283 tys. IOPS odczytu i 203 tys. IOPS zapisu.
Uwagi końcowe
Już wcześniej uwielbialiśmy rodzinę Lenovo Nano, a ten mały projekt laboratoryjny jedynie potwierdził, że ten sprzęt, choć nie został do niej zaprojektowany, idealnie nadaje się do małego klastra Proxmox. Biorąc pod uwagę wydajność, jaką udało nam się uzyskać z tej stosunkowo skromnej konfiguracji, osoby testujące sprzęt w warunkach domowych mogłyby dokonać znacznie gorszego wyboru. Zwłaszcza biorąc pod uwagę, że Nano kosztuje poniżej 2000 dolarów. A jeśli potrzebujesz niższej wydajności, Lenovo regularnie oferuje tańsze konfiguracje za 300 dolarów. Firma oferuje również linię Nano z procesorami AMD oraz bardziej wytrzymałą wersję IoT z dodatkowym portem Ethernet.
Zamierzamy bliżej przyjrzeć się Proxmoxowi w Nano, udostępnianie pamięci Ceph jest na liście, a także kilka innych rzeczy. Czy jest coś, o co chcielibyście, żebyśmy zrobili? Skontaktujcie się z nami w mediach społecznościowych lub napiszcie do nas – chętnie rozważymy Wasze prośby!
Amazon