本次实验室项目旨在打造一个体积小巧但性能强大的三节点 Proxmox VE 6.3 集群。联想 Nano 系列 PC 给我们留下了深刻的印象，因此我们又添置了三台用于本次实验。使用联想 ThinkCentre m90n，我们可以展示在鞋盒一半大小的空间内，能够实现多么强大的计算能力和存储性能。虽然构建小型集群需要做出一些妥协，但我们认为该方案在性能和价格之间取得了极佳的平衡，这使得这款 Proxmox 解决方案非常适合用作学习/开发集群，甚至可以作为轻量级边缘/零售计算的有力竞争者。
为什么选择 Proxmox VE？
在设置管理程序集群时，VMware ESXi 和 vSphere 通常是首选，但是，当消费类硬件开始发挥作用时，问题就开始出现了。 ESXi 需要支持的以太网适配器才能完成安装，ESXi 不支持 M219n 中内置的 I90-LM 以太网卡，但可以使用带有 USB NIC 额外驱动程序的自定义 ESXi 映像。 不幸的是，不受官方支持的 NIC 驱动程序充其量是不可靠的，因此我们寻求替代方案。
Proxmox VE 是希望在消费级设备上运行虚拟机管理程序的家庭实验室用户的理想选择。它也是解决 ESXi 不支持以太网驱动程序问题的方案。与 ESXi 不同，Proxmox 支持 I219-LM 以太网卡，这使得我们轻松搭建了 3 节点 M90n ThinkCentre 集群。Proxmox VE最近也更新到了 6.3 版本。我们一直没怎么体验这个更新后的平台；这次搭建的小型集群正好给了我们一个绝佳的机会。
微型 Proxmox 集群硬件
我们的三台联想ThinkCentre M90n服务器均配备第八代英特尔酷睿i5-8265U处理器、8GB DDR4内存和两块NVMe固态硬盘。集群搭建完成后，将拥有24个核心、24GB内存和约3.5TB的NVMe存储空间。这些小型系统配备两个固态硬盘位，其灵活性使其非常适合此类实验室工作。虽然我们这里使用的是标准版M90n，但联想也提供一款物联网版本，该版本采用无风扇设计，并配备第二个网卡，但板载DRAM容量较小。
热活动
虽然我们先略过前面的部分，但需要注意的是，当您将联想 M90n 集群这类小型硬件推向极限性能时，必须确保气流和散热问题得到充分考虑。这意味着要将其放置在平整的表面上，确保进气口和出气口畅通无阻，并且最好不要堆叠放置。我们使用Seek ShotPRO相机拍摄了 Nanos 在负载下的状态。
当我们开始突破 M90n 集群的极限时，我们注意到当您开始堆叠这些时，外壳上的热点大致与进气口对齐。 如果你想堆叠它们，垫片或其他类型的绝缘块可能会解决这个问题。 同样，这更多是在我们以高存储和 CPU 负载运行它们之后，我们注意到事情变热了。
总体而言，M90n 平台被证明最适合低成本、低功耗和小尺寸的家庭实验室平台。 两个 NVMe M.2 插槽确实赢得了我们的青睐，因为它让我们能够将每个 Nano 装满闪存并避免使用硬盘驱动器。
如何安装 Proxmox
安装 Proxmox 非常简单，从 Proxmox 官网下载最新的 Proxmox ISO 镜像文件并将其写入 U 盘。从刚刚创建的 Proxmox 安装盘启动 Lenovo Nano 笔记本电脑即可开始 Proxmox 的安装，只需按照提示操作即可。如果要在多台计算机上安装 Proxmox 以组成集群，请务必为每台计算机设置不同的主机名，这样以后就无需再进行更改。安装完成后，您的屏幕应该如下所示：
在您的浏览器中，在同一网络中的另一台计算机上，连接到给定的地址。 如果无法访问 web-GUI，可以通过编辑 /etc/network/interfaces 和 /etc/hosts 文件手动更改 IPv4 地址。 如果您已成功访问 Proxmox web-GUI，系统将提示您输入在安装过程中创建的用户名和密码。
成功登录后会看到数据中心的摘要页面，如果您的目标是使用一台计算机作为虚拟机管理程序，那么您将在这里停下来。 我们正在创建一个 Proxmox 集群，所以我们的下一步是通过访问它们各自的 web-GUI 并登录来验证我们的其他 2 个节点是否已正确设置。
配置 Proxmox 集群
一旦我们可以访问所有三个节点，我们将在第一个节点上打开集群选项卡。 在集群选项卡中，单击创建集群将调用一个弹出窗口，要求分配一个集群名称。 输入集群名称后单击创建。 我们现在有一个单节点集群在我们的第一个节点上运行。 下一步是向我们的集群添加第二个节点。
Proxmox 通过创建复制/粘贴连接键简化了向集群添加更多节点的过程。 要检索集群的加入信息，请单击“集群信息”选项卡顶部的“加入信息”按钮。 弹出包含当前节点的 IP 地址、指纹和加入信息的弹出窗口，单击“复制信息”按钮将获取我们需要添加另一个节点到集群的加入信息。
在新选项卡中，我们需要访问第二个节点的 Web 界面。 一旦我们将 Web 界面打开到第二个节点上的集群选项卡，单击顶部的“加入集群”按钮将创建一个弹出窗口，询问集群的加入信息。 从我们的集群粘贴加入信息将填写除密码以外的所有字段。 单击弹出窗口右下角的加入按钮会将您的节点添加到集群中。
如果您没有为节点分配不同的主机名，此时加入任务将出错。 要通过 shell 更改主机名，请分别编辑 /etc/hosts 和 /etc/hostnames 文件。 也可以通过 Web 界面更改主机名，方法是导航到您的节点，然后在“系统”>“网络”和“系统”>“主机”选项卡中更改主机名。
如果一切设置正确，Web 界面应该会超时，刷新后应该会在数据中心下拉列表的左侧列出 2 个节点。 要添加第三个节点，请执行相同的步骤。 如果所有节点都正确添加，Proxmox 将允许从 3 个节点的 Web 界面中的任何一个访问集群。 Proxmox 集群可以达到 100 多个物理节点，但我们在这个项目中停在三个。
为 Proxmox 配置虚拟机
要将 VM 添加到任何一个节点，我们首先需要上传我们想要的操作系统的 iso，这是通过选择我们想要的节点然后选择节点的存储卷来完成的。 如果您的节点中只有一个存储设备，请选择“本地（您的主机名）”。 然后选择“ISO 映像”选项卡并单击顶部的“上传”按钮。 选择你想要的iso文件并上传。
上传完成后点击“Create VM”将开始虚拟机设置。 在“常规”选项卡中，需要为 VM 分配一个 ID 号和一个名称。 单击下一步将带您进入操作系统选项卡，您需要在其中提供 ISO 的路径。
对于我们的演示，系统选项卡中的任何内容都不会更改。 在硬盘选项卡中，可以设置存储设备和磁盘大小。 在 CPU 选项卡中，我们可以设置分配给 VM 的内核数。 内存选项卡允许我们更改专用于 VM 的 RAM 量。 网络设置将保留为默认值。 Confirm 选项卡总结了 VM 的资源分配，并要求用户确认 VM 的创建。
VM 创建向导完成后，VM 将列在左侧节点名称下方。 Proxmox 使用 NoVNC 允许通过控制台选项卡中的浏览器控制 VM。 可以使用 VM 页面顶部的“Start”和“Shutdown”按钮启动和停止 VM。 要删除 VM，请确保它已关闭，单击顶部的更多下拉菜单并选择删除。
微型集群 Proxmox 性能
为了启动我们的测试/开发 3 节点集群，我们做了最适合我们的事情……我们部署了 6 个虚拟机，并为集群提供了所有值得的磁盘 I/O。 这不是一个完整的基准测试，而是更多地展示了在低成本 NVMe 存储上安装 VM 的低成本部署的能力。
我们的虚拟机包括每个 3 个 CPU、每个 3GB 的 RAM，以及一个 50GB 的原始磁盘，除了操作系统驱动器外，还分配给 VDbench。 然后，我们用 64K 顺序读写工作负载以及 4K 随机读写测试对其进行了测试。 令人惊讶的是，这个 3 节点平台非常有能力。
在三个节点上（这些节点在工作负载部署期间温度很高），我们观察到了令人印象深刻的带宽和 I/O 性能。总体而言，我们在 6 台虚拟机上实现了1.9GB/s 的写入速度和 4.2GB/s 的读取速度。从 I/O 的角度来看，我们观察到了283k IOPS 的读取速度和 203k IOPS 的写入速度。
总结
我们已经爱上了 Lenovo Nano 系列，这个小实验室项目除了重申这个硬件虽然不是为它设计的，但它是一个小型 Proxmox 集群的理想选择。 考虑到我们能够从这种相对适中的配置中获得的性能，homelabbers 可能会做出更糟糕的硬件选择。 特别是考虑到我们的 Nanos 售价不到 2000 美元。 如果您需要较低的性能，联想通常会以 300 美元的价格出售低端配置。 他们还提供一系列基于 AMD 的 Nano 和更坚固的 IoT 版本，它带有第二个以太网端口。
我们打算进一步探索 Nano 上的 Proxmox，共享 Ceph 存储在列表中，以及其他一些事情。 有什么你想让我们做的吗？ 在社交媒体上联系我们或留言，我们很乐意考虑您的要求！
Amazon