当人们想到 Kubernetes (K8s) 时，经常想到的术语与大规模环境有关，例如“云规模”、“无限可扩展性”，甚至“巨大”。 然而，现实是 IT 世界的很大一部分需要从更小的 K8s 环境开始开发和生产。 为了提供云级别的便利性、灵活性和可扩展性，并实现本地和混合云基础架构的成本优势，Supermicro 推出了一个交钥匙解决方案，该解决方案使用其行业领先的硬件与顶级技术相结合在线软件集成。 在本文中，我们将了解这个 Supermicro 机架即插即用解决方案的组成部分、它的工作原理，以及运行内部 K8s 平台与基于云的平台的经济性。
当人们想到 Kubernetes (K8s) 时，经常想到的术语与大规模环境有关，例如“云规模”、“无限可扩展性”，甚至“巨大”。 然而，现实是 IT 世界的很大一部分需要从更小的 K8s 环境开始开发和生产。 为了提供云级别的便利性、灵活性和可扩展性，并实现本地和混合云基础架构的成本优势，Supermicro 推出了一个交钥匙解决方案，该解决方案使用其行业领先的硬件与顶级技术相结合在线软件集成。 在本文中，我们将了解这个 Supermicro 机架即插即用解决方案的组成部分、它的工作原理，以及运行内部 K8s 平台与基于云的平台的经济性。
Supermicro 机架即插即用云基础设施
构成任何 K8s 安装的四个组件是计算、存储、网络和软件。 为了覆盖尽可能多的客户，Supermicro 基于该程序设计了不同的系统和机架级配置。 该解决方案的硬件利用了英特尔经过验证的第三代至强 CPU 和傲腾持久内存 (PMem)，我们将在稍后进行介绍。 他们解决方案的架构由遵循行业标准分类的不同计算节点分类组成：
- 堡垒节点和 SCC 虚拟机 启用部署，在一个节点上配置了一个堡垒节点来运行 OpenShift 安装。 堡垒节点运行 Red Hat Enterprise Linux 来托管脚本、文件和工具来配置紧凑型集群。 该节点还支持虚拟机托管 SuperCloud Composer 以管理和监控 OpenShift 集群。
- 主节点 为API server、controller manager server等提供高可用和弹性的平台。为了管理K8s集群并调度其运行，需要多个master节点来保证K8s集群不出现单点故障。
- 基础设施（Infra）节点 隔离基础架构工作负载以允许分离和抽象以用于维护和管理目的。
- 应用节点 运行容器化应用程序。
- OpenShift 数据基础 (ODF) 节点 （以前称为 OpenShift 容器存储 [OCS]）托管软件定义的存储 (SDS)，当容器在不同环境中上下旋转时，它为数据提供了一个持久的存储空间。 ODF 还支持文件、块或对象存储。
Supermicro 基于他们的 X3 BigTwin 构建了一个紧凑的 12 节点集群，并包含 X12 Ultra 系统以为 JumpStart 程序提供额外的存储容量，我们将在本文中介绍。 对于入门级集群，不需要 Ceph 存储。
X12 BigTwin 是一个 2U 4 节点系统，配备双 Intel Xeon Platinum 6338N 处理器。 它包含 72 个 Intel 计算内核、4TB Intel Optane PMem、512GB DDR4 内存和每个节点 184TB NVMe 支持的存储。 对于连接性，它具有用于 NVMe-oF 的 100Gb 接口，支持跨 3 个节点的持久存储和 25Gb 以与对象存储集群接口。 X12 Ultra 服务器中的三个是存储节点，每个节点可以具有高达 1.1 PB 的对象存储和多达 80 个计算核心。 特别适合此解决方案的垂直行业之一是用于视频流、内容交付和分析目的的媒体和娱乐。
如上所述，BigTwin 系统使用 Intel Optane PMem Series 200 和传统的 DDR4 内存。 通过这样做，Supermicro 可以尽可能经济地增加内存容量，因为 Optane PMem 的价格约为 DDR4（每 GB）的一半。
需要注意的是，X12 BigTwin 采用共享电源和冷却设计，以降低 OPEX。 Supermicro 与我们分享了一个关于他们在金融领域的客户的具体用例。 与他们的 X20 12U 系统相比，他们能够看到 X12 BigTwin 系统节省了 1% 以上的功率，因为 BigTwin 系统仅消耗 675W 的功率，而 X980 12U 系统在运行相同的工作负载时消耗 1W 的功率。
大型系统并不适合所有人，而 Supermicro 的紧凑型集群非常适合寻求入门级、随时可以部署的 DevOps 环境的组织。 Supermicro 为 IT 和开发人员的紧凑型集群提供名为 Rack Plug and Play JumpStart 的免费远程访问程序，以测试他们的工作流程并评估可用性和性能。 X12 BigTwin 可以定制为使用 SYS-620BT-DNC8R 横向扩展对象存储，SYS-2BT-DNC2R 是一个 3.5U 100 节点 SKU，支持 XNUMX 英寸 SAS/SATA 驱动器。 使用此配置，可能不需要 XNUMXGb 接口来优化每美元的性能。 紧凑型集群也可作为预装 Red Hat OpenShift 的整体机架解决方案提供，我们将在本文中详细介绍。
如果需求变小或变大，Supermicro 拥有适用于边缘、区域和核心数据中心解决方案的参考架构，可以轻松扩展到所需的容量。
Supermicro 设计了其他四种机架即插即用配置——Edge、Performance、High Density 和 Extreme（按英特尔计算核心数量从少到多的顺序）。
Supermicro 机架即插即用云实践
为了更好地了解每种配置附带的硬件，我们查看了 Edge 的 BOM（SKU：SRS-OPNSHFT-3N)，由三个主节点、三个应用节点和三个ODF共址节点组成。 为了最小化节点数量，省略了基础设施节点，并将它们的职责分配给其他节点。
该解决方案具有 72 个英特尔计算核心、768GB RAM 和 138TB 存储（其中 46TB 为 NVMe 存储）。 对于冗余互连，它具有双 10Gb 网络（总共四个），用于通过双 SX350X-12 交换机进行管理和数据交换。 所有这些仅占用 6U 的机架空间，并且可以由两个标准的 120v 电路供电，这在办公室或家里很常见。
Supermicro 将其边缘配置的用例设想为在边缘运行 AI/ML，并面向零售、医疗保健、制造和能源领域的目标市场。 我们还相信，这将为小型开发团队和分布式内容交付网络提供一个很好的低成本解决方案。
性能 SKU (SRS-OPNSHFT-10) 的 BOM 由三个主节点、三个位于同一位置的 Infra 节点、三个应用程序节点和三个 ODF 节点组成。 该解决方案具有 288 个英特尔计算核心、3TB RAM 和 138TB NVMe 存储。 对于冗余互连，它具有用于管理的 1Gb 网络（总共四个）和用于通过双 SX25X-350 交换机交换的四路 12Gb 数据网络，管理流量通过 SSE-G3648BR 交换机传递。 所有这些占用了 42U 的机架空间。
高密度 SKU (SRS-OPNSHFT-20) 具有 336 个英特尔计算内核、3TB RAM 和 18 个节点。 这种高密度 SuperRack 解决方案是紧凑型集群的横向扩展版本，但使用两个 SYS-220BT-HNTR（2U 4 节点系统）作为控制器和基础设施节点，以及 SYS-620BT-DNC8R（2U 2 节点系统）作为应用程序节点。
更进一步，Extreme SKU (SRS-OPNSHFT-30) 拥有 640 个英特尔计算内核、8TB RAM 和 22 个节点。 这里有 所有四个 Supermicro SKU 的完整规格.
Supermicro 机架即插即用软件
为所有 SKU 预装的软件是 Red Hat 的超级流行软件 开班，一个企业级 K8s 平台，具有全栈自动化来管理 K8 部署。 Red Hat 是 K8s 社区的大力支持者和玩家，OpenShift 也深受社区好评。 OpenShift 不仅支持系统级管理，还支持开发团队的自助服务配置。 OpenShift 的好处之一是，如果您确实决定需要使用公共云资源，则可以使用相同的界面工作流。 这是巨大的，因为它减少了学习曲线，并且可以防止由于工作流程的变化而导致的错误。
简要概述一下，OpenShift 是一个非常成熟的产品，因为它最初是在十多年前开发的，在那段时间一直是 Red Hat 的平台即服务 (PaaS)，并且是完全开源的。 它的软件组件基于使用最好和最受欢迎的组件的精心策划的堆栈。 对于编排和调度，它使用 K8s 和 Docker 作为容器运行时，当然还有 Red Hat 作为操作系统。
软件堆栈中的一个关键组件是 OpenShift 容器平台 (OCP) 和 Red Hat Enterprise Linux CoreOS (RHCOS)，它们都随 CoreOS（红帽于 2018 年收购的一家公司）一起提供。
RHCOS 是 Red Hat Enterprise Linux 的精简版，专为容器使用而设计。 OCP 是为 Linux 容器构建的平台即服务 (PaaS)，由 K8s 编排和管理。 两者都经过了 Red Hat 的全面测试，并在该领域得到广泛应用。 这些是降低此解决方案裸机成本的关键要素。
为了加速开发和部署，OpenShift 包含了 Operator 框架。 K8s 用语 Operator 是封装了在 K8s 上部署和管理应用程序所需的人类知识的软件。 Operator Framework 是一组工具和 K8s 组件，可帮助在多租户集群上进行 Operator 开发和集中管理。 OpenShift 拥有适用于 Redis 和 Cassandra 等流行应用程序的 Operator。 通过使用操作员，无论部署应用程序的人员的技能水平如何，都可以在部署应用程序时节省大量时间和挫败感。
超级云作曲家
Supermicro 隐藏的宝石之一是 超级云作曲家 (SCC)，一个单一的管理平台，允许您监控和管理服务器并在计算机上部署操作系统。 它有一个 API，允许其他人使用其与 Redfish 兼容的集成，它使用的范围从电源管理到资产管理。 这是通过提供硬件级支持来完善解决方案堆栈的秘诀的一部分。
Supermicro 紧凑型集群的先决条件类似于 Red Hat 的标准 OpenShift 安装。 这些先决条件包括但不限于以下内容：
- 确保网络连接到位
- 为 API 和 Ingress 设置或安装负载均衡器
- 集群的 DNS 条目
- 您可能需要的任何 CLI 工具
- DHCP 地址保留或使用静态 IP
如果满足所有先决条件，则可以直接配置紧凑型集群。 未来，Supermicro 计划发布 Ansible Playbook 以帮助协调设置过程，包括用于 NVMe M.1 启动驱动器的 HW RAID 2 配置和 OpenShift 集群安装。 从本质上讲，这将有助于实现零接触配置，我们通常只能从具有 OEM 设备的 ISV 那里看到这一点。
节点 D 物理上位于 2U 外壳内，但已隔离到一个单独的 BMC 网络中，供积极支持 JumpStart 计划的 Supermicro 管理员使用。 该节点有一个 1Gb NIC，用于 SCC VM 的“供应桥”。 基于网络拓扑，JumpStart 程序允许远程用户安全地访问 SCC VM 和 OpenShift 集群，以探索集群的功能，包括在 Pod 上运行的视频点播演示。 演示工作流程如下图所示。
Supermicro 机架即插即用云 快速启动计划
投资新的解决方案总是伴随着工作负载和工作流程兼容性方面的不确定性。 为了减轻这些担忧，Supermicro 建立了一个强大的 快速入门 程序 这让潜在客户有机会在购买之前试用该解决方案。
成本
公有云的蓬勃发展源于普遍的误解，即认为比内部部署更便宜； 然而，在许多情况下，在比较其稳定的定价方案与与云解决方案相关的持续成本时，拥有硬件更具吸引力。 是的，云提供商确实具有规模优势，他们可以在数千个节点上分摊运营人员的成本。 但是，Supermicro 通过使用 OpenShift 减轻了这种情况，Red Hat 承担了测试和维护解决方案的重任。 这意味着 Supermicro 客户不必为他们的系统验证更新和补丁，这是一个耗时且成本高昂的过程。
定价稳定性也是对 Supermicro 有利的一个因素。 公共云消费者因过度消耗资源而超出预算的恐怖故事肯定不止一个。 现实情况是，对于像 K8s 这样的高度自动化的解决方案，一个简单的错误配置就会产生大量消耗公共云资源的应用程序。 相比之下，使用本地解决方案，这是不可能的。
该解决方案不仅与公共云相比具有成本竞争力，而且 Supermicro 还提供了其他降低成本的建议，例如运行 Red Hat Open Data Foundation (ODF) 的裸机订阅，而不是在管理程序上运行它，因为它通常更便宜并避免管理程序税。
我们询问了 Supermicro 客户如何购买 OpenShift（他们解决方案中的软件组件），他们说可以包含在他们的单一发票中，或者客户可以直接从 Red Hat 购买。
Supermicro 非常友好地为我们计算了一些关于在裸机上部署 OpenShift 或使用管理程序时的成本差异的数字。 我们惊讶地发现，与虚拟机管理程序相比，在裸机上运行它可以节省多少钱。 由于K8s应用程序需要存储，他们还包括一个估计只有4个核心的应用程序需要一个文件系统，对象存储的块存储。
数字表明，在裸机上运行 OpenShift 比在管理程序上运行 OpenShift 的成本效益高出 3 到 9 倍，具体取决于每个集群需要多少计算和存储资源。 分析了两种情景来估算成本节约。 在频谱的低端，考虑了 16 个 OCP 订阅（32 个核心）和 2 个 ODF（4 核）。在频谱的高端，每个节点的所有 64 个核心都被考虑用于计算和存储。 默认情况下，每个节点可能支持 250 个 Pod。 Supermicro 建议仔细规划 OpenShift 部署。 这是一个很好的起点 OpenShift 4.8 规划文档.
数据治理
数据局部性是一个棘手的主题。 许多公司和政府对数据必须驻留的位置有非常严格的规定。 借助本地解决方案，您和任何审计员都可以放心，甚至可以放心地接触到数据所在的地方。 以物理方式访问公共云中的存储是根本不可能的——句号，故事的结尾。
结语
Supermicro 确定了一个市场，并创造了一个可靠的、负担得起的解决方案来填补它，就像它过去经常做的那样。 在这种情况下，市场需要一个本地 K8s 集群，该集群使用英特尔经过验证的第三代至强处理器来提高可靠性，并与英特尔傲腾 PMem 相关联，以在不影响性能的情况下控制成本，并使用 Red Hat 经验证的 K8s 软件。 这些预定义的解决方案允许客户快速部署 K8S 集群，因为这些解决方案来自 Supermicro，经过预架构、验证和测试。
他们的解决方案可以在几天内部署，而不是部署自己的解决方案通常需要几周时间，而且由于 Supermicro 的解决方案已经过广泛的兼容性测试，您不会遇到任何时间或成本高的陷阱在部署新技术期间发生。 说到成本，Supermicro 解决方案的定价模型可以防止使用公共云时可能出现的价格冲击。
无论您有什么需求，Supermicro 都能开发出满足您需求的解决方案； 从专为边缘 AI/ML 工作或小型开发团队设计的 Edge SKU，到专为区域和核心数据中心设计的可用于替代公共云部署的生产工作负载的 Extreme SKU。
要获取有关 Supermicro 的 K8s 解决方案的更多信息，您可以访问他们的门户网站 点击这里.
查询 快速启动计划 亲身体验此解决方案。
参与 StorageReview
电子报 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | Facebook | RSS订阅
