主页 企业 Quantum Myriad – 适合现代应用的高性能、低延迟

Quantum Myriad – 适合现代应用的高性能、低延迟

by 哈罗德弗里茨
量子无数节点紧

Quantum Myriad 为企业提供始终如一的低延迟以及高带宽和 IOPS。 全闪存文件和对象存储软件还为高性能非结构化数据工作负载带来了简单性和适应性。

由于企业中的非结构化数据预计在未来五年内将增加一倍以上,组织将继续将这些数据存储在老化的系统上,并习惯于使用硬件来解决问题。 扩展和升级 NAS 系统或添加更多驱动器以提高性能会造成 NAS 集群臃肿且低效。 较大的企业在人员预算有限的情况下也增加了基础设施的复杂性。

量子无数齿条角

昆腾通过专为 NVMe 闪存设计的全新分布式软件解决了这个问题。 量子无数™ 为企业提供持续低延迟的高带宽和 IOPS。 全闪存文件和对象存储软件还为高性能非结构化数据工作负载带来了简单性和适应性。

Quantum Myriad 是一种利用现代全闪存架构的云原生软件定义解决方案。 Myriad 专为数据科学、人工智能、视觉特效和动画等专业应用而精心设计,专注于以最小的延迟保持可靠的高性能。 此外,Myriad 集群还具有现代 GUI 和集成的内联数据服务,包括重复数据删除、压缩、快照和克隆。

Quantum 成立于 1980 年,在存储行业拥有悠久的历史,从头开始开发解决方案,而不是尝试修改现有的老化系统。 Quantum 利用其丰富的存储知识来开发像 Myriad 这样的平台,而无需边学习边使用。

Myriad 利用了几年前还不可用的应用程序框架和设计进步。 这种现代的云原生架构是一种易于使用的解决方案,克服了典型以硬件为中心的设计的局限性。 客户可以适应未来的存储需求,同时减少过度劳累的 IT 员工的工作量。 对高性能工作负载的简单性和适应性达到了新的水平,不受专用硬件投资的限制。

基于容器、开放硬件构建

Quantum Myriad 完全容器化,并使用 Kubernetes 等熟悉且经过验证的云技术,提供“始终在线”的架构,即使在最大规模的情况下也能提供简单性、自动化和弹性。 它还提供新功能并以最小的风险快速修复。 通过利用微服务和 Kubernetes,Myriad 优化了部署,确保提高灵活性并简化运营。 值得注意的是其与硬件无关的性质,无需定制设备,同时允许适应性和可扩展性。 这也让 Myriad 在新技术上市时得以采用。

容器化简化了 Myriad 集群中运行的微服务的持续编排,并允许客户更快地采用新功能并进行修复,风险更低。 简而言之,无论部署在何处,Myriad 都能提供类似云的简单性。

Myriad 的一切设计都考虑到简单性。 软件可实现大部分存储和网络管理的自动化,使大型集群的管理变得更加简单,无需 IT 人员参与。 该软件会自动检测、部署和配置集群中的新存储节点,以便您可以无中断地扩展、修改甚至缩小集群。 NVMe 存储节点通过内部软件管理的 100GbE RDMA 结构进行通信,消除了传统横向扩展 NAS 系统通常存在的网络复杂性。

Myriad 提供全方位的创新。 自动化存储管理意味着无需用户干预或需要高级 IT 技能即可扩展或修改集群。 自修复、自平衡软件会在后台自动重建数据,同时随着存储集群的扩展、收缩和更改重新平衡数据。 与传统存储系统相比,闪存存储成本通过内联重复数据删除和压缩而降低,并且数据效率得到提高。 通过内置快照、克隆、快照恢复工具和回滚功能的数据保护和恢复变得更加简单。

极具弹性的简单架构

Quantum 基于云原生原则设计了 Myriad。 利用 Kubernetes 编排的容器化微服务架构提供了可扩展性、灵活性和简单性。 Myriad 软件组件协同工作以提供内部功能和面向客户的服务,例如存储和检索文件和对象。

如果将组件和功能视为与系统中的数据流并行的层,则更容易可视化组件和功能,每个层都旨在最小化延迟并最大化并行性。

每个 Myriad 系统的核心都是事务性键值存储。 这是所有数据和元数据的中央存储库。 它分布在 Myriad 集群中的所有存储节点上,并随着新节点的引入而无缝扩展。 该存储的写入时重定向性质自然有利于快照和回滚,并且由于无锁,它有效地避免了共享存储系统中遇到的常见争用源。

键值存储主要使用独特的动态擦除编码 (EC) 方案将数据存储到 NVMe SSD 上。 该方案实时适应各种事件,确保数据保护完好无损,同时优化效率。

Myriad 的数据服务包括内联重复数据删除、压缩以及对快照和克隆的支持。 此外,该路线图还包括复制和数据分析等令人兴奋和授权服务的计划。

集群架构

尽管是一个软件解决方案,Quantum Myriad 仍依赖于硬件基础来执行。 虽然 Myriad 的设计旨在实现跨各种环境(包括公共云)的多功能性,但 Myriad 的初始部署是通过 Quantum 提供的基础设施来实现的。 这种安排的美妙之处在于它的简单性。 它不需要定制或奇特的硬件; 标准 x86 服务器和 OCP 兼容交换机就足够了。

量子无数

Myriad 集群中的每种节点类型都有一个特定的角色,有助于数据存储和/或操作。 节点使用许多供应商提供的通用硬件。 尽管最初的 Myriad 版本将在 Quantum 设备上提供,但客户可以在未来提供他们的硬件。

集群的核心是 NVMe 存储节点。 如今,如果客户需要更重要的功能,该集群至少包含五个可轻松扩展的节点。 一对以太网负载平衡器节点位于前端,用于管理网络连接。 这些节点适当地平衡从外部源到 Myriad 集群的传入流量和集群内的内部流量。 还有另一个关键元素:1GbE 部署节点。

部署节点负责各种与集群相关的任务,包括初始设置、扩容和软件升级。 它的作用对于简化 Myriad 集群的管理和维护至关重要。

无数节点通过高速 100Gb 以太网在内部和外部互连。 与传统存储集群不同,传统存储集群通常需要客户广泛参与配置和维护网络基础设施,而 Myriad 将这一方面纳入其设计中。 其结果是自动且无麻烦的配置,不需要客户额外的投资或精力。

系统容量

系统容量 765 个 NVMe 存储节点中可达 5 TB,1.53 个 NVMe 存储节点中可达 10 PB 原始数据
有效数据减少 1.5 倍时的有效系统容量 921.6 个 NVMe 存储节点中可达 5 TB,1.84 个 NVMe 存储节点中可达 10 PB
有效系统容量 TB,有效数据减少 3 倍 1.84 个 NVMe 存储节点中的 5 PB 到 3.68 个 NVMe 存储节点中的 10 PB
单个NVMe存储节点容量  每个 NVMe 存储节点的节点容量 153.6 TB,10 个 NVMe 驱动器托架,每个 15.36 TB

外部网络同样简单。 无论规模如何,Myriad 集群都可以通过单个 IP 地址进行访问和管理。 特别有利的是,在大多数情况下,存储管理员可以独立扩展系统,而无需网络团队的干预,提供了无与伦比的灵活性。

节点介绍

主要参与者:存储节点

Myriad 系统的核心是存储节点。 这些节点是紧凑的 1U Linux 服务器,共同构成 Kubernetes 集群,作为运行必要的 Myriad 软件组件的基础。 从处理表示层到管理纠删码和用户界面,这些存储节点负责一切。

存储节点规格

外形 1U 服务器托管 10 个热插拔 2.5 英寸 NVMe 闪存驱动器托架和 2 个用于系统操作的镜像 NVMe M.2 驱动器
连接方式 100 GbE 以太网 RDMA

每台服务器 2 个双端口 100 GbE NIC

功率 750 W 200-240 VAC 冗余白金电源
尺寸和重量 宽度:17.2 英寸/437 毫米

高度:1.7 英寸/43 毫米

深度:23.5 英寸/597 毫米

重量:39 磅/17.69 公斤

环境 工作温度:10°C ~ 35°C (50°F ~ 95°F)

非工作温度:-40 °C 至 60 °C(-40 °F 至 140 °F)

工作相对湿度:8% 至 90%(非冷凝)

非工作相对湿度:5% 至 95%(非冷凝)

展望未来,Myriad 计划推出更多功能的存储节点,可容纳更大或更高容量的驱动器,以符合市场趋势和需求。 该架构设计灵活,支持混合存储节点类型并提供可扩展性以满足不同的需求。 Myriad 的结构支持小至三个存储节点的集群,并可扩展到任何所需的大小。 例如,40 节点 Myriad 集群利用当今的 15.36TB 驱动器,可以提供令人印象深刻的 4.9PB 原始容量(不考虑重复数据删除和压缩),展示了其可扩展性潜力。

平衡法

在Myriad架构中,存储节点在互通和连接客户网络方面发挥着至关重要的作用。 此外,集群需要一种有效的机制来将传入连接均匀地分布在所有存储节点上。 对于传统的 NAS 集群,这些责任通常落在客户的肩上,并且需要管理大量的 IP 地址、虚拟 IP 和老式的循环 DNS 映射。 Myriad 通过将负载均衡器节点作为其包的一部分来简化这方面的工作。

负载均衡节点规格

外形 1U 32 端口 100 GbE 智能光纤交换机,具有第 3 层路由功能和 Myriad 软件
连接方式 32 个 100 GbE QSFP28 以太网端口

3 Tbps 全双工三层转发

线速静态和动态地址转换,无延迟,双重 NAT 和 BGP 路由

电源和冷却 最大 550 W 100-240 VAC 冗余电源

热插拔5+1冗余风扇

尺寸和重量 宽度:17.25 英寸/438 毫米

高度:1.71 英寸/43.5 毫米

深度:20.27 英寸/515 毫米

重量:23.96 磅/10.87 公斤

环境 工作温度:0°C 至 45°C(32°F 至 113°F)

工作湿度:5% 至 95%,非冷凝

这些负载均衡器节点本质上是基于 Linux 的高速 100GbE 交换机,由 Myriad 软件完全管理。 它们有双重用途:每个负载均衡器节点上的一些端口用于互连集群内的存储节点。 相比之下,其他的则致力于外部网络连接。

对于采用最多十个存储节点的系统来说,两个负载平衡器节点就足够了。 扩展到 20 个存储节点需要添加另一对负载均衡器节点来适应此扩展。 随着更多存储节点的引入,超过 20 个节点的阈值,额外的负载均衡器节点和关联的主干节点将集成到基础设施中。 尽管随着更高密度交换机和更快网络速度的出现,所需的连接和负载平衡器节点数量可能会不断变化,但基本概念仍然保持一致。

部署节点? 简单的

Myriad 操作简单性的基石之一是部署节点。 与负载均衡器节点一样,该节点构建在基于 Linux 的平台上,但以 1GbE 运行。 部署节点在系统的初始设置中起着关键作用。

部署节点规格

外形 1U 48 端口 1 GbE 智能光纤交换机,具有第 3 层路由功能和 Myriad 软件
连接方式 48 个 1 GbE RJ45 以太网端口 3 Tbps 全双工的第 6.4 层转发 线速静态和动态地址转换,无延迟,双重 NAT 和 BGP 路由
电源和冷却 冗余、负载共享、热插拔电源 热插拔 2+1 冗余风扇
尺寸和重量 高度:1.73 英寸/440 毫米 深度:18.66 英寸/474 毫米 重量:16.91 磅/7.67 千克
环境 工作温度:0 °C 至 45 °C(32 °F 至 113 °F) 工作湿度:5% 至 95%,非冷凝

部署节点的任务是在初始部署阶段安装和配置集群内的所有其他节点。 它充当编排中心,指导新的裸机节点安装其操作系统、Kubernetes 和 Myriad 软件组件,并将它们无缝集成到集群中。 此外,当需要软件更新时,部署节点会以滚动方式管理这些更新,以防止任何中断或停机。

值得注意的是,包含少于 20 个存储节点的集群只需要一个部署节点。 尽管这可能看起来是潜在的“单点故障”,但事实并非如此,因为部署节点并不位于数据路径中。 因此,即使部署节点发生故障,I/O 也不会中断,因此数据保护和性能不会受到影响。

扩展 – 需要零点击

Myriad 推出了一项突破性的功能,称为“零点击”存储扩展,以简化存储容量的增加。 要增加存储容量,只需添加更多存储节点即可。 该过程极其简化:新节点拆箱、安装在机架中、通过电缆连接并通电。

如上所述,部署节点承担识别这些新添加的节点的角色。 它确保他们获得必要的软件配置并将其无缝集成到现有集群中。 值得注意的是,此过程不需要连接到控制台端口、启动用户界面或为 IP 地址分配或 DNS 重新配置提出网络团队票证。 动态纠删码(EC)机制立即开始在所有新旧节点之间分发数据。

借助 Myriad,存储扩展成为自动化的典范,消除了任何手动干预或配置的需要。

多种网络方式

Myriad 网络中最具挑战性的部分是找到一个免费的 IP 地址。 就是这样。

Myriad 使用典型的网络元素,但利用 RDMA 和 Kubernetes 的先进技术来满足其他网络要求。 由于 Myriad 是一个完全集成的自配置系统,因此客户自行接线的零件为零。 内部集群网络是自动配置的,并且对客户不可见。

一旦初始集群配置完成,无论集群扩展多大,都需要单个 IP 地址来进行数据 I/O 和管理。

内部集群连接

您可能想知道如何在不重新配置集群的情况下添加这些额外的节点。 简单的。 集群节点使用具有 RDMA 的 100GbE 无损网络和用于部署功能的 1GbE 网络互连。 安装时,客户为内部网络提供不可路由的子网,或者可以接受默认值 172.16/16。 所有集群节点和 Kubernetes Pod 内部接口都分配了该子网范围内的地址。 现在,当新节点添加到集群时,会自动分配 IP 地址。

为了将内部集群网络与数据中心网络的其余部分隔离,负载均衡器节点运行网络地址转换 (NAT)。 当数据包从 Myriad 传出时,内部源地址和端口号会映射到外部 IP 和端口,传入数据包的外部源地址和端口号会转换为内部 IP 和端口。

负载均衡器节点使用一种称为等价多路径路由 (ECMP) 的技术来将传入连接分布到所有存储节点。 这将工作负载划分到集群中,而不会出现循环 DNS 的延迟和配置问题。

外部集群连接

与外部集群的连接仍然需要一个子网,但需要一个小得多的子网,支持三个 IP 地址:一个入口 IP 用于所有数据流量和管理,两个出口 IP 用于 NAT(每个负载均衡器节点一个)。 如果集群存储节点数超过XNUMX个,则需要额外分配IP。 Myriad 的外部网络使用边界网关协议 (BGP)。 由于其简单性和稳健性,BGP 已成为数据中心内路由组织的最爱。

量子无数连通性

BGP 是运行 Internet 的路由协议,ISP 使用它来交换路由信息。 BPG 连接 ISP 的自治系统,由唯一的公共自治系统编号 (ASN) 表示。 Myriad 集群中的 BGP 是一个自治系统,其 ASN 来自客户分配的专用范围。 配置为使用 ECMP 未编号的 BGP 的客户交换机连接到面向 Myriad 的端口。 ECMP 为所有 Myriad 负载均衡器节点接口上的传入连接提供负载均衡。

凭借其云原生设计,Myriad 的架构使得在 AWS 等公共云基础设施上的部署变得简单。 云部署可以利用底层云平台服务,但核心软件和体验将与在数据中心运行 Myriad 相同。

鉴于 Myriad 软件使用专为 Linux 操作系统设计的容器,因此 Myriad 可以与几乎任何云环境无缝集成。 许多存储供应商正在解耦其硬件和软件以促进云部署。 然而,Quantum 凭借 Myriad 已经走在了前面。 这使他们在前进中具有巨大的灵活性。 有趣的是(这纯粹是我们的猜测)Myriad 可能与基于 ARM 的云实例异常兼容,例如 AWS 流行的 Graviton 实例。 如果昆腾能够利用这一点,它可以通过在最具成本效益的云实例上运行来获得显着的优势。

用户可以依靠现代化的 GUI 界面来控制和配置 Myriad。 此外,全面的 API 支持正在酝酿之中,以实现定制自动化。 对于传统监控,SNMP 和 sFlow 是现成的选项。

多种部署

无数的简单性始于让客户轻松部署集群。 客户只需确保其交换机支持 BGP ECMP。 大多数交换机都提供 BGP,但可能需要启用。 否则,客户只需为集群配置一个IP。

一旦节点安装完毕、堆叠并通电,就可以通过随附的直观管理工具设置 Quantum Myriad 集群来进入有趣的部分了。 Quantum 提供了易于遵循的配置和设置流程,可帮助用户快速启动并运行。

初始化小型集群部署可能需要不到五分钟的时间。 您已进入九步计划。

客户查看最终用户许可协议 (EULA) 后,下一步就是初始化集群。 这些字段已被填写并呈现以验证准确性。 单击“下一步”将使用户进入“创建密码”屏幕。

创建并确认密码后,下一步是设置 NTP。

如果系统有信息,大多数屏幕都已预先填充。 现在,是时候启动并运行集群了。

Quantum 完成了此设置的所有工作。 系统已根据从节点提取的信息填充此屏幕。 管理员可以在配置每个节点时监控初始化过程。

Quantum Myriad 提供了可用于集群的软件列表。 客户可以安装全部或仅部分软件。

软件安装完成后,您可以轻松退出安装、返回屏幕或选择“下一步”继续。

如果所有信息均正确,单击“完成”将应用所有更改。

接下来是集群登录屏幕。

如果登录成功,将向用户显示新安装的集群的状态。

无数的管理和行政

Myriad 利用其他 Quantum GUI 投资中实现的现代图形用户界面。 成功登录后,用户将看到一个易于阅读的仪表板,其中包含快速导航到所需功能或警报的选项。

上图是 Quantum Myriad 管理仪表板的截图。 其他 Quantum 系统的外观和感觉是一致的。

该视图为用户提供了系统中节点的交互式图像。 尽管在此捕获中不可见,但用户可以向上或向下滚动以获取集群的存储、负载均衡器和部署节点的状态。

在管理 GUI 中导航非常简单。 屏幕左侧的面板引导用户了解集群内的详细信息,而顶部的选项提供更详细的视图,例如上面显示的集群性能详细信息。

可以从集群显示中查看延迟。

从左侧面板中选择“驱动器”可提供用于查看各个驱动器详细信息的选项。

管理工具将提供整体节点组件的健康状态。

关闭的思考

Quantum Myriad 成为不断发展的数据管理领域现代化和适应性的灯塔。 其架构不仅能够以卓越的流动性扩展和保护数据,而且还提供了一个具有前瞻性的开发平台,可无缝移植到云和各种底层硬件系统。

凭借对未来的愿景,昆腾制定了雄心勃勃的发展路线图。 E协议支持和数据服务的增强 ,那恭喜你, 在地平线上 - 包括备受期待的对象支持-含义 量子完全有能力重新定义行业标准。 尽管昆腾拥有远大的愿景和积极的路线图,但他们完全愿意根据客户需求和采用规模进行调整。 他们在这方面还具有一些工程优势,因为他们可以利用他们在存储和 IP 方面的丰富经验。 随着 Quantum 快速提供更多功能,Myriad 应该能够保持动态。

量子无数节点紧

此外,昆腾对现代云概念的创新应用,例如在部署过程中利用 OCP 交换机,强调了他们对速度和用户友好性的承诺。 所有迹象都表明 Myriad 数据管理的未来是安全的且前景广阔。 我们认为 Quantum Myriad 是快速文件和对象存储领域令人兴奋的新进入者,并且对该系统的简单性和弹性印象深刻。

从量子和 在此处设置演示或 POC

无数的数据表

无数的建筑

本报告由量子赞助。 本报告中表达的所有观点和意见均基于我们对所考虑产品的公正看法。

参与 StorageReview 

订阅电子邮件 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | TikTok | RSS订阅