技嘉科技是一家知名的计算机相关硬件组件和系统制造商，通过与 Bigtera 合作提供独特的高性能软件定义存储解决方案，从而进军数据存储市场。 技嘉提供硬件，配合Bigtera的VirtualStor软件平台提供一系列存储设备，以满足不同的容量和性能需求。 虽然大多数人都熟悉 GIGABYTE（已经营 30 多年），但 Bigtera 对某些人来说可能是一个新名称。 Bigtera 成立于 2012 年，拥有两个开发中心和一百多个在生产环境中运行 VirtualStor 的客户。
Bigtera VirtualStor 系列由三个不同的产品线组成——Scaler、Converger 和 Extreme——每个产品线都是部署在标准 x86 架构上的软件定义存储解决方案。 Scaler 是混合横向扩展解决方案的数据存储； Converger 是一种存储解决方案，可用于通过与 VMware、Hyper-V 或 KVM 配对来创建超融合基础架构； Extreme 是一种全闪存横向扩展存储解决方案，旨在为需要持续低延迟并消耗大量带宽的应用程序提供 I/O。 在此深入研究中，我们将研究 VirtualStor Scaler 解决方案。
VirtualStor Scaler 是一种横向扩展存储解决方案，而不是纵向扩展或超融合基础架构 (HCI) 解决方案，这意味着随着需要更多存储容量，可以将更多磁盘或节点添加到 VirtualStor Scaler 存储集群。 换句话说，您为数据中心获得了正确的存储量，可以根据当前情况进行修改。 这种灵活性有效地消除了硬件的过度配置（扩展解决方案的要求）以及在使用 HCI 解决方案时增加更多计算能力（无论是否需要）的需要。
技嘉为 VirtualStor Scaler 系统提供六种不同的平台。其中，面向小型用户的平台拥有 48TB 可用存储容量，由三个 1U 节点组成；面向需要处理海量数据的用户，平台则拥有 4PB 的存储容量，由八个 4U 节点组成。为了确保这些系统的质量，技嘉采用其自主研发的顶级服务器，配备双路第二代英特尔® 至强® 可扩展处理器，为这些存储节点提供强大的计算能力。在数据存储方面，VirtualStor 存储设备采用 HDD 和 NVMe 或 SATA SSD 缓存盘的组合。为了保证数据持续稳定传输，节点采用英特尔® SFP+ 接口和网卡，并通过 Aspeed 远程管理控制器实现离线节点管理。
VirtualStor 缩放器存储协议
当今的数据中心必须提供存储，以尽可能快速且经济高效地满足要求苛刻且多样化的用户组的需求。 为了满足数据中心的多样化存储需求，VirtualStor 支持来自单个统一存储池的所有常用存储协议（NAS、SAN 和对象存储）。 为确保满足性能要求，存储可以将服务质量 (QoS) 属性应用于文件、文件夹或卷。 可以在文件夹或卷的基础上应用配额，以防止用户或应用程序过度消耗存储空间。
VirtualStor 旨在可靠且始终如一地为要求最苛刻的应用程序提供性能需求。 他们实现这一目标的方法之一是 VirtualStor 后端存储引擎 BigteraStore 如何处理数据放置。 BigteraStore 使用闪存设备进行数据缓存，并将小数据块整合并合并为较大的顺序块。 这不仅在处理随机数据时对 VirtualStor 系统的性能产生巨大影响，还通过减少对闪存设备的写入来延长设备的使用寿命。 BigteraStore 还通过识别顺序数据（以更大的数据块形式传送）来提高其存储系统的性能，并将这些数据直接读写到其硬盘驱动器上。 由于将顺序数据直接流式传输到硬盘不会遭受与将随机数据读写到硬盘驱动器相同的性能损失，因此这也保留了昂贵的闪存设备的容量，用于随机数据影响最大的地方。
VirtualStor Scaler 闪存使用
数据效率、保护和弹性是当今现代存储解决方案必须解决的三个因素，而 VirtualStor 使用最新的技术和工具来提供强大、高效的解决方案来解决这些因素。
任何存储系统最重要的特性是能够保护存储在其上的数据的完整性。 为此，VirtualStor 支持数据复制、擦除编码、RAID、错误检测和损坏数据的自我修复。 由于数据在许多不同的存储节点上进行复制和平衡，在硬件组件或服务器出现故障的情况下，另一个存储节点将无缝接管，并且在大多数情况下，用户或应用程序甚至不会意识到发生了故障. 一旦发现并更换了故障组件，它将自动集成回系统中。 您可以使用英特尔 AES-NI 加密技术保护 VirtualStor 上需要最大程度保护的敏感数据，当然，其他安全性较低的数据可以在 VirtualStor 存储设备上以未加密状态保留。
VirtualStor Scaler 架构概述
在决定使用哪种存储解决方案时，大多数用户经常忽视的一个因素是难以划分出底层存储以供使用。 所有 VirtualStor 存储，无论类型或协议如何，都来自一个可以有效过度配置的池，这一事实消除了重新配置底层存储以使其可用的耗时任务，以及孤岛或孤岛，已配置但未使用的存储。
VirtualStor 缩放器仪表板
如果存储解决方案的可管理性困难或低于标准，那么存储解决方案的价值可能会降至最低，但幸运的是，VirtualStor 通过提供直观、现代、基于 Web 的管理控制台，使其存储管理变得容易。 过去，我们看到一些遗留的统一存储系统宣传有一个单一的管理控制台，但仔细观察，管理控制台只是由来自不同系统的管理组件组成，作为管理控制台上的功能。 不幸的是，这种情况会导致混淆，因为存储组件使用了不同的术语，并且根据所管理的存储类型需要不同的工作流——至少可以说，这是一种处理存储的复杂且令人费解的方式。
我们还看到了需要命令行交互才能完成常见任务的存储系统，其中不正确的输入可能会导致灾难性的结果。 相反，使用 VirtualStor 设备，处理日常系统管理的所有工作流都是基于 GUI 的，不需要命令行交互。 此外，由于它们从一开始就支持多协议——而不是事后才想到——它们不会受到传统的附加功能的阻碍，这使得 VirtualStor 的管理直观且无错误。
VirtualStor 缩放器性能
除了组装解决方案并使其易于操作之外，集群还必须提供适合目标客户用例的性能。 此外，Bigtera 提供多协议支持，这为该解决方案带来了更大的灵活性。 在几周的时间里，我们使用以下硬件配置测试了该解决方案：
- 客户端节点
- 1点¯x 技嘉H261-3C0 – 2U 4个节点，3个节点用于3个客户端服务器
- 每个节点：
- 2 个 Xeon Gold 6140 CPU（18 核，2.3GHz）
- 8 个 16GB 2666MHz DDR4 RDIMM 内存条
- 1 个技嘉 CLNOQ42 双端口 25GB SFP+ OCP 网卡 (QLogic FastLinQ QL41202-A2G)
- 1 个 960GB 2.5” 希捷 SATA SSD
- 存储节点
- 3点¯x 技嘉S451-3R0存储服务器
- 每个节点：
- 2 个 Intel Xeon Silver 4114 CPU（10 核，2.2GHz）
- 8 个 16GB 2666MHz DDR4 RDIMM 内存条
- 36 x 8TB 3.5 英寸希捷 Exos SATA 硬盘
- 2 x 3.84TB 威刚 SR2000CP AIC 固态硬盘
- 1 个 960GB 2.5” 希捷 SATA SSD
- 1 x GIGABYTE CLN4C44 4 x 25GbE SFP28 LAN 端口 (Mellanox ConnectX-4 Lx)
- 1 x 技嘉硬件 RAID 卡 CRA4648，技嘉 MR 3108 BBU
如前所述，该解决方案同时采用了硬盘和闪存。每个节点使用一块 960GB 的希捷 SSD 作为启动盘。在容量方面，技嘉采用希捷 Exos 8TB 企业级硬盘，每个存储节点配备 36 块硬盘。为了充分发挥此配置的性能，技嘉在每个存储节点上使用了两块Adata SR2000CP 3D eTLC SSD。这两块 3.84TB 的扩展卡负责日志记录，并为集群提供缓存。SR2000CP 系列的容量最高可达 11TB，但 3.84TB 的容量足以满足该设备的性能目标（读写速度最高可达每秒 6000/3800MB）和成本目标。
在性能方面，重要的是要了解企业如何看待大型 SDS 平台。 它们通常非常适合对象协议性能，但当您想要利用更传统的协议（如 iSCSI）时，它更多地被视为一个“兼容性”用例。 换句话说，它们可以工作，但比存储阵列围绕其构建的主要协议慢得多。 不过，并非所有平台都如此，这也是 VirtualStor Scaler 如此独特的部分原因。 为了证明这一点，我们运行了背靠背测试，一个使用 RBD 协议，一个使用 iSCSI。 值得注意的是，测试 VirtualScaler 支持的每个协议超出了本文的范围，因为列表很广泛（NFS、CIFS/SMB 和 S3 API）。
对于测试细节，我们利用 FIO 来衡量 30 个 10GB RBD 共享相对于 30 个 10GB iSCSI LUN 的性能。 我们将其分成我们的三个客户端系统，每个系统访问 10 个共享或 LUN。 然后，我们为每个存储设备应用 1 个线程的工作负载和 16 的队列深度（总计到集群，这计算出 30 个线程，每个线程具有 16Q 负载）。 然后，我们比较了大型顺序传输和较小的 4K 随机流量的性能。
在我们测量 1024K 顺序传输的第一个工作负载中，我们看到三个使用 iSCSI 的客户端的平均读取速度分别超过 1600MB/s 和 960MB/s。 总的来说，这达到了 4.9GB/s 的读取速度和 2.9GB/s 的写入速度。 利用 RBD，我们看到类似的写入流量超过每个客户端 960MB/s，但读取性能更高，每个客户端超过 2700MB/s。 总体而言，RBD 总计读取速度为 8.1GB/s，写入速度为 2.9GB/s。
将我们的工作负载大小降低到 128k 顺序传输，我们再次看到 iSCSI 和 RBD 性能之间的类似平衡。 使用 iSCSI，每个客户端看到大约 440MB/s 的写入和 1600MB/s 的读取，总共达到 1.3GB/s 的写入和 4.9GB/s 的读取。 着眼于 RBD，我们发现每个客户端的写入性能略低，超过 410MB/s，读取性能较高，每个客户端超过 2500MB/s。 这在 RBD 上达到了 1.2GB/s 的写入速度和 7.8GB/s 的读取速度。
将注意力转移到更小的随机传输性能上，我们专注于 4K 测试。 查看 4K 随机写入中的两种协议，iSCSI 和 RBD 都提供了相似的性能，每个客户端超过 23K IOPS 或总计大约 71K IOPS，RBD 具有优势。 查看读取性能，我们看到 iSCSI 每个客户端大约 64K IOPS 或总计 193K IOPS，而 RBD 测量每个客户端 97K IOPS 或总计 291K IOPS。
关注我们 4K 随机传输测试中的平均延迟，集群负载为 30 个线程和每个线程 16 个队列，我们测得 iSCSI 和 RBD 传输的写入时间略高于 6.7 毫秒，RBD 具有较小的优势。 在读取传输中，RBD 性能具有更大的优势，总测量为 1.647 毫秒，而 iSCSI 为 2.489 毫秒。
底线
VirtualStor Scaler 是一种灵活且可扩展的软件定义解决方案，在行业标准 x86 服务器上运行，提供文件、块或对象存储。 在这种情况下，我们结合了技嘉的客户端和存储节点，以突出融合解决方案的易管理性和多协议支持。 突出平台中可用的弹性也很重要。 这主要归功于 VirutalStor 的 Ceph 基础。 Bigtera 不喜欢在消息传递方面领先，因为人们通常认为 Ceph 提供了出色的数据保护功能，但缺乏讲述性能和灵活性故事的能力——这两者在大多数企业存储应用程序中都是至关重要的。 在使用 VirtualStor Scaler 期间，我们一直对它能够提供非常强大的 iSCSI 性能以及 RADOS 块接口的能力印象深刻。 事实上，顶部有一个漂亮的 GUI，这对于那些不想涉足 CLI 的人来说很方便——Bigtera 在这方面做得很好。 VirtualStor 解决方案显然不仅仅是用于典型分析、HPC 和 AI/ML 部署的数据仓库。 由于解决方案的灵活性，企业明智的做法是将其视为从本地云到存储整合和更典型的虚拟化工作负载的各种用例的直接替代品。
Amazon