OCP Grand Canyon 存储系统 – 动手实践

14 年来，Meta 一直在一些最大的数据中心设计、构建和部署其硬件。 2009 年，随着快速增长，工程师们被要求重新考虑他们的基础设施，以支持数据、人员和资源的大规模内部增长，因为 Facebook 工程师开始设计一个具有软件、服务器、硬件、冷却系统的节能数据中心。 , 和电源。 他们现在将 Grand Canyon Storage System 作为大容量存储的下一个标准贡献给了 OCP。

与公司以前的设施相比，新设施的建造能效提高了 38%，运行成本降低了 24%。 Facebook 决定与全球工程界分享它的成功。 因此，在 2011 年，开放计算项目基金会 (OCP) 启动，以加快网络设备的创新步伐。 从通用服务器、GPU 服务器、存储设备到机架设计，一切都源于 OCP 协作模型，并且正在应用于数据中心之外，帮助推动电信行业和边缘基础设施的发展。

因此，Meta 在 OCP 全球峰会上带领与会者了解最新的存储服务器和称为 Grand Canyon 的 JBOD，以及称为 Barton Springs 的新单路服务器是再合适不过的了。 Grand Canyon 的设计源于构建更好更快的存储服务器的需求。

新服务器背后的动机基于以下几点：

• 每个插槽的 CPU 性能更高
• 改进机箱以支持密集驱动器（最多 2025-2026 年左右的时间范围）
• 电源效率
• 保持灵活性（ORv3，模块化 CPU 卡）
• 采用寿命更长的组件设计

Grand Canyon 的设计增加了模块化，以延长新底盘的可升级性和使用寿命。

元件	描述
中央处理器	英特尔至强“Cooper Lake”SoC
启动驱动器	M.2 固态（2280 外形规格 超大规模 NVMe 引导 SSD 规范)
DIMM	每通道 1 个 DDR4 DIMM，4 个通道，最高 3200MT/s
PCH	Intel PCH芯片组

新的存储服务器由两个存储节点组成，支持单个抽屉中的 36 x 3.5" HDD。 Grand Canyon 使用具有一些令人印象深刻的规格的 Barton Springs 单路服务器。 新底盘中加入了额外的灵活性，允许系统构建为三种配置。

第一个配置选项是独立的双存储服务器，包括两个计算节点和 72 个 HDD，其中所有驱动器始终处于开启状态，以加快数据访问速度。

第二种配置是具有单个计算节点的单个存储服务器，该计算节点也可以用作头节点。 此配置连接到两个 JBOD 机箱，这是第三种配置，没有计算节点，最多支持 216 个 HDD。

每种配置都有不同的系统模块数量，如上面的分解图所示。 这种设计的一个关键要素是从机箱的前部或顶部访问所有组件是多么容易。

大峡谷 vs. 布莱斯峡谷（上一代）

	布莱斯峡谷	大峡谷
计算	16 Core	26 Core
规格集成率	1	1.87（启用涡轮增压）
DRAM 容量，每个 CPU 的带宽	2 个 32GB DDR4，33GB/秒	4 个 16GB DDR4，93GB/秒
每个计算引导 SSD	256 GB	256 GB
每个计算的数据 SSD	2x2TB m.2	2x2TB E1.S 9.5mm（可升级容量
每个机箱的驱动器，每个计算的驱动器	72，36	72，36
网卡	50Gbps，单主机，OCP2.0	50Gbps，单主机，OCP 3.0（可升级至 100Gbps）

大峡谷存储系统结构设计改进

由于此机箱中的 HDD 数量和风扇振动的可能性，Meta 改进了结构和声学方面的减振功能，以允许采用密集的 HDD 容量并防止风扇振动传递到外壳。

Meta 工程师使用替代品来测量振动，并与硬盘驱动器供应商取得联系，以比较在设计 Grand Canyon 机箱时使用的减振措施的优势。

风扇系统被修改为包括一个百叶窗，如果风扇关闭，该百叶窗将关闭，以防止整个系统的气流损失。 这确保了整个机箱的适当冷却，即使在风扇丢失的情况下也是如此。

Grand Canyon 系统采用 Broadcom 最新的 IOC 和扩展器，包括 SAS Gen4 功能，可与 SAS 和 SATA 硬盘互操作，并为 SAS/SATA 硬盘的命令持续时间限制以及双执行器硬盘提供硬件和固件兼容性。

支持文档

有关为 Grand Canyon 特性分析而构建的替代硬盘的信息，请参阅此演讲。

有关替代硬盘驱动器、改进和标准化的信息，请加入OCP 硬盘驱动器动态工作组。

有关 Meta 感兴趣的功能的更多信息，请查看此处“未来会议的 HDD 功能”。

规范可在GitHub 存储库 (OpenBMC)上查看。

Grand Canyon 系统可从 Wiwynn 获得，在其产品指南中称为 SV/ST7000G4。