存储评论网

WEKA 的 WEKApod 3 突破了单机架 EB 级容量限制,NeuralMesh 6 实现了多租户功能

企业版  ◇  企业存储  ◇  软件

WEKA 发布了两款互联产品:迄今为止最重要的软件版本 NeuralMesh 6,以及由 WEKA 自主设计和开发的、专为运行 NeuralMesh 6 而打造的新一代存储设备 WEKApod 3。NeuralMesh 6 仍可部署在客户选择的硬件上,而 WEKApod 则提供交钥匙解决方案,预装了软件。NeuralMesh 6 引入了原生多租户、文件和对象混合协议栈、元数据驱动的数据迁移、具有合约保障的持续数据缩减、Kubernetes 原生操作以及集成可观测性。WEKApod 3 是专为运行该软件而定制的硬件,该公司声称其在单个机架中实现了最高的容量和性能密度,并提供 Nitro、Prime 和 Prime Max 三种配置,分别面向最高性能、均衡容量和最高密度。

WEKA NeuralMesh 6

两项公告都围绕着一个共同的市场转变展开:随着 AI 工作负载从训练转向生产规模的长上下文、智能和检索驱动推理,存储和内存基础设施(而不仅仅是 GPU 数量)越来越决定每个令牌的成本和可实现的吞吐量。

NeuralMesh 6:多租户、统一协议和数据移动性

NeuralMesh 6 结合了 WEKA 声称 AI 基础设施运营商传统上需要从各种供应商处拼凑出来的功能:多租户、统一的文件和对象协议栈、跨站点的数据移动性、持续的数据缩减、Kubernetes 原生管理和集成的可观测性,所有这些都集成到一个软件栈中,而不是由单独的部分组装而成。

多租户架构分为两个可组合的层级。可组合集群提供硬件级隔离,每个租户拥有专用的 CPU、内存和存储驱动器,专为需要资源保障和可预测性能的核心租户而设计。虚拟多租户通过 WEKA 的虚拟化 RDMA 数据架构添加了 VPC 式的网络隔离,支持私有 VLAN、重叠 IP 地址空间、每个租户的服务质量和加密(具有独立的密钥管理),以及每个租户独立的 LDAP 或 Active Directory 身份验证。虚拟多租户可扩展至每个集群超过 1,000 个隔离的逻辑租户,新租户的配置可在 30 分钟内完成。这两个层级可以组合,因此运行 50 个可组合集群的单个 WEKA 硬件集群可以在同一物理基础架构上支持多达 50,000 个逻辑隔离的租户,从几十个租户扩展到几万个租户,而无需重新设计系统架构。

WEKA NeuralMesh 6 控制面板

在协议方面,NeuralMesh 6 实现了原生 S3 协议栈,其中相同的物理数据块可同时通过 S3 和 POSIX 寻址,而无需通过网关进行转换。通过 NFS 或 POSIX 写入的文件可立即从 S3 读取,反之亦然,从而避免了数据在训练、微调和推理阶段之间移动时通常会累积的重复完整数据集副本。WEKA 专门针对 AI 访问模式构建了 S3 实现,每个节点支持 2,000 到 5,000 个并发 S3 连接,大约是传统 S3 架构并发能力的五倍,并且通过 RDMA 实现的 S3 可直接将零拷贝数据传输到 GPU 内存。

数据迁移通过元数据优先复制实现,使目标环境可立即浏览,而无需在工作负载启动前完成完整的数据复制。数据按需加载,减少了广域网流量,并允许组织将工作负载部署在 GPU 容量可用的地方,而不是数据最初写入的位置。此版本新增了异步复制和远程缓存功能,作为实现更广泛的联合以及跨站点和云的全局命名空间的第一步。

这种复制功能已经为实际部署提供了基础:WhiteFiber 的首席执行官 Sam Tabar 表示,NeuralMesh 的智能复制功能使公司能够在各个站点之间共享数据集,并将每个作业所需的数据精确地提取到下一个 GPU 分配中,这与本月初我们报道的 111.2 Tbps 跨数据中心超级集群Project Redwood背后的架构相同。

数据缩减最多可节省 6 倍容量

NeuralMesh 6 还默认在所有部署中启用数据缩减功能,包括指纹识别、相似度哈希、去重和压缩,写入开销低于 5%,AI 训练数据容量最多可节省 6 倍,并提供涵盖缩减率和性能影响的合同保证。全新的 Kubernetes Operator 可自动执行集群部署和生命周期管理,适用于以 Kubernetes 作为标准运营模式的组织,WEKA 表示,这可以将部署时间从数周缩短至数小时。NeuralMesh Observe 包含在每个部署中,无需额外付费,它提供基于 SaaS 的多集群仪表板、客户端级诊断和警报功能,警报可路由至 Slack、PagerDuty 或电子邮件。

WEKA 报告称,其增强内存网格 (Augmented Memory Grid)功能已在生产环境中投入使用。该功能通过加速对 Oracle 云基础设施 (OCI) 上由 NeuralMesh 管理的 NVMe 存储的持久键值缓存的访问,扩展了 GPU 内存。在 OCI H100 基础设施上的基准测试表明,令牌吞吐量提高了 10 倍,并发用户数增加了 10 倍,每个 GPU 的令牌处理能力提高了 7 倍。WEKA 表示,这些性能提升是相对于基于 DRAM 的替代方案而言的。OCI 软件开发高级总监 Pablo Selem 将这种方法描述为消除内存瓶颈,从而使客户能够在相同的 GPU 资源下实现更高的吞吐量和更多的用户支持。

WEKApod 3:围绕软件构建的定制硬件

WEKApod 3 是 WEKA 自主研发的硬件设计,而非基于第三方 OEM 机箱的参考架构。该公司表示,单个 WEKApod 机架在 441.5 PB 原始容量的硬件基础上,可提供 1.1 EB 的有效容量,使其成为首个有效容量超过 1 EB 的单机架系统。每个机架的吞吐量额定为 10.2 TB/s,IOPS 为 2.1 亿。WEKA 报告称,与同类公开产品相比,其有效容量密度高出 267%,每个机架单元的吞吐量密度高出 114%。

该设计采用 PCIe Gen 6 内部架构、基于线缆而非背板的驱动器互连、NVIDIA ConnectX SuperNIC网络(用于 Spectrum-X 以太网连接)以及软件管理的散热架构,可在 35°C 环境温度下运行,并在过热时降低 NVMe 电源而非直接关闭。WEKA 已就机箱、驱动器互连、散热管理和可维护性设计申请了多项专利。可维护性功能包括支持热插拔的启动驱动器,WEKA 表示,通过 GUI 引导的更换流程只需约 10 分钟即可完成,而无需像传统维护那样耗时数小时;此外,还可通过 NeuralMesh Home 实现无头、云驱动的机架级部署。

三种配置,分别对应不同的工作负载优先级

WEKApod Nitro 专为对存储带宽要求极高的工作负载而设计,确保 GPU 始终满负荷运行。它采用双机架单元、四节点机箱,配备四个独立的故障域和 56 块 TLC 硬盘,并由双端口 NVIDIA ConnectX 网络提供支持,吞吐量高达 800 Gb/s。WEKApod Prime 则强调容量和性能的平衡,采用 AlloyFlash 混合 TLC 和 QLC 硬盘,同样采用双机架单元、四节点机箱,支持 56 块硬盘。WEKApod Prime Max 则以紧凑的外形实现了容量最大化:双机架单元、双节点机箱,配备 70 块 NVMe 硬盘,采用Micron 245.76 TB 6600 ION SSD,并结合 NeuralMesh 的对象存储和数据缩减技术,在单个 56U 机架中实现了 1.1 EB 的有效容量。为了了解该硬盘对机架计算的影响,我们的6600 ION 功率和密度报告显示,1 EB 的数据需要 6 个机架而不是 22 个机架才能存储。

AlloyFlash 是使 Prime 和 Prime Max 配置得以实现的存储分层功能,它能自动将对延迟敏感的操作路由到 TLC 闪存,同时将大容量数据定向到 QLC 闪存。QLC 闪存每 TB 的存储成本大约比 TLC 闪存低 30-40%,而且无需用户进行任何配置。这正是 NeuralMesh 6 软件版本和 WEKApod 3 硬件版本真正融为一体的关键所在:软件的存储分层逻辑使得高密度硬件配置能够达到生产级的性能水平,而不仅仅是规格表上更大的容量数字。

WEKA 的硬件决策基于当前数据中心面临的种种限制:美国数据中心建设量自 2020 年以来首次在 2025 年出现下滑;主要市场的电网接入排队时间已长达四至七年;摩根士丹利预测,到 2028 年,美国将出现 49 吉瓦的电力缺口。此外,NAND 闪存供应持续紧张,OEM 厂商的交货周期也更长。WEKA 认为,机架空间和功耗效率低下的存储设备会直接与 GPU 争夺有限的物理资源。通过管理自身的硬件供应链,而非依赖 OEM 渠道,WEKA 相信能够为计划开展大型基础设施项目的客户提供更可预测的价格和交货周期。

NVIDIA 存储技术副总裁 Jason Hardy 表示,Spectrum-X 以太网为 WEKApod 3 提供了高带宽、低延迟的架构,从而确保大规模存储到 GPU 的数据路径畅通无阻。NAND Research 首席分析师 Steve McDowell 则认为,生产规模的推理与训练是不同的基础设施问题,每机架的令牌数、每瓦的令牌数以及持续负载下的每次推理成本才是关键指标,他建议买家以此为标准来评估所有供应商。美光核心数据中心业务部高级副总裁兼总经理 Jeremy Werner 补充道,采用美光 245TB SSD 的全新 WEKApod 架构可在 2U 机架空间内提供 15.8 PB 的存储容量,从而节省电力和空间,用于其他计算应用。

可用性

NeuralMesh 6 预计将于 2026 年下半年正式发布。WEKA 现有客户可通过标准渠道免费升级。WEKApod Nitro、Prime 和 Prime Max 现已可通过 WEKA 的分销商和增值经销商 (VAR) 网络订购,预计将于 2026 年秋季开始发货,并预装 NeuralMesh 6。此外,WEKApod 在本代产品中首次提供可配置 SKU,客户可自行选择机箱类型、内存、硬盘容量和硬盘数量,从而支持从 1PB 以下到 100PB 或更大的单机系统。

参与 StorageReview

电子报| YouTube | 播客iTunes / Spotify | Instagram | Twitter | TikTok | RSS订阅

哈罗德弗里茨

自 IBM 创建 Selectric 以来,我一直在科技行业工作。 不过,我的背景是写作。 因此,我决定退出售前业务,回归本源,从事一些写作工作,但仍从事技术工作。