Backblaze 和 WEKA 已验证其两个平台在 AI 流水线中的兼容性，将WEKA NeuralMesh作为性能层，为 GPU 提供数据，而Backblaze B2 云存储则作为容量层，承载所有其他数据。集成、容量规划、调优和测试均已完成，因此 AI 基础设施团队无需自行构建和验证，即可部署经过验证的双层架构。B2 对 NeuralMesh 的认证正在进行中，两家公司均表示客户可以立即联系其中任何一家开始使用。
两层架构，一个数据生命周期
原始的非结构化数据，例如训练集、媒体库和源文件，存储在 B2 中。当数据集成为对性能要求较高的作业的一部分时，它会被提供给 NeuralMesh，并从那里提供给加速器。一旦检查点、输出或其他任何资源不再需要高性能访问，它就会返回 B2，以便在后续运行中重复使用，或者在作业需要恢复到早期阶段时重新加载。这些公司将其描述为：GPU 所在区域提供速度，其他区域提供容量，数据会根据其访问模式的变化在两者之间移动。
Backblaze 首席执行官 Gleb Budman 表示：“AI 团队需要为 GPU 提供充足的数据，并需要一个性能和容量足以支持完整 AI 数据工作流程的基础设施。WEKA 在性能层面已经炉火纯青。而我们在容量存储方面也投入了近二十年的时间。” WEKA 首席战略官 Nilesh Patel 则描述了来自另一个方向的压力：“AI 工作负载正同时从两个方面扩展存储能力。GPU 需要微秒级的数据访问速度才能保持数据供应，而数据集和检查点正以 EB 级的速度增长。我们与 Backblaze 的合作为客户提供了一条经过验证的途径，无需自行构建和测试集成，从而节省成本。”
针对 B2 进行的捕捉对象测试
另一个有趣的功能是 NeuralMesh 的 Snap-to-Object，两家公司表示他们已使用 Backblaze 对其进行了测试。Snap-to-Object 会将 NeuralMesh 文件系统的一致性快照写入对象存储，而以 B2 为目标，该存储与原始数据和已删除的检查点存储在同一容量层级。对于训练运行而言，这意味着团队可以从 B2 回滚到某个检查点或恢复已保存的推理数据，而无需在作业进行过程中临时修复，也无需维护单独的快照存储位置。其经济效益体现在 NeuralMesh 背后的云对象层级，该层级按容量计费，用于存储快照及其所保护的数据。
Backblaze 全年都在将 B2 定位为 AI 的容量层，从面向 neocloud 平台的 B2 Neo 产品到其性能基准测试程序，而 WEKA 则为它在 GPU 方面提供了一个性能级别的合作伙伴。
Amazon