Pure Storage 推出了 FlashBlade//EXA,被誉为业界性能最高的数据存储平台,旨在管理要求最苛刻的 AI 和高性能计算 (HPC) 工作负载。这款新产品基于成熟的 FlashBlade 架构构建,消除了过去限制 AI 潜力的元数据瓶颈。FlashBlade//EXA 专为高并发性而设计,擅长处理大规模 AI 和 HPC 常见的大量元数据需求,预计将在单个命名空间内提供每秒超过 10 TB 的读取性能,从而建立新的性能标准。
FlashBlade//EXA 的基础架构可独立扩展数据和元数据。组织可以利用随时可用的第三方数据节点实现几乎无限的扩展和多维性能。此外,它对标准协议和网络标准的依赖简化了部署、管理和扩展流程,使其能够直接适用于各种企业环境。
推动存储范式转变
随着 GPU 变得越来越强大,加速了大型 AI 模型的训练,数据存储系统必须适应计算强度、数据量和数据多样性的不断增长的需求。传统的存储解决方案最初是为可预测的 HPC 工作负载而设计的,但在现代 AI 的关键领域,例如并发读写、元数据性能、低延迟和异步检查点,往往存在不足。
Pure Storage 首席技术官 Rob Lee 强调了独立扩展数据和元数据的解决方案的重要性。他强调,FlashBlade//EXA 的大规模并行架构提供了无与伦比的性能、可扩展性和适应性,并指出下一代存储现在可以积极推动大规模 HPC 和 AI 的发展。
真正现代化的存储解决方案应提供分解式并行设计,以有效加速 AI 的规模化发展。组织可以毫不费力地添加资源,通过摆脱千篇一律的做法来跟上 AI 快速而持续的转型步伐。
那么什么是元数据以及它为什么重要?
元数据是指有关存储数据的信息,有助于识别、分类、访问和检索数据。在数据管理和存储阵列中,元数据包括关键详细信息,例如文件名、大小、创建日期、权限以及存储系统内的位置。随着存储系统规模扩大和数据集变大,元数据量也会显著增加。如果没有有效的元数据管理,这种增长可能会导致性能瓶颈、数据检索速度变慢和延迟增加。这对于需要快速、并发访问海量数据集的 AI 和 HPC 工作负载尤其成问题。因此,有效处理元数据对于在大型存储环境中保持高性能、可靠性和效率至关重要。
适用于 AI 和 HPC 工作负载的现代架构
传统的高性能存储技术是为了处理专注于原始性能扩展的可预测 HPC 工作负载而开发的。相比之下,当今的 AI 任务需要在数万个 GPU 上并行处理各种数据类型(文本、图像和视频)。这种转变需要架构能够优化元数据,同时提供卓越的性能以有效管理大量并发性。
FlashBlade//EXA 通过针对性能和元数据扩展的分解式、高度并行设计来满足这些要求。这种方法可帮助企业适应不断增长的多模式 AI 模型,提高可靠性并减少空闲时间。为了进一步优化 AI 和 HPC 工作负载,FlashBlade//EXA 集成了高速 NVIDIA ConnectX NIC、Spectrum 交换机、LinkX 电缆和加速通信库,确保大规模训练和推理的无缝数据移动和低延迟性能。因此,组织可以加速训练和推理,最大限度地提高 GPU 利用率,并缩短总体洞察时间。此外,通过将 Pure Storage 的元数据引擎和 Purity 操作系统与经济高效的商品数据节点相结合,企业可以实现出色的性价比,满足大规模 AI 项目的需求。
FlashBlade//EXA 的主要功能
行业领先的规模性能
FlashBlade//EXA 利用 Pure Storage 在元数据优化方面的丰富经验,最大限度地提高 AI 训练和推理的管道效率。根据初步测试,它可以在单个命名空间中提供每秒超过 10 TB 的读取性能,从而设定了新的行业性能阈值。此功能由大规模并行处理和可扩展元数据 IOPS 驱动,使组织能够无缝满足高速 AI 要求。
降低管理复杂性
通过消除元数据瓶颈,FlashBlade//EXA 解决了 AI 工作负载中最大的挑战之一:高效处理海量数据集。高元数据性能、可用性和弹性使 AI 部署无需手动调整或专门配置即可运行。因此,企业在管理大规模或快速发展的数据集时可以减少运营障碍。
加速人工智能创新
FlashBlade//EXA 的分解式架构具有高度可配置性,并与行业标准协议(包括 NVIDIA 的加速通信库)集成,以实现高带宽 AI 训练和推理。这种深度集成可确保企业最大限度地提高 GPU 利用率,同时保持高效扩展 AI 工作负载的灵活性。这种设计促进了 AI 和 HPC 领域的无缝演进,确保组织能够快速适应新数据类型、创新应用程序和新兴模型,而不会影响性能或可靠性。
可用性
FlashBlade//EXA 计划于 2025 年夏季发布。




Amazon