存储评论网

CTERA Fusion Direct 针对 AI 驱动的工作负载,提供文件和对象存储解决方案

企业版  ◇  企业存储

CTERA 推出了 Fusion Direct,这是一种旨在弥合企业文件系统和对象存储之间长期存在的鸿沟的联合数据架构。该产品扩展了 CTERA Fusion 系列(该系列已包含 CTERA Fusion Gateway),并被定位为 CTERA 智能数据平台的核心组件。其目标是提供一个单一的高性能数据架构,既能满足以人为中心的文件工作负载需求,又能满足机器驱动的 AI 流水线需求,而无需重复数据或重构应用程序。

将文件和对象统一到一个命名空间下

企业 IT 团队历来被迫运行两个独立的存储域。NAS 系统提供 SMB 和 NFS 访问,用于用户协作以及传统或业务线应用程序。对象存储(通常通过 S3 访问)则用于大规模、云原生和分析工作负载。要连接这两个环境,通常需要搭建并行基础设施,在它们之间复制数据,或者依赖将文件调用转换为对象 API 的网关。这些转换层可能会引入额外的延迟、复杂性和运维风险,尤其是在大规模部署的情况下。

CTERA Fusion Direct 图

Fusion Direct 通过提供一个统一的全局命名空间来解决这个问题,在这个命名空间中,文件和对象可以原生共存。数据可以以文件的形式写入平台,并以对象的形式读取;也可以以对象的形式写入,并以文件的形式读取。该系统支持完整的双向读写行为,无需将文件转换为专有对象块,也无需通过单独的转换网关路由访问。CTERA 明确指出,不存在文件到对象的转换瓶颈,也没有任何专有的封装方案。

从访问角度来看,现有企业应用和用户仍像现在一样通过 SMB 和 NFS 协议运行。同时,AI 训练集群、高性能计算环境和云原生服务可以通过 S3 和 S3 over RDMA 访问相同的数据集,后者旨在为 GPU 集群和其他高性能计算环境提供线速吞吐量。

利用现有对象存储和分布式边缘计算

一个重要的设计亮点在于能够将现有的 S3 存储桶直接连接到 Fusion Direct 数据架构。企业无需将对象数据迁移或重新整合到新系统中,即可将当前的对象存储命名空间作为全局文件/对象空间的一部分呈现。连接后,这些存储桶中的对象即可作为标准文件在边缘节点和多云部署环境中访问。

这种方法允许 IT 团队将对象数据以文件的形式向全球用户和应用程序公开,同时仍能以 S3 原生方式将其呈现给 AI 和分析工作负载。它还减少了在多个区域或边缘站点部署重复基础设施的需求,这些基础设施原本用于暂存或重新格式化数据。最终效果是,对于跨多个地理位置的分布式数据集,存储占用空间更小。

面向人工智能时代的性能架构

CTERA Fusion Direct 利用了 CTERA 现有的智能数据平台堆栈,并获得了美国专利 12,007,9521 的支持。该架构强调同时支持协作文件工作负载和高吞吐量、机器规模的数据消费。

一项核心功能是原生零拷贝访问。写入 CTERA 平台的文件可立即作为标准 S3 对象访问,无需任何二次复制或后台转换。反之,S3 存储桶可直接连接,其内容可立即作为全局命名空间中的文件访问。此举旨在避免因重复复制或中间缓存而导致的延迟和存储开销。

高速文件流传输是另一个重点领域。大型媒体资源、训练数据集和其他占用大量存储空间的内容可以直接从对象存储流式传输到基于文件的应用程序。这种方法无需批量本地下载或暂存步骤,从而避免了降低工作流程速度以及在边缘或计算集群中占用额外存储空间的问题。

在性能方面,Fusion Direct 以支持 S3 over RDMA 和 GPU 直接访问模式的方式公开原生对象。对于 AI 集群而言,这意味着 GPU 可以从基于对象的数据集中以接近或达到线速的速度读取和写入数据,而无需在数据路径中进行额外的协议转换。这对于受 I/O 吞吐量而非原始计算能力限制的训练和推理作业尤为重要。

CTERA 还特别强调了数据主权的重要性。由于数据存储在标准的 S3 存储桶中,没有专有封装或网关来管理元数据,因此组织可以跨本地部署和公有云保持对其信息的控制权。该架构旨在最大限度地减少数据层锁定,并随着基础设施策略的演进保持灵活性。

打破人机数据孤岛

CTERA 首席执行官 Oded Nagel 表示,企业采用人工智能的主要障碍并非数据短缺,而是如何有效利用数据。他强调,将供人类使用的数据与供机器分析的数据分开会造成摩擦。维护独立的环境和数据集会减缓人工智能的部署速度。Nagel 建议将这些环境和数据集整合到一个支持 SMB/NFS 和 S3 over RDMA 的单一平台中,从而为企业提供从原始数据到可用于人工智能的数据集的直接路径。统一的平台可以帮助企业更好地利用数据,并在由机器学习和自动化驱动的市场中保持竞争力。

可用性

CTERA Fusion Direct 现已作为 CTERA 智能数据平台的一部分推出,并定位为更广泛的 CTERA Fusion 系列产品的核心组件,用于文件和对象统一。欲了解更多信息,请访问 CTERA。

参与 StorageReview

资讯订阅 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter(现为X) | TikTok | RSS订阅

哈罗德弗里茨

自 IBM 创建 Selectric 以来,我一直在科技行业工作。 不过,我的背景是写作。 因此,我决定退出售前业务,回归本源,从事一些写作工作,但仍从事技术工作。