存储评论网

戴尔携手NVIDIA在GTC 2026大会上扩展其AI Factory:推出全新数据引擎、Lightning文件系统和百亿亿次级存储

AI  ◇  企业版

戴尔科技集团推出了戴尔人工智能数据平台,这是一套与英伟达人工智能生态系统相契合的数据和存储技术,旨在帮助企业从人工智能试点阶段过渡到生产规模的智能体系统。该平台旨在解决企业人工智能领域一个常见的难题:数据速度过慢、数据孤岛化或管理不善,无法支持高价值的人工智能工作负载。

当企业尝试将人工智能代理和长上下文工作流投入实际应用时,他们往往发现限制因素并非模型选择,而是跨分散系统访问、构建和管理数据的能力。戴尔将人工智能数据平台定位为戴尔人工智能工厂(Dell AI Factory)的一部分,该工厂与英伟达合作,提供数据引擎、GPU加速处理和高吞吐量存储的组合解决方案。

戴尔 7000 机架式机柜门已打开

戴尔引用内部基准测试表明,与“传统计算方法”相比,其向量索引速度提高了 12 倍,数据处理速度提高了 3 倍,首次令牌处理速度提高了 19 倍,加速过程由集成到数据层的 NVIDIA GPU 和 CUDA-X 库驱动。

利用戴尔数据引擎实现人工智能数据生命周期自动化

戴尔 AI 数据平台的核心是一组戴尔数据引擎,由 NVIDIA AI 基础架构加速,可实现 AI 数据生命周期的自动化,并减少数据准备时间,同时保持企业控制。

戴尔人工智能数据平台,配备NVIDIA显卡

戴尔数据编排引擎基于戴尔收购的Dataloop公司的技术,旨在管理从数据摄取到生成可用于人工智能的数据集的整个过程。它能够自动发现结构化、非结构化和多模态数据源,然后对其进行标注、丰富和转换,最终生成适用于训练和推理的受控数据集。该平台结合了自动化流程、主动学习和人工审核,可在不牺牲数据治理的前提下,迭代地提升数据集质量和模型精度。

为了加快部署速度,数据编排引擎包含一个市场,其中预构建的数据工作流集成了 NVIDIA NIM 微服务、NVIDIA AI 蓝图以及 200 多个其他模型、应用程序和模板。这种市场式方法旨在通过提供适用于常见企业 AI 模式的可重用组件来缩短价值实现时间。

与 NVIDIA AI Blueprints、NIM 和 Nemotron 集成

戴尔人工智能数据平台与英伟达的AI-Q蓝图相契合,旨在构建能够从企业数据中提供可执行洞察的人工智能代理。戴尔集成了英伟达加速的数据引擎,以支持跨结构化和非结构化数据源的高效数据准备、检索和推理,重点关注检索增强型生成和代理工作流。

戴尔AI数据平台与NVIDIA图形功能相结合

企业可以访问 NVIDIA 内容库,其中包括:

  • NVIDIA 预构建的 AI 蓝图,适用于常见的代理和应用程序模式
  • NVIDIA NIM 微服务用于模型部署和推理
  • 通过戴尔企业中心在 Hugging Face 上展示的 NVIDIA Nemotron 3 Super 型号

通过此集成,客户可以将戴尔的数据层和存储堆栈与英伟达的模型、推理和微服务生态系统在受支持的配置中进行配对。

支持 NVIDIA STX、Vera Rubin NVL72 和 Spectrum-X

戴尔也在调整其基础设施产品组合,使其与NVIDIA的STX模块化参考设计保持一致。该公司计划支持NVIDIA STX,该平台采用NVIDIA Vera Rubin NVL72 GPU、NVIDIA BlueField-4 DPU和NVIDIA Spectrum-X以太网。其目标是提供一个模块化、可扩展的AI数据管理和处理平台,将GPU、DPU和高性能网络与戴尔的存储和数据软件紧密结合。

NVIDIA Spectrum-X 正面爆炸

这种基于 STX 的方法针对的是需要管理、处理和检索大量数据以进行训练、微调和实时推理的环境,同时保持性能隔离和可预测的吞吐量。

用于 SQL 分析的 AI 助手

戴尔在戴尔数据分析引擎中引入了人工智能助手,该助手提供用于 SQL 分析的对话式界面。该助手允许业务和技术用户:

  • 使用自然语言而非原始 SQL 来查询结构化数据。
  • 可视化查询结果,以便进行分析和协作
  • 在现有治理框架内开展工作,同时扩大非 SQL 专家的数据访问权限。

对于部署需要高质量结构化数据的 AI 代理的组织而言,这款以 SQL 为中心的助手旨在减少对专业数据工程技能的依赖,并加快决策周期。

NVIDIA RTX PRO Blackwell 和 CUDA-X 在数据层

戴尔人工智能数据平台的一个关键设计点是将NVIDIA GPU直接集成到数据层中。戴尔采用NVIDIA RTX PRO Blackwell服务器版GPU,以加速数据所在位置附近的数据处理。

NVIDIA RTX PRO Blackwell 服务器版 GPU

NVIDIA CUDA-X 库,例如用于结构化数据列式操作的 cuDF 和用于向量索引的 cuVS,与戴尔的数据引擎协同运行,以卸载和并行化数据工作负载。戴尔报告称,与传统的以 CPU 为中心的方案相比,SQL 查询性能提升高达 3 倍,向量索引性能提升高达 12 倍。

通过将 GPU 加速嵌入到数据路径中,戴尔旨在保持下游 AI 训练和推理管道以与 GPU 消耗相匹配的速度接收准备好的索引数据,这是生产规模 AI 环境中常见的瓶颈。

存储:大规模保持 GPU 利用率

随着人工智能工作负载从实验阶段发展到实际应用阶段,存储带宽和延迟往往成为瓶颈,导致昂贵的GPU闲置。戴尔正通过推出针对人工智能优化的存储引擎来应对这一挑战,这些引擎的架构旨在随着容量和节点数量的增长而保持高性能。

戴尔 Lightning 文件系统

戴尔 Lightning 文件系统是一款高性能并行文件系统,专为 AI 训练和推理工作负载而优化。戴尔宣称其每机架单元的传输速度高达 150 GB/s,与传统的纯闪存和并行文件系统相比,性能优势显著。

戴尔 Lightning FS 显卡

Lightning 采用基于 Fabric 的架构,可实现计算节点与存储之间的直接高带宽访问,旨在大规模地维持 GPU 利用率。该系统与基于 NVIDIA 的 AI 基础设施集成,非常适合对持续吞吐量要求极高的 GPU 密集型训练集群。

戴尔百亿亿次级存储

戴尔百亿亿次级存储系统是一款面向人工智能和高性能计算的三合一存储系统,支持在戴尔PowerEdge服务器上进行并发文件、对象和并行文件存储。企业可以在单一硬件平台上部署:

  • 戴尔 PowerScale 横向扩展文件系统
  • Dell ObjectScale 适用于 S3 兼容的对象存储
  • 戴尔 Lightning 文件系统,适用于高吞吐量并行文件系统

这种融合方案旨在满足高要求的 AI 和 HPC 工作负载,包括高频交易和“新云”应用,这些应用场景中混合协议和极高的吞吐量需求并存。百亿亿次级存储支持 NVIDIA CX-8 和 CX-9 超级网卡以及高达 800 GbE 的网络链路,戴尔宣称,对于必须快速摄取海量数据集的 AI 工作负载,每个机架的性能最高可达 6 TB/s。

使用 NVIDIA CMX 和戴尔存储实现 KV 缓存卸载

为了支持长上下文和智能体 AI 工作负载,戴尔和英伟达正在将 KV 缓存从 GPU 内存卸载到共享存储。借助英伟达 CMX 内存存储技术和推理加速功能,KV 缓存可以部署在戴尔 CMX 存储和高速网络上,支持 PowerScale、ObjectScale 和 Lightning 文件系统。

通过将键值缓存从有限的 GPU 内存迁移到高性能共享存储,企业可以:

  • 提高大型语言模型的有效上下文长度
  • 保持长时间代理交互的连续性
  • 通过释放显存用于计算而非缓存,提高GPU利用率。

这对于需要参考大量历史数据或维持长时间、有状态的对话而不耗尽 GPU 内存的 AI 代理来说尤其重要。

PowerScale pNFS 实现大文件性能

戴尔 PowerScale的软件驱动型并行网络文件系统 (pNFS) 架构针对人工智能环境中的大文件吞吐量进行了优化。戴尔报告称,与 NESv3.12 相比,其处理大文件的性能最高可提升 6 倍。

pNFS 将文件访问分布到各个节点,以维持高带宽并减少热点,从而确保数据持续流向 GPU 工作负载。其目标是最大限度地减少 I/O 瓶颈并降低 GPU 空闲时间,尤其是在处理大型检查点文件和数据集的训练场景中。

戴尔人工智能工厂与英伟达:规模和投资回报率

戴尔人工智能数据平台和存储功能的增强,正值戴尔与英伟达合作的戴尔人工智能工厂项目迎来两周年之际。据戴尔称,已有超过4,000家客户部署了人工智能工厂解决方案,早期采用者在第一年就实现了高达2.6倍的投资回报率。

戴尔AI Factory产品组合涵盖基础设施、软件、解决方案和服务,旨在将AI从孤立的试点项目大规模推广到生产环境。本文概述的AI数据平台、数据引擎和存储堆栈旨在解决这一过程中的数据访问和性能问题,在许多环境中,这些问题的解决难度远超搭建GPU集群或模型。

戴尔与 NVIDIA 合作推出的 AI 数据平台提供了一个集成的、以数据为中心的架构,结合了生命周期自动化、GPU 加速的数据处理和高吞吐量存储,所有这些都是为了充分利用 AI 代理和模型而设计的。

参与 StorageReview

电子报| YouTube | 播客iTunes / Spotify | Instagram | Twitter | TikTok | RSS订阅

哈罗德弗里茨

自 IBM 创建 Selectric 以来,我一直在科技行业工作。 不过,我的背景是写作。 因此,我决定退出售前业务,回归本源,从事一些写作工作,但仍从事技术工作。