NVIDIA 在柏林 GTC 大会上发布了 Minerva，这是一个 AIOps 平台，它能够从 GPU、网络、存储、调度器以及运行在其上的 AI 工作负载中提取遥测数据，然后应用机器学习技术在性能下降的组件影响训练作业之前将其找出。戴尔科技、联想和 Supermicro 将在其 AI 工厂运维产品组合中提供 Minerva，IREN 已在运行该平台，而 IBM、Jio、Lambda、Quake AI、特斯拉、Aolani 和 Bitdeer AI 也计划部署它。NVIDIA 尚未公布定价或正式上市日期。
Minerva 针对的问题是每个大型集群运营商都熟知的：高速架构上的数千个 GPU 如同单台机器运行，因此单个 GPU 性能下降会导致整个作业受到影响。NVIDIA 举例说，例如某个 GPU 的温度高于相邻 GPU，或者 NVMe 固态硬盘在高负载下性能下降——这类数据信号如今存在于网络工具、计算工具和机器学习团队的仪表盘中，每个工具都提供对同一集群的不同视图。
Minerva手表
Minerva 构建了一个动态知识图谱，该图谱映射了 GPU、SuperNIC、交换机、线缆以及调度到这些设备上的作业，然后利用监督式和非监督式机器学习，分析 NVIDIA 所说的每小时数十亿个数据点。这些模型学习工厂的正常行为，标记之前未曾遇到的异常情况，预测正在发生的故障，并利用拓扑结构关联相关事件，从而能够追踪到跨工厂的缓慢训练作业的罪魁祸首——NVIDIA 的规模可达数十万个 GPU。
输出结果以事件的形式组织，相关事件被归入单个条目，并附上可能的根本原因。NVIDIA 表示，这种方式可以将大量警报简化为一个可操作的条目。内置助手可以根据实时遥测数据回答自然语言问题，并推荐修复方案。该平台还可以连接到外部代理工具。运维人员可以选择由人工执行修复，或者由 Minerva 通过基础设施 API 和外部系统将其交给自动化系统处理。
NVIDIA 将收益定义为 AI 工厂的产量，并以 GPU 运行小时数、吞吐量、集群正常运行时间和代币产量来衡量。他们声称的成果包括更长的中断间隔、更快的修复速度和更少的警报处理，从而使运维团队从被动维护转变为主动维护。这些都是厂商的说法，并没有提供具体数据；NVIDIA 尚未公布 Minerva 的平均修复时间或正常运行时间数据。
它在堆栈中的位置
NVIDIA 已开始销售其参考设计的运维软件。Mission Control于 2025 年 3 月发布，它通过 Base Command Manager 处理集群配置，通过 Run:ai 处理工作负载管理，并提供遥测和 DGX SuperPOD 系统的自主作业恢复功能。在 Minerva 发布同一周，NVIDIA 还发布了三个用于 AI 工厂生命周期管理的开源 DSX OS 组件的开发者预览版：Config Manager 用于网络配置，Rack Management Service 用于机架级电源、库存、固件和交换机管理，以及 Cluster Readiness Engine 用于验证 GPU 集群的分布式工作负载。
上周Meta公司发布的Prometheus报告充分展现了Minerva旨在解决的问题的规模。Meta公司将每个NVL72域作为一个64GPU的切片运行，其余8个GPU作为机架内备用，并保留约2%的机架作为备用，同时隔离所有修复后的系统，直至其通过验证。经过与NVIDIA工程师长达一年的现场根本原因分析，中断次数减少了99%，平均中断间隔时间超过54,000 GPU小时，目标是达到100,000。
那是一家超大规模数据中心运营商，运行着专门构建的遥测管道，并与 NVIDIA 组建了联合故障排查团队。Minerva 看起来像是这套流程的打包版本，更接近于企业或新型云平台开箱即用的解决方案，能够提供超大规模数据中心级别的 GPU、网络架构和存储健康状况可视性，以及相应的备用重启工作流程，而且这一切都由销售机架的同一家 OEM 厂商提供。
NVIDIA尚未说明Minerva与Mission Control或DSX OS的具体关联，也未透露其将以软件、设备还是托管服务的形式发布，以及戴尔、联想和超微等厂商的OEM包装会是什么样子。该产品的文档页面引导客户联系其NVIDIA客户经理以获取用户指南。客户案例是IREN，NVIDIA表示IREN目前正在使用Minerva来优化其AI工厂。
“NVIDIA Minerva 为我们的运营团队提供了一个统一的网络视图，包括 GPU 及其上运行的作业，”IREN 首席技术官 Denis Skrinnikoff 表示，他认为 NVIDIA Minerva 使团队能够将更多时间投入到主动维护中。
在存储方面，一个有趣的说法是，负载下的硬盘行为与GPU和互连架构遥测数据一起作为输入数据，因为NVMe设备速度下降时，通常只有在检查点或数据加载阶段停滞时才会反映在GPU利用率中。存储遥测数据的深度，以及哪些OEM厂商和阵列平台提供这些数据，都是值得我们深入研究的细节，尤其是在该解决方案上市之后。
Amazon