存储评论网

企业人工智能评论

我们目前的AI系统评测主要集中在实验室环境下的推理服务,使用来自Llama、Qwen、DeepSeek和gpt-oss系列的开放权重模型,通过vLLM或SGLang运行,并测量其输出吞吐量和首令牌延迟。评测范围涵盖从边缘到完整GPU节点:NVIDIA RTX PRO 4500服务器版在HPE ProLiant DL145 Gen11服务器中,其输出令牌/秒的中位数是其所替代的L4缓存的2.7倍,功耗仅高出约105W;戴尔、技嘉和惠普的DGX Spark版本在200Gb网络架构上以双节点集群的形式运行分布式推理;Supermicro JumpStart项目则让我们有机会亲身体验NVIDIA HGX B200和AMD Instinct MI350X系统。存储也受到同样的对待,因为数据路径决定了这些 GPU 的繁忙程度,所以我们使用 GDSIO 测量 GPUDirect Storage 吞吐量,并测试KV 缓存卸载到闪存以处理长上下文和代理工作负载。

如果您正在为 AI 规划硬件规模,“最佳服务器”页面列出了我们根据这些评论数据挑选的当前 AI 推理和边缘服务器,“最佳企业级 SSD”页面涵盖了为 GPU 提供数据的驱动器,“最佳存储阵列”页面涵盖了训练集群和新云背后的 AI 存储平台。

NVIDIA L4、RTX PRO 4500 Blackwell 服务器版和 L40S 从上到下侧立堆叠,以便比较插槽厚度和长度,RTX PRO 6000 工作站版位于其后。
AI  ◇  企业版

NVIDIA RTX PRO 4500 Blackwell 服务器版评测:单槽 165W 功耗下实现 L40S 级吞吐量

NVIDIA RTX PRO 4500 Blackwell 服务器版是 NVIDIA 专为大多数企业现有服务器打造的显卡。它是一款单槽被动散热的 165W 显卡,配备 32GB GDDR7 显存,并拥有完整的 Blackwell 功能集:第五代 Tensor Core(支持 FP4)、第四代 RT Core、三个编码器和三个解码器,以及多实例 GPU 支持。

RTX PRO 4500 Edge 评测:俯视图,展示了安装在全高扩展坞上的 RTX PRO 4500 服务器版显卡以及其 16 针电源线在 HPE ProLiant DL145 Gen11 服务器内部结构。
AI  ◇  企业版

NVIDIA RTX PRO 4500 Edge 评测:HPE ProLiant DL145 Gen11 服务器内部 L4 缓存容量是其 2.7 倍

NVIDIA RTX PRO 4500 Blackwell 服务器版是 NVIDIA 专为替代数据中心外服务器中的 L4 缓存而设计的显卡:单槽设计,支持 PCIe Gen5,采用被动散热,功耗 165W,配备 32GB GDDR7 显存,并拥有完整的 Blackwell 功能集,包括 FP4 Tensor Core 和多实例 GPU。HPE 向我们寄送了一台 ProLiant DL145 服务器。

AI  ◇  企业版

高效处理长上下文推理:将键值缓存卸载到闪存

企业级人工智能基础设施已从优化训练模型转向服务于这些模型,这改变了其经济模式。训练是一项有终点的资本项目。推理则是一项生产工作负载,只要服务在线就会运行,其输出以代币衡量。这就是人工智能运营商目前面临的代币经济学问题:一旦

AI  ◇  企业版

Metrum AI 和俄勒冈州立大学如何构建学术评估新标准

去年11月,我们发表了关于俄勒冈州立大学浮游生物成像研究的报道,标题聚焦于科学本身:研究船上搭载的人工智能加速基础设施,在船只抵达港口之前,就能近乎实时地处理数TB的海洋数据。但在接下来的几周里,一些其他的事情悄然发生。校园里开始流传着这样一个消息:

Supermicro H14 服务器,配备 AMD Instinct MI350X GPU,正面视图显示了风扇罩和 NVMe 硬盘托架。
AI  ◇  企业版

Supermicro JumpStart 评测:搭载 AMD Instinct MI350X 的 H14 主板

Supermicro 的 JumpStart 项目已成为 AI 基础设施采购前评估工具包中最实用的工具之一。与在共享环境中进行脚本演示不同,JumpStart 为符合条件的用户提供免费、限时、裸机访问权限,用户可以通过 SSH、IPMI 和 VNC 连接到真实的生产服务器,从而在实际硬件上运行工作负载。