存储评论网

企业人工智能评论

我们目前的AI系统评测主要集中在实验室环境下的推理服务,使用来自Llama、Qwen、DeepSeek和gpt-oss系列的开放权重模型,通过vLLM或SGLang运行,并测量其输出吞吐量和首令牌延迟。评测范围涵盖从边缘到完整GPU节点:NVIDIA RTX PRO 4500服务器版在HPE ProLiant DL145 Gen11服务器中,其输出令牌/秒的中位数是其所替代的L4缓存的2.7倍,功耗仅高出约105W;戴尔、技嘉和惠普的DGX Spark版本在200Gb网络架构上以双节点集群的形式运行分布式推理;Supermicro JumpStart项目则让我们有机会亲身体验NVIDIA HGX B200和AMD Instinct MI350X系统。存储也受到同样的对待,因为数据路径决定了这些 GPU 的繁忙程度,所以我们使用 GDSIO 测量 GPUDirect Storage 吞吐量,并测试KV 缓存卸载到闪存以处理长上下文和代理工作负载。

如果您正在为 AI 规划硬件规模,“最佳服务器”页面列出了我们根据这些评论数据挑选的当前 AI 推理和边缘服务器,“最佳企业级 SSD”页面涵盖了为 GPU 提供数据的驱动器,“最佳存储阵列”页面涵盖了训练集群和新云背后的 AI 存储平台。

RTX PRO 4500 Edge 评测:俯视图,展示了安装在全高扩展坞上的 RTX PRO 4500 服务器版显卡以及其 16 针电源线在 HPE ProLiant DL145 Gen11 服务器内部结构。
AI  ◇  企业版

NVIDIA RTX PRO 4500 Edge 评测:HPE ProLiant DL145 Gen11 服务器内部 L4 缓存容量是其 2.7 倍

NVIDIA RTX PRO 4500 Blackwell 服务器版是 NVIDIA 专为替代数据中心外服务器中的 L4 缓存而设计的显卡:单槽设计,支持 PCIe Gen5,采用被动散热,功耗 165W,配备 32GB GDDR7 显存,并拥有完整的 Blackwell 功能集,包括 FP4 Tensor Core 和多实例 GPU。HPE 向我们寄送了一台 ProLiant DL145 服务器。

AI  ◇  企业版

高效处理长上下文推理:将键值缓存卸载到闪存

企业级人工智能基础设施已从优化训练模型转向服务于这些模型,这改变了其经济模式。训练是一项有终点的资本项目。推理则是一项生产工作负载,只要服务在线就会运行,其输出以代币衡量。这就是人工智能运营商目前面临的代币经济学问题:一旦

AI  ◇  企业版

Metrum AI 和俄勒冈州立大学如何构建学术评估新标准

去年11月,我们发表了关于俄勒冈州立大学浮游生物成像研究的报道,标题聚焦于科学本身:研究船上搭载的人工智能加速基础设施,在船只抵达港口之前,就能近乎实时地处理数TB的海洋数据。但在接下来的几周里,一些其他的事情悄然发生。校园里开始流传着这样一个消息:

Supermicro H14 服务器,配备 AMD Instinct MI350X GPU,正面视图显示了风扇罩和 NVMe 硬盘托架。
AI  ◇  企业版

Supermicro JumpStart 评测:搭载 AMD Instinct MI350X 的 H14 主板

Supermicro 的 JumpStart 项目已成为 AI 基础设施采购前评估工具包中最实用的工具之一。与在共享环境中进行脚本演示不同,JumpStart 为符合条件的用户提供免费、限时、裸机访问权限,用户可以通过 SSH、IPMI 和 VNC 连接到真实的生产服务器,从而在实际硬件上运行工作负载。