戴尔 Pro Max 16 Plus 包含两个截然不同的方面。一方面,它是一款顶级移动工作站:搭载英特尔 24 核酷睿 Ultra 9 285HX 处理器,最高 256GB CAMM2 内存,三个 M.2 插槽,最高 NVIDIA RTX PRO Blackwell 5000 系列显卡(配备 24GB GDDR7 显存),符合 MIL-STD-810H 军规标准,以及戴尔倾注大量心血打造的机箱。
另一款是我们正在评测的这款产品,它用高通AIC100 PC推理卡取代了GPU。AIC100是一款基于2019年Cloud AI 100芯片的双SoC模块,其软件栈使得大多数现代推理工作负载都变成了痛苦的探索过程。这是一个警示案例,说明了当旗舰级机箱搭配错误的加速器时会发生什么,以及为什么客户在签署采购订单之前需要了解AI解决方案背后的软件栈。在深入探讨原因之前,让我们先整体看一下这款笔记本电脑。
戴尔Pro Max 16 Plus是Pro Max工作站系列中的旗舰机型,其性能远超入门级Pro Max 16和更轻薄的Pro Max 16 Premium。它搭载英特尔可扩展的酷睿Ultra 9 285HX处理器,这是一款55瓦、24核的芯片,睿频加速频率可达5.5GHz。所有CPU配置均支持英特尔博锐企业版技术,进一步提升了这款笔记本电脑的企业级性能。起售价为2,779美元。
显卡选项涵盖从集成式英特尔显卡到基于 NVIDIA Blackwell 架构的 RTX PRO 1000 等各种选择。 一直到我们之前评测过的 RTX PRO 5000。它配备了令人印象深刻的 24GB GDDR7 内存。存储和内存配置同样慷慨:通过三个 M.2 Gen5 插槽,最高可达 12TB 的存储空间,以及通过戴尔 CAMM2 模块提供的最高 128GB 的 DDR5-6400 内存。
显示屏选择范围广泛,从基本的 1920 x 1200 IPS 面板到色彩鲜艳的 3840 x 2400 OLED 触控屏,应有尽有。介于两者之间的还有一款 1920 x 1200 中端选项,亮度提升 500 尼特,支持 120Hz 可变刷新率,并覆盖完整的 DCI-P3 色域。凭借超过 100 项 ISV 认证,创意专业人士可以期待他们的应用程序流畅运行。
安全功能达到企业级标准,包括指纹识别器、智能卡支持、NFC、用于面部识别的 8 万像素红外摄像头以及戴尔 Control Vault 3。此外,还提供三年标准保修,进一步凸显了这款笔记本电脑作为专业工作工具的地位。
Dell Pro Max 16 Plus 规格
| 规格 | 戴尔 Pro Max 16 Plus |
|---|---|
| 平台 | |
| 处理器 | 英特尔酷睿超 5 245HX 英特尔酷睿超 7 265HX 英特尔酷睿超 9 285HX |
| 运行系统 | Windows 11专业版 Ubuntu Linux 24.04 长期支持版 |
| 内存 | 16GB-128GB CSoDIMM 或 CAMM2,1 个插槽 |
| 图形和人工智能加速 | |
| 显卡 | 英特尔集成显卡 NVIDIA RTX PRO 1000 8GB NVIDIA RTX PRO 2000 8GB NVIDIA RTX PRO 3000 12GB NVIDIA RTX PRO 4000 16GB NVIDIA RTX PRO 5000 24GB 高通 AI Cloud 100 64GB (2x 32GB) |
| 存储和显示 | |
| 存放 | 最多 3 个 M.2 SSD,每个 4TB 可用的 RAID 0/1/5 |
| 展示 | 16寸16:10 1920×1200分辨率,300尼特亮度,45% NTSC色域,60Hz刷新率,非触摸式 1920×1200、500 尼特、100% DCI-P3、120Hz VRR、非触摸屏 3840×2400,500尼特,OLED,触摸 |
| 连接性和电源 | |
| 相机 | 8MP红外线 |
| 无线网络 | 英特尔 Wi-Fi 7 BE200,带或不带蓝牙 5.4 可用的移动宽带 |
| 电池 | 6细胞96Whr |
| 电源适配器 | 165W或280W |
| 安全和物理 | |
| 安全功能 | 红外网络摄像头 指纹识别器 智能卡读卡器 NFC支付 控制金库 3 |
| 尺寸和重量 | 1.22 10.18 14.17英寸 起始重量:5.63 磅 |
| 保修政策 | 标准三年,下一工作日现场维修 |
建筑与设计
与我们之前评测的机型一样,Pro Max 16 Plus 毫不掩饰其坚固耐用的特性,并通过了 MIL-STD-810H 军规认证,足以应对严苛环境下的考验。戴尔在材料选择上高度重视可持续性,采用了消费后回收塑料、回收镁和钴以及生物基塑料。拿在手里,机身感觉异常坚固,几乎感觉不到任何弯曲变形。简而言之,它坚固得像坦克一样。
这是一款体积不小的机器。它的厚度为 1.22 英寸(含底座),重量为 5.63 磅起,并不适合频繁携带。不过,对于一款 16 英寸、16:10 的屏幕来说,其 10.18 x 14.17 英寸的占地面积还算紧凑。网络摄像头位于顶盖顶部,配有滑动式隐私快门;我们评测的这款配备的是红外摄像头,支持人脸识别。
戴尔的设计语言在美学上过于低调。灰黑色的外观和低调的品牌标识强调了功能至上的理念。Pro Max Premium 系列虽然外观更时尚,但性能和扩展性却有所牺牲。
全面的端口选择从左边缘开始:
- 2.5Gbps RJ45 以太网
- HDMI 2.1 输出
- 两个Thunderbolt 5(USB-C)端口
- SD卡读卡器
- 可选智能卡插槽
在右侧:
- 3.5mm音频插孔
- Thunderbolt 4(USB-C)
- 两个 USB 3.2 Gen1 Type-A 端口
- 锁槽
机身背面没有接口。无线连接由英特尔BE200模块负责,支持Wi-Fi 7和蓝牙5.4。在自定义配置中可以省略蓝牙功能,并且还支持5G移动宽带。
屏幕和输入设备
我们评测的这款戴尔显示器配备了16英寸1920×1200分辨率的显示屏,采用120Hz VRR面板,日常使用效果出色。色彩鲜艳,并拥有100% DCI-P3色域覆盖,校准后非常适合对色彩要求较高的工作流程。500尼特的亮度也确保了即使在光线较亮的办公室或工作室环境中也能舒适使用。
戴尔键盘非常适合长时间打字,全尺寸按键带来轻盈灵敏的手感和清晰的触觉反馈。白色背光使其在昏暗环境下也能清晰可见。键盘布局基本传统,但方向键大小不一,偶尔会导致误触,而Home键和End键的位置尤其令人诟病;它们与F11和F12键共用空间,因此启用Fn锁定(Fn + Esc)以优先使用功能键行时,必须同时按下Fn + F11或F12才能访问它们。如果配备独立的Page Up和Page Down键就更好了;然而,它们只是上下方向键的辅助功能,而上下方向键本身已经是键盘布局中最不方便的按键了。位于右上角的电源按钮同时也是指纹识别器。
宽大的触控板与16英寸的机身尺寸相得益彰。其光滑的防眩光表面追踪精准,防误触功能在整个测试过程中表现完美。
可升级性
Pro Max 16 Plus 的设计充分考虑了扩展性,提供了巨大的升级潜力。它配备三个用于存储的 M.2 Gen5 插槽、一个用于内存升级的 CAMM2 插槽,以及多个模块化组件,包括可更换的 USB-C 接口。
拆开机箱内部非常简单:拧下周围的螺丝,然后从后向前提起底盖即可。打开机箱,你会看到一个强劲的三风扇散热系统和一个容量可观的 96Wh 电池。CAMM2 内存模块位于右下角,下方是专用散热片,两侧是 M.2 插槽。从照片上可能不太容易看出来,但左侧的 M.2 插槽实际上是一个堆叠式插槽,可以容纳两个硬盘。M.2 无线网卡(用户可自行更换)位于电池上方。
本次展会的明星产品:高通AIC100
本次评测的戴尔产品搭载了高通AI 100 NPU,这是一个集成了两个高通Cloud AI 100 SoC的单模块。每个SoC提供16个AI核心,模块内共计32个,每个SoC都配备32GB LPDDR4x内存,并以两个独立的NPU形式呈现给主机。
戴尔和高通宣称其芯片的 INT8 吞吐量约为 450 TOPS,并能够运行参数量高达 100 亿的模型。戴尔已公开演示了 Llama 4 Scout(109 亿参数,MoE)在笔记本电脑本地运行。这两款 SoC 通过 Linux QAIC 加速器驱动程序与主机通信,固件代码块已提交至 linux-firmware 上游。
目前来看,一切都还说得通。这些数字单独来看确实很大。问题在于支撑这些数字的硅芯片本身。
高通公司于 2019 年 4 月发布了 Cloud AI 100,于 2020 年底提供了样品,并于 2021 年上半年开始商业出货。根据高通公司自己的 Cloud AI 架构文档,该芯片采用 7nm 工艺制造,使用四个运行频率为 2100 MHz 的 64 位 LPDDR4X 控制器(LPDDR4X-4200),每个 SoC 可提供 136 GB/s 的内存带宽。
它最初的设计就考虑到了 PCIe 接口。将两颗这样的芯片塞进一个定制模块,然后装进一台 2025 年的笔记本电脑里,并不会改变其根本的权衡取舍。这仍然是 2019 年的芯片,采用的是 2019 年的内存技术,只是进行了更新和更名,但架构上仍然属于同一系列。当它被应用到戴尔 Pro Max 16 Plus 时,其他厂商已经完成了 HBM2e、HBM3、HBM3e 和 LPDDR5X 的迭代,现在正朝着高端 AI 加速器上的 GDDR7 和 HBM4 迈进。
但更深层次的问题远不止内存带宽。业内有很多优秀的芯片设计和工程团队,他们对人工智能推理问题的理解非常深刻,Cloud AI 100 架构本身也可能相当出色。问题在于,真正决定产品成败的软件工程师已经在另一个生态系统——CUDA——上投入了大量资源。除非有强烈的动机促使他们切换,否则开发者会继续使用已经拥有完善支持、文档和社区帮助的工具链。NVIDIA 很早就赢得了开发者的青睐,并围绕它建立了一个庞大的社区。AMD 在这方面多年来一直落后,但最近 ROCm 的版本确实非常出色,差距正在缩小。像 Modular 的 Mojo 和 MAX 这样的解决方案甚至允许你使用同一套代码同时针对 NVIDIA 和 AMD 平台,有时甚至超越原生运行时。然而,其他所有加速器都由于缺乏软件支持而难以被大众广泛接受。
公开采纳是关键所在。像大型组织这样的机构 谷歌可以投入数十亿美元开发 XLA 和 JAX,让 TPU 发挥最大效用。资金雄厚的私营初创公司和人工智能实验室可以为自身特定的模型集编写定制内核,而无需在意其他人能否复制他们构建的这套技术栈——毕竟,他们并非为无限的公共用例而构建;他们构建技术栈是为了解决自身面临的问题。对于普通用户,甚至大多数企业而言,缺乏蓬勃发展的公共开发者生态系统的加速器实际上毫无用处。你可能要花费数周时间才能将模型移植到加速器上,而一旦 Hugging Face 发布新的架构,你就会面临重新编译的难题(或者模型不支持的错误),而所有使用 CUDA 和 ROCm 的开发者都能立即获得支持。
所以我直说了吧:这台笔记本电脑里的AIC100处理器已经彻底报废了。任何个人都不应该购买它。任何组织也不应该购买它,除非它拥有足够的工程资源,并且明确打算从零开始为特定的工作负载搭建推理系统,并且已经接受自己需要维护这个系统。
软件和工具的现状
要了解为什么这项建议如此严厉,你必须看看这张卡的运费推断实际上涉及什么。
面向用户的组件分为两个 SDK 和一个封装库。高通云 AI 平台 SDK 包含内核驱动程序(主线 Linux 中的上游 accel/qaic 驱动程序)、设备固件、板载运行时和底层 API。应用 SDK 则位于其上,提供 qaic-exec 编译器、qaic-runner 推理 CLI、通过 QAIC 执行提供程序实现的 ONNX 运行时集成、Python 绑定以及 vLLM 的一个分支。高通 efficient-transformers 库(也称为 QEfficient)是 Hugging Face Transformers 的封装库,它使用 AIC100 所需的静态形状、KV 缓存布局和图变换重新实现了流行的 LLM 架构。高通 AI Hub 是一个独立的模型目录和编译即服务产品,其目标用户主要是骁龙级设备而非 AIC100,尽管两者使用相同的品牌。
编译路径是固定的。你需要一个 PyTorch 模型,使用 torch.export 或 ONNX 导出,然后将其连同诸如 -convert-to-fp16、-mxfp6-matmul、批处理大小、上下文长度和目标 SoC 数量等标志一起提供给 qaic-exec。编译器会进行预先调度和内存分配,然后生成一个 QPC(高通程序容器),这是一个密封的二进制文件,其中固定了内存布局、键值缓存形状、批处理大小、预填充序列长度和上下文长度。这里没有 JIT(即时编译)。根据高通 LLM 文档,预先编译的 AI 100 编译器会根据提示长度、生成长度、键值缓存和批处理大小预分配设备资源,并且 Cloud AI 100 仅支持静态输入形状。任何对这些编译时参数的更改都会触发另一次完整的编译,对于小型模型可能需要几分钟,而对于大型模型则可能需要几个小时。
支持的架构列表非常短。戴尔推荐客户使用的 QEfficient 库和 Zentree 托管的预构建 QPC 目录主要涵盖较旧的型号,而到 2026 年,只有少数型号值得使用。
较新的 FP8 原生检查点需要重新量化。如果模型以 MXFP4 格式原生发布(例如流行的 GPT-OSS 模型),则需要进行转换和重新编译,而不是直接导入权重。如果您愿意付出努力,这些问题并非无法解决,但这确实会带来持续的成本。
接下来是并发问题,这正是这款笔记本电脑的致命弱点,即使对于注重开箱即用性能的开发者来说也是如此。戴尔提供的容器镜像(戴尔指示用户拉取并使用 vLLM 运行)基于 Zentree 预编译的特定形状的 QPC,而这些容器的并发数仅为 1。无论输入或输出序列的形状如何,对于给定的模型,吞吐量都是固定的。多个并行请求不会并发运行;它们会被排队,并由 vLLM 按顺序处理。你无法动态批处理。你无法像在 Team Red 或 Green GPU 上那样,使用 vLLM 或 SGLang 提供的连续批处理功能。要获得高于 1 的并发数,你必须使用更大的批处理大小重新编译 QPC。
戴尔的演示旨在向开发者展示这款笔记本电脑,而目前开发者最常用的AI应用场景是使用Claude Code、OpenCode等工具进行Vibe编码。向这些工具发出的单个请求可以展开成多个并行LLM调用;这些NPU默认会将这些请求排队并按顺序处理,而不是并行处理,因此在NVIDIA Spark上只需几秒钟就能完成的任务,在这个配置下可能需要几分钟。
性能
戴尔提供的测试系统配置如下:
- 英特尔酷睿Ultra 9 285HX CPU
- 高通AIC100 PC推理卡
- 128GB 6400MTs CAMM2 DDR5
- 4TB SSD
在给出具体数据之前,先说明一下方法论。如上所述,AIC100 运行的是预先编译的 QPC,其批处理大小、序列长度和键值缓存布局均已固定。戴尔为这款笔记本电脑预装了一组托管在 Zentree 上的精选预编译 QPC,以及一个 vLLM 容器镜像,该镜像会在首次启动时下载这些 QPC。这组预编译的 QPC 通过戴尔的参考容器以并发数 1 的方式提供,最终用户在开箱并按照戴尔的文档进行操作后实际获得的就是这组 QPC,而这正是我们进行基准测试的配置。
我们拥有其他方法。我们可以拉取 qaic-exec,获取检查点,通过 torch.export 运行,重新量化,使用更大的批处理大小重新编译 QPC,然后将其反馈给 vLLM。如果需要,我们还可以针对 QAIC 加速器驱动程序编写自定义内核。但我们选择不这样做,因为这款笔记本电脑的目标市场——开发人员、对人工智能感兴趣的工程师和企业试点团队——绝大多数买家都不会进行这些工作。他们会拉取容器,运行它,并根据输出结果来评判产品。因此,这就是我们所衡量的。
图表中的每个柱状图代表一台使用高通编译、MXFP6 权重和 MXINT8 KV 缓存的 QPC 处理器,这是戴尔所有出货产品通用的精度配置。图表中只有 Llama 3.2 1B 的 TPS 超过 100,达到 128。紧随其后的是 Llama 3.2 3B(56 TPS)、Qwen3 4B(45 TPS)、Qwen3-Coder 30B-A3B(35 TPS)、Mistral 7B(33 TPS)和 Llama 3.1 8B(30 TPS)。 GPT-OSS 20B 在 256/256、1k/4k 和 4k/1k 三种字面量下,TPS 分别为 28.9、28.5 和 28.4,这印证了高通文档中关于 AOT 编译器的描述:一旦为某个字面量构建了 QPC,解码速率就固定了,提示符长度不会影响每个标记的解码成本。Phi-4 以 14 TPS 的 TPS 位列榜单末尾。
虽然这张显卡可以容纳比上述更大的型号,但我们并未对其进行基准测试。例如,要对戴尔公开演示的 Llama 4 Scout 型号进行基准测试,需要将精度进一步降低到 INT4。实际上,在许多工作负载下,量化程度较低、尺寸较小的型号的性能会优于量化程度较高、尺寸较大的型号。
已发布的 vLLM 容器也以 batch_size=1 运行每个 QPC,我们已在实践中确认,同时发出两个请求并不会使吞吐量翻倍。第二个请求只是在软件队列中等待,直到第一个请求完成。已发布的协议栈中没有连续批处理、传输中批处理或推测性解码功能。对于像 Claude Code 或 OpenCode 这样从单个用户回合发出多个并行 LLM 调用的编码代理来说,这种单流限制会将原本几秒钟的响应时间变成几分钟的实际等待时间。提高批处理大小需要在主机上重新编译 QPC,这又让我们回到了之前拒绝尝试的陷阱。
我们不妨将它与 NVIDIA Spark 进行比较。在 256/256 输入/输出序列长度下,Spark 运行 120 字节模型的速度比戴尔的 Qualcomm AIC 100 运行 20 字节模型的速度更快。而且这还不是 Spark 的最佳性能,因为这些结果是在 Marlin 内核的早期软件版本上测得的。
结论很明确。对于单个用户、单次对话,以及足够小的机型(例如 Llama 3.2 1B,以及勉强可以接受的 Llama 3.2 3B,因为 136 GB/s 的 LPDDR4X 内存并非瓶颈),这款笔记本电脑中的 AIC100 是可用的。但对于任何更大的应用,在客户实际收到的配置中,单流解码和静态编译流水线(对高通未预先优化的任何编译形状都进行惩罚)的组合,使得这款加速器的性能甚至落后于同系列 Intel Core Ultra HX 的集成 NPU 和集成 GPU,更不用说与该机型可选配的独立 NVIDIA 显卡了。
如果我们仅比较一下原始规格,NVIDIA Spark 的读写速度为 273GB/s。和 我们测试了 FP8 (E4M3) 下的最大可实现浮点运算次数 (MAMF)。 单芯片性能高达 200TFLOPs。QAIC 的宣传卖点是: 两颗芯片的读写速度为 272GB/s,INT8 浮点运算能力为 435 TFLOPS。因此,理论上它们的性能应该相近,但高通芯片由于软件原因而落后。
这款产品适合哪些人群?你应该购买吗?
对于任何想要从事严肃人工智能工作的人来说,答案是否定的。不要购买这种配置。
戴尔美国官网显示,Pro Max 16 Plus 的 AIC100 SKU 型号售价分别为:顶配版(Core Ultra 9 285HX 处理器、128GB 内存、4TB 固态硬盘)14,871.56 美元;中配版(Core Ultra 7 265HX 处理器、64GB 内存、1TB 固态硬盘)9,661.56 美元;入门级 AIC100 SKU 售价 8,831.56 美元。所有型号均预装 Ubuntu Linux 系统,Windows 系统支持即将推出。经测试,该机型的售价在 14,000 美元至 15,000 美元之间。
作为参考,NVIDIA 的 DGX Spark 目前售价为 4,699 美元。花这个价钱,你可以获得…… GB10 Grace Blackwell 超级芯片它配备 128GB 统一 LPDDR5X 内存、4TB NVMe 固态硬盘、Blackwell GPU,以及约 1 petaflop 的 FP4 AI 计算能力,所有这些都由完整的 CUDA 软件栈、TensorRT-LLM、NIM 和整个 NVIDIA 生态系统提供支持。对于几乎所有实际的 AI 工作负载,单个 DGX Spark 的性能都将超越这款笔记本电脑中的 AIC100,而且它使用的软件是今年新入职的任何 AI 工程师都已熟练掌握的。我们评测的这台机器的价格,足够购买三台 DGX Spark,并为每台配备显示器、外设和办公桌,还能剩下不少钱。如果小型 AI 不是你的菜,那么…… 戴尔 Pro Max Tower T2 工作站 配备 Intel 285K 处理器、128GB DDR5 内存和 NVIDIA RTX Pro 6000 GPU 的电脑,价格也差不多在 15,000 美元左右,具体价格取决于你搭配的 SSD 容量。
很难不让人觉得戴尔把一些电子垃圾塞进了原本非常优秀的机箱里。搭载 RTX PRO 5000 的 Pro Max 16 Plus 是一款出色的移动工作站。但同样的机器,如果换成 AIC100,就成了戴尔保修期内一个糟糕的科学实验品。
结语
如果你几年后读到这篇文章,并且碰巧在清仓货架上看到一台这样的笔记本电脑,价格在两三百美元,那就千万别错过。这台电脑系统可维修、可升级,键盘手感不错,而且周末花点时间改造一下AIC100模块,做一些有趣的事情,正是这台硬件应有的轻松乐趣。
如果您现在想认真从事人工智能工作,那么请为您的 Pro Max 16 Plus 配置任何其他加速器。NVIDIA RTX PRO 移动 GPU,即使是入门级的 RTX PRO 1000,也比 AIC100 模块更适合您。在许多实际应用场景中,Intel Core Ultra HX 的集成 NPU 也更胜一筹,因为它至少可以与 Windows ML、OpenVINO 和现有的 PC AI 堆栈兼容。
给戴尔的一个建议是:Pro Max 16 Plus 机箱非常出色,Pro Max 系列也是市场上最强大的移动工作站平台之一。然而,目前出厂的 AIC100 SKU 却远未达到这一标准。如果推出一条明确标注为实验性或开发者预览版的产品线,戴尔就可以向想要体验新功能的客户提供这些加速器,而无需将 Pro Max 这个大品牌与尚未成熟的产品捆绑在一起。Pro Max 品牌值得保护,而且完全可以找到一种既能保护品牌又能为实验性硬件找到合适归宿的简洁方法。




Amazon