Updated November 3, 2026: The AMD Instinct MI350P joins Also Tested from our first look at 450W, and its two-card results join Scale-Out Configurations; it ranks once it completes the Ministral 3 ladder at 600W. Published October 14, 2026. Five PCIe accelerators ranked on one vLLM container and one model set, with the H100 NVL and the MI350P in Also Tested; the H200 NVL carries a power note explained below.
本页排名的所有加速器均以单张 PCIe 卡的形式通过了 StorageReview 实验室的测试。企业级 GPU 市场分为两类：一类是用于 AI 工厂的 HGX 和 OAM 模块，另一类是用于大多数数据中心已在使用的 2U 和 4U 服务器的扩展卡。本页仅介绍后者：即您可以通过主流服务器配置器订购并安装到现有机架中的数据中心 GPU。
这就是企业推理市场，而企业推理正是这里每张卡片排名所依据的工作负载。每次选择都链接到包含数据的评测，排名则来自对每张卡片进行的相同测试。
该测试是 vLLM 在线服务，这是大多数企业推理运行所依赖的堆栈，每张卡上的并发流从 1 到 32 个，两张 Hopper 卡上的并发流达到 128 个，在同一个 NGC vLLM 26.08 容器（CUDA 13.4.1 上的 vLLM 0.27.1）和同一个 595.71.05 驱动程序中的四个模型上进行。
六张显卡中有五张在我们的戴尔 PowerEdge R770 服务器上运行，其功耗与服务器为 GPU 插槽提供的功耗相同；RTX PRO 6000 在我们的戴尔 Pro Max Tower T2 塔式服务器中使用相同的驱动程序运行。您在下方看到的排名在所有型号和两种请求模式下均保持一致，因此该排名并非仅基于峰值性能。
在这个级别，内存比计算能力更重要。24GB 或 32GB 的显卡适用于小型和中型机型，可以处理聊天长度的请求，但一旦长时间的请求堆积，KV 缓存就会耗尽；48GB 或 96GB 的显卡适用于中型机型，并能支持多租户并发；而 94GB 和 141GB 的 HBM 显卡则适用于 70 亿到 120 亿像素的机型，它们只需使用一个 GPU 即可运行。本文的推荐产品正是基于这种划分，文末的常见问题解答回答了买家最常问的对比问题，例如 RTX PRO 6000 与 H100 的区别，以及在 2U 机箱中 450W 和 600W 的功耗差异。
一览
每秒输出令牌数来自 Ministral 3 14B Instruct FP8，在 32 个并发流下进行，这是每张卡片完成时最繁重的计算点，分别在 512 进 512 出聊天结构和 8,192 进 1,024 出文档结构上进行测试。FP8 是 MAMF 矩阵乘法运算在 TFLOPS 下可达到的最大性能，是持续密集 GEMM 测量的结果，而非厂商峰值。
| 类别 | 加速器 | 内存/带宽 | 插槽/功率（经测试） | 聊天 512/512 (tok/s) | 文件 8K/1K (tok/s) | MAMF FP8（TFLOPS） | 全部评论 |
|---|---|---|---|---|---|---|---|
| 最佳综合 PCIe AI 加速器 | NVIDIA H200 NVL* | 141GB HBM3e / 4.8TB/s | 双槽/450瓦* | 3,435 | 1,038 | 1,262 | ET900N G3 评测（H200 NVL 数据） |
| 最佳企业级推理GPU | NVIDIA RTX PRO 6000 Blackwell 服务器版 | 96GB GDDR7 / 1.6TB/s | 双槽/600W（也测试过450W的功率上限） | 2,283 | 608 | 774 | RTX PRO 6000 评测 |
| 最佳单槽显卡 | NVIDIA RTX PRO 4500 Blackwell 服务器版 | 32GB GDDR7 / 800GB/s | 单槽/165瓦 | 1,107 | 190 | 280 | RTX PRO 4500 SE 评测 |
| 目前仍在发售的主流推理GPU | 英伟达 L40S | 48GB GDDR6 / 864GB/s | 双槽/350W | 995 | 230 | 369 | RTX PRO 4500 SE 评测（L40S 数据） |
| 适用于 1U 和 Edge 的最佳插槽式显卡 | 英伟达 L4 | 24GB GDDR6 / 300GB/s | 单槽 HHHL / 72W | 364 | 42 | 116 | L4 复习 |
*H200 NVL 的测试功耗为 450W，这是戴尔 PowerEdge R770 服务器 GPU 插槽所能提供的最大功耗。该显卡的额定功耗为 600W，但我们并未在此功耗下进行测试，因此本页所示的功耗数据为最低值。RTX PRO 6000 的数据来自工作站版；NVIDIA 将两个版本的额定功耗都定为 600W，并且在我们的测试中，它们的性能表现完全相同。服务器版是采用被动散热、无显示器设计的显卡，配备相同的 GPU 和显存。
精选推荐
最佳 PCIe AI 加速器：NVIDIA H200 NVL
H200 NVL 是我们测试过的速度最快的独立显卡，也是本页唯一一款能够处理超过 32 个流的显卡。在 Ministral 3 14B FP8 测试中，32 个并发流下，H200 NVL 每秒可处理 3,435 个输出令牌，而 H100 NVL 为 3,096 个，RTX PRO 6000 为 2,283 个。随着并发流的增加，差距进一步拉大：在 128 个流下，H200 NVL 每秒可处理 7,336 个令牌，而 RTX 系列显卡在该流下的性能已经达到极限。在 8,192 个令牌的文档结构下，141GB 的 HBM3e 显存始终充足，在所有并发流相同的测试模型中，H200 NVL 的性能都比 H100 NVL 高出 21% 到 23%。
与 Blackwell 显卡相比，H200 的领先优势比规格表显示的要大得多。在 32 路流处理下，H200 在三款 FP8 和 BF16 型号显卡上的速度都比 RTX PRO 6000 快 50% 到 81%。在 8K 输入下，H200 在 14B 型号显卡上每秒可处理 1,038 个令牌，而 RTX 显卡只有 608 个令牌，这是因为 4.8TB/s 的 HBM 数据流解码方式是 1.6TB/s 的 GDDR7 无法比拟的。
两张或四张显卡通过 NVLink 桥接，传输速度可达 900GB/s，这是其他显卡所不具备的。我们的 H200 NVL 测试数据与 RTX PRO 6000 和 GB300 DGX Station 的数据一同出现在 ET900N G3 的评测文章中。在评测中，Station 在 GPT-OSS-20B 编码下，128 个数据流时达到了每秒 22,041 个输出令牌，而 H200 NVL 的测试结果为每秒 6,022 个。
对于 2U 服务器买家来说，功耗信息至关重要：这张显卡在 PowerEdge R770 服务器插槽允许的 450W 功耗下运行，而其 600W 的额定功耗尚未在我们实验室进行测试。它唯一没有展现优势的工作负载是 Qwen3.8-27B 的 NVFP4 版本，因为该显卡没有 FP4 硬件，vLLM 会动态地进行去量化，最终每秒处理 467 个令牌，而 RTX PRO 6000 则为 616 个令牌。购买这张显卡主要是为了其显存和带宽，这正是 70 亿到 120 亿级部署所需要的。
请阅读华硕 ET900N G3 评测，其中包含我们的 H200 NVL 测试结果。
最佳企业级推理GPU：NVIDIA RTX PRO 6000 Blackwell 服务器版
RTX PRO 6000 是本页介绍的企业级推理 GPU：这款 Blackwell 显卡专为企业目前购买的 2U 和 4U 推理服务器而设计，拥有 HBM 级别以下最大的帧缓冲区和最广泛的功能集。 在 600W 功耗下，它在 Ministral 3 14B FP8 上以 32 流每秒输出 2,283 个令牌，在 8B 型号上为 2,139 个，在 3B 型号上为 4,155 个，在短时上下文中大约是 RTX PRO 4500 的 2 倍，在 8K 输入下为 2.7 倍到 3.5 倍，其 96GB 显卡在 32 流时性能持续提升，而 32GB 和 48GB 显卡的性能则趋于平稳。
在 MAMF 中，FP8 性能达到 774 TFLOPS，NVFP4 性能达到 1,481 TFLOPS，是该页面上最高的 FP4 数值。
450W 的功耗上限告诉 2U 机箱买家，最后那 150W 的价值所在。在 450W 的功耗限制下（这是 PowerEdge R770 插槽所能提供的最大功耗），该显卡在短时性能损失了 2% 到 5%，在长时性能损失了 4% 到 9%，而其 FP8 MAMF 测试结果没有变化。在功耗上限下，14B 型号的显卡每瓦额定功率可输出 4.8 个每秒令牌，而 600W 时则为 3.8 个，这就是为什么 2U 机箱买家将其功耗限制在 450W 时性能损失很小的原因。
它也是本页唯一一款配备 RT 核心、四个编码器和解码器以及显示输出的显卡，因此，对于需要将推理、渲染、转码或 vGPU 下的虚拟工作站混合使用的服务器来说，一张显卡即可满足所有需求。我们的测试数据来自戴尔 Pro Max Tower T2 工作站版；NVIDIA 将两个版本的功耗都标为 600W，在我们的测试中，它们的性能表现完全相同，而服务器版是被动散热的无头版本，配备相同的 GB202 GPU 和 96GB GDDR7 ECC 内存。
此外，我们的实验室还测试了以下设备：HPE ProLiant DL380a Gen12服务器中的四张服务器版显卡； ET900N G3 评测中戴尔 PowerEdge XE7740 服务器中的两张和四张显卡；戴尔 Pro Max Tower T2 塔式机箱中的单张显卡（用于产生上述数据）；戴尔 Pro Precision 9 T2中的 300W Max-Q 和 600W 显卡（其中 600W 显卡使 Xeon 处理器在全核 CPU 工作时的性能下降了 4% 到 5%）；Comino Grando 笔记本电脑中的八张显卡和 768GB 硬盘；以及戴尔 Precision 7875和惠普 Z8 Fury G6i中的双 Max-Q 显卡。
最佳单槽显卡：NVIDIA RTX PRO 4500 Blackwell 服务器版
RTX PRO 4500 服务器版采用单槽设计，功耗为 165W，可提供 L40S 吞吐量，这正是大多数主流服务器所期待的。 在32路聊天流测试中，这款显卡在所有FP8和BF16机型上的表现都与L40S持平或略胜一筹：在Ministral 3 14B FP8机型上，每秒处理1,107个令牌，而L40S为995个；在3B机型上，每秒处理2,006个令牌，而L40S为1,988个。要知道，这张显卡的功耗只有L40S的47%，插槽数量也只有L40S的一半。与它所取代的L4相比，它的运行速度是L4的2.8倍到3.6倍，而功耗只有L4的2.3倍。此外，一个可容纳四张双槽显卡的2U机箱，却能容纳八张这样的显卡。
其容量上限为 32GB：在 8,192 个令牌输入的情况下，该卡的性能比 L40S 低 17% 到 33%，并且在 8 个流时曲线趋于平缓，而 48GB 的卡则持续攀升至 16 个流，这是因为 KV 缓存（而非计算）耗尽了。此外，它还是一块全高全长的板卡，带有 16 针连接器，因此 L4 的 1U 和半高机箱无法容纳它，除非使用专为 FHFL 卡设计的机箱。
NVFP4 是另一个需要注意的问题，我们在此次 vLLM 测试中测试的所有显卡都存在这个问题：在 Qwen3.8-27B 测试中，4500 显卡在 32 个流下每秒生成 320 个令牌，而其 FP4 硬件在 MAMF 模式下达到了 569 TFLOPS 的性能，因此 FP4 的优势存在于 GEMM 层，尚未延伸到服务层。此外，该显卡还配备了两个 16GB MIG 分区、机密计算功能以及 vGPU 20，这些功能构成了其数据中心级特性集，而工作站版则不具备这些特性。
此外，在我们的实验室中，我们还对HPE ProLiant DL145 Gen11内部的 L4 进行了相同的测试，这是在本次评测之前进行的边缘服务器评测。
阅读完整的 NVIDIA RTX PRO 4500 Blackwell 服务器版评测
目前仍在发售的最佳主流推理GPU：NVIDIA L40S
L40S 已经连续两年成为主流默认推理卡，而 48GB 的容量是它至今仍能在 Blackwell 时代的页面上占有一席之地的原因。 在聊天形状方面，Ministral 3 14B FP8 在 32 个流上每秒提供 995 个输出令牌，8B 模型上每秒提供 1,005 个输出令牌，3B 模型上每秒提供 1,988 个输出令牌。
这在所有方面都与 RTX PRO 4500 相差不到 12%，并且在 8K 文档测试中领先于它，14B 型号的帧率为 230，而 14B 型号为 190；8B 型号为 277，而 8B 型号为 185；3B 型号为 475，而 3B 型号为 384。它的曲线在长时间运行时会持续攀升至 16 路流，而 32GB 显卡则止步于 8 路。
这块显卡的代价是350W的功耗，双槽PCIe 4.0主板，且不支持FP4硬件；在Qwen3.8-27B的NVFP4版本中，通过反量化处理，其性能达到了每秒480个令牌，比同版本4500的性能高出1.5倍。其MAMF性能上限在BF16模式下为220 TFLOPS，在FP8模式下为369 TFLOPS，略低于RTX PRO 6000的一半。对于已经运行在L40S架构且工作负载处于长时间上下文状态的服务器来说，它目前还不是替换显卡的最佳选择；而对于新的2U服务器来说，单槽4500只需一半的插槽和功耗就能完成相同的长时间上下文工作。
此外，我们的实验室里还有：联想 ThinkSystem SR650 V4中的单个 L40S ，以及我们为 Omniverse 制作的 L40S中的显卡部分。
请阅读我们对 RTX PRO 4500 服务器版评测中的 L40S 测试结果
适用于 1U 和 Edge 平台的最佳插槽式显卡：NVIDIA L4
L4 是本页上唯一一款从插槽获取电源并安装在半高托架上的卡，这使得它能够安装在 1U 服务器和边缘机箱中，而其他更新的卡都无法安装。 在 72W 功率下，它在 Ministral 3 14B FP8 上以 32 流每秒输出 364 个令牌，在 8B 型号上为 279 个，在 3B 型号上为 704 个，其在 14B 型号上每额定瓦每秒输出 5.1 个令牌，超过了 L40S 的 2.8 和 RTX PRO 6000 的 600W 的 3.8。
它的 MAMF 上限在 BF16 中为 50 TFLOPS，在 FP8 中为 116，是这里最低的，而且它没有 FP4 路径，所以 27B NVFP4 型号不适合它的 24GB。
长上下文的性能表现仅限于此：在 8,192 个令牌的上下文中，所有型号的 L4 缓存处理速度都只有每秒 34 到 130 个令牌，这是因为 24GB 的内存容量和 300GB/s 的读写速度同时处理 8K 上下文的数量非常有限。RTX PRO 4500 服务器版的速度是其 2.8 到 3.6 倍，但它需要一个 FHFL 插槽和一根 16 针电源线，因此 1U 或半高机箱中的 L4 缓存集群无法直接替换。我们的 RTX PRO 4500 Edge 评测在 HPE ProLiant DL145 Gen11 服务器上测试了这两款显卡，结果显示 4500 的 L4 缓存处理速度是另一款的 2.7 倍。
我们的实验室还测试了：戴尔 PowerEdge XR7620边缘的 L4 缓存、戴尔 PowerEdge T560中的四个 L4 缓存，以及HPE ProLiant DL145 Gen11中与 RTX PRO 4500 对比的显卡。
也进行了测试
NVIDIA H100 NVL
H100 NVL 在同一台 R770 上运行了相同的梯子，之所以被归类为“其他测试产品”，仅仅是因为此页面上没有 Hopper 同类产品可供比较。 上一代产品，在我们运行的 FP8 和 BF16 模型上，在相同的并发性下，它仍然比 RTX PRO 6000 快 36% 到 61%。
在同一块 R770 显卡上，在同一个容器中，它在 Ministral 3 14B FP8 架构下，32 个流的运算速度为每秒 3,096 个输出令牌；在 8B 推理模型下为每秒 3,449 个；在 3B 架构下为每秒 5,873 个。与后继产品一样，它也能扩展到 128 个流，在 14B 模型下达到每秒 6,038 个。其在 FP8 架构下的 MAMF 性能为 1,047 TFLOPS，比 RTX PRO 6000 的 774 TFLOPS 高出 35%。
其94GB HBM3显存，读写速度高达3.9TB/s，正是其优势所在。在文档测试中，14B型号在32条数据流下每秒可处理859个令牌，比功耗600W的RTX PRO 6000高出41%，曲线形状与H200相同，但高度降低了21%至23%。两张显卡通过NVLink桥接，传输速度达到600GB/s，这是我们Comino Grando H100评测中涵盖的配置。该显卡功耗为350至400W，采用双槽被动散热设计，可使用与L40S相同的转接卡。
它的不足之处与H200相同：在NVFP4检查点上，它没有相应的硬件支持。对于需要HBM容量且已收到H100 NVL报价的买家而言，数据显示它仍然是我们测试过的速度第二快的扩展卡，仅次于上述的H200 NVL。
此外，在我们的实验室中：我们 R770 中的同一对 H100 NVL 为Graid SupremeRAID AE GPU 直接存储测试提供了数据。
AMD Instinct MI350P
The MI350P is AMD’s first new PCIe Instinct card in four years, and it sits in Also Tested because it has not yet run the ranking ladder above. That ladder uses the NGC container and the Ministral 3 model set; our first look ran the card on stock vLLM for ROCm at 450W in a 2U PowerEdge R7725, against a 600W rating. It carries 144GB of HBM3E at 4TB/s, the most memory of any PCIe accelerator we have tested, 3GB above the H200 NVL.
On the tests that overlap, it lands between the two NVIDIA cards. MAMF reached 1,120 TFLOPS in FP8 and 2,228 in block-scaled FP4 at 450W, 36 to 38 percent above the 600W RTX PRO 6000 at every precision in that review’s runs and behind the H200 NVL in BF16 and FP8. On GPT-OSS-120B at 128 streams on the chat shape, one card served 5,057 output tokens per second against 3,064 for the RTX PRO 6000 and 3,376 for the H200 NVL, and on 512-token prompts it beat the RTX PRO 6000 by 35 to 65 percent on every FP8, BF16, and GPT-OSS model.
The H200 NVL stays 4 to 18 percent ahead on the dense FP8 and BF16 models at 128 streams on chat prompts, and on 8,192-token prompts the MI350P trails it by 25 to 58 percent on the same models and flattens by 16 streams on Llama 3.1 8B and MiniMax M2.7. Its two-card results, where a pair holds MXFP4 builds of MiniMax M3 and GLM-5.2 that take four RTX PRO 6000s, ran on ROCm 7.2.3 and appear under Scale-Out Configurations.
It ranks once it completes the Ministral 3 ladder at 600W in a PowerEdge XE7745, which Dell supports with eight MI350Ps. Until then, for a buyer whose models sit between 96GB and 144GB, it is one of two PCIe cards that keep them on a single GPU, and the only one past 141GB.
Read the AMD Instinct MI350P first look
横向扩展配置
此页面上的排名以单卡形式呈现。多卡组合的结果在此以配置形式呈现，不进行排名，因为它们运行不同的模型集和软件栈，无法相互比较，也无法与上方的单卡排名进行比较。每一行都包含测量结果及其来源的评测。
| 配置 | 主办方 | 测量结果 | 堆 | 来源 |
|---|---|---|---|---|
| 4块NVIDIA RTX PRO 6000 Blackwell服务器版显卡（384GB） | 戴尔 PowerEdge XE7740 | MiniMax M3 NVFP4：16 流时输出令牌/秒为 1,181 个，32 流时为 759 个（512/512） | NGC vLLM 26.08，MTP 推测性解码 | ET900N G3 评测 |
| 4块NVIDIA RTX PRO 6000 Blackwell服务器版显卡（384GB） | HPE ProLiant DL380a Gen12 | GPT-OSS-120B NVFP4、TP4：第 64 批次总令牌处理速度为 4,016 个/秒，第 32 批次为 3,956 个/秒；Llama 3.2 90B Vision：第 128 批次总令牌处理速度为 1,372 个/秒 | vLLM在线服务 | DL380a Gen12 评测 |
| 2块NVIDIA RTX PRO 6000 Blackwell服务器版显卡（192GB） | 戴尔 PowerEdge XE7740 | MiniMax M2.7 NVFP4：在 128 个流（512/512）下，输出令牌速度为 1,932 个/秒；在 8K/1K 分辨率下，输出令牌速度为 511 个/秒。 | NGC vLLM 26.08 | ET900N G3 评测 |
| 4 个 Intel Gaudi 3 PCIe 插槽（512GB HBM） | 戴尔 PowerEdge XE7740 | Llama 3.1 70B，TP4：在 128 个并发请求下，总令牌处理速度约为 3,600 个/秒 (1,024/1,024)；在此版本中，FP8 路径的速度比 BF16 慢。 | Intel vLLM 分支 2.7.1，运行于 Gaudi Docker 1.22.2 上 | XE7740 评测（戴尔赞助） |
| 2x AMD Instinct MI350P (288GB), 450W per card | 戴尔PowerEdge R7725 | MiniMax M3 MXFP4: 998 output tokens/s at 16 streams, 1,509 at 32 (512/512); DeepSeek-V4-Flash FP8: 1,081 output tokens/s at 32 streams (512/512), 621 on 8K/1K | vLLM on ROCm 7.2.3 | MI350P First Look |
测试时，Intel vLLM 分支尚未优化其 FP8 路径，FP8 的运行速度比 BF16 慢。MiniMax M3 的测试结果显示了 PCIe 横向扩展的极限，这款机型勉强能装下 384GB 的硬盘。在 16 流处理时，四张显卡的性能超过了单张 GB300 DGX Station，但在 32 流处理时，由于长时间的指令消耗了缓存，性能又有所下降。
超越老虎机
单卡容量超过 141GB 的显卡，或者需要处理 400B 级检查点上数十个流的服务器负载，已经退出了独立显卡市场。GB300 DGX Station 系列显卡出现在我们“最佳本地 AI 台式机”榜单中，与配备 252GB HBM3e 显存的 Blackwell Ultra 单 GPU 和 H200 NVL 显卡并列榜单。而我们 Supermicro JumpStart 评测中的 HGX B200 和 AMD Instinct MI350X 系统则出现在“最佳服务器”榜单中。这些系统是作为系统而非显卡进行评测的，因此不在此榜单中排名。
我们如何排名
StorageReview排行榜遵循三条规则，第一条是只有经过实验室测试的显卡才能上榜：任何未经基准测试的显卡都可以被提及，但不能进入任何类别。第二条是显卡在支持它们的独立主机上进行测试，测试功率为主机提供的实际功率，并且每张显卡的测试结果都会注明；上文提到的H200 NVL显卡是唯一一个评级与实际测试功率不一致的例子。
第三，工作站显卡不包含在本页面中，但有一个例外：如果 NVIDIA 将相同的芯片作为服务器部件出售，并且两者的规格完全相同，则工作站显卡将代替服务器部件，并且条目中会注明这一点。
排名依据vLLM在线服务输出吞吐量、企业推理工作负载（在共享模型集上匹配并发数的情况下）、8,192个词元的文档形状以及MAMF计算结果（用于打破平局）以及内存容量（用于确定可行性层级）。供应商在排名发布前无法查看排名，本页面上的所有位置均不收取费用，凡提及赞助内容，均会明确标明。新卡片会在同一容器上完成相同测试后加入，顶部的变更日志会记录所有更改。
Software stacks change every few weeks, so each figure on this page comes from the run that set the ranking, and later reviews may report newer runs of the same card. We re-rank when a newer run changes the order, not when a number moves.
企业级 GPU 常见问题解答
对于企业级推理而言，哪款GPU最好？
对于大多数企业购买的 2U 和 4U 推理服务器而言，RTX PRO 6000 Blackwell 服务器版是最佳选择，因为它将 96GB 内存、我们测量过的 PCIe 卡中最高的 FP4 计算能力、MIG、vGPU 以及图形和视频引擎集成到一张卡中，即使在主流插槽提供的 450W 功耗下，其吞吐量也仅损失 2% 到 9%。
当内存和带宽决定工作负载时，H200 NVL 显卡速度更快，在我们测试的所有模型中都表现最佳，因此，对于围绕 700 亿到 1200 亿并发模型构建的部署，应该首先考虑 H200 NVL 显卡。如果插槽宽度为单槽，或者功耗预算为 165W，则 RTX PRO 4500 服务器版是最佳选择。
RTX PRO 6000 对比 H100 NVL：哪款推理速度更快？
在相同的 vLLM 容器中运行的 FP8 和 BF16 模型上，H100 NVL 在相同并发条件下比 RTX PRO 6000 快 36% 到 61%；在 8,192 个标记的文档形状上，H100 NVL 快 41% 到 52%，这是因为 94GB 的 HBM3 内存以 3.9TB/s 的速度解码比 96GB 的 GDDR7 内存以 1.6TB/s 的速度解码更快。RTX PRO 6000 在 NVFP4 检查点上胜出，因为 H100 没有 FP4 硬件支持，而且 RTX PRO 6000 是两款显卡中唯一具备图形、视频和显示功能的。如果您需要 FP8 和 BF16 模型的吞吐量，请选择 H100 NVL；如果您需要混合工作负载或考虑 FP4 路线图，请选择 RTX PRO 6000。
H100 NVL 与 H200 NVL：升级值得吗？
在32流的聊天模型下，H200 NVL的性能比H100 NVL高出10%到12%；在128流和8,192个令牌的文档模型下，H200 NVL的性能则高出21%到23%，内存容量分别为141GB和94GB，读写速度分别为4.8TB/s和3.9TB/s。这些数据是基于H200在450W功耗下的表现，这是2U R770插槽所能提供的最大功耗，而其600W的功耗尚未在我们的实验室进行测试，因此上述差距仅为最低值。对于大多数买家而言，容量差异才是决定性因素：一款采用FP8编码、容量为141GB的120B级固态硬盘需要两块H100 NVL才能满足需求。
L40S 对比 RTX PRO 6000：性能更强的显卡能带来什么？
在短时测试中，RTX PRO 6000 在 Ministral 测试集上处理 32 个数据流时，其输出吞吐量是 L40S 的 2.1 倍到 2.3 倍；在 8,192 个令牌的输入下，这一比例增长到 2.2 倍到 2.6 倍，因为 48GB 的显卡在处理 16 个数据流时就耗尽了 KV 缓存，而 96GB 的显卡则继续保持性能提升。RTX PRO 6000 还配备了 FP4 硬件、PCIe 5.0 和 MIG 内存，并拥有四个 24GB 的分区，功耗为 600W，而 L40S 为 350W。对于长时间运行或多租户应用，RTX PRO 6000 是更好的选择；而对于需要与 L40S 性能相当的聊天时长应用，单槽 RTX PRO 4500 则更为接近。
L4 对比 RTX PRO 4500：L4 服务器集群是否应该升级？
在我们的 R770 服务器中，RTX PRO 4500 服务器版在短时间内的输出吞吐量是 L4 的 2.8 倍到 3.6 倍；在 HPE ProLiant DL145 Gen11 服务器中，其吞吐量是 L4 的 2.7 倍，功耗分别为 165W 和 72W，显存分别为 32GB 和 24GB。需要注意的是物理特性：4500 是全高全长显卡，采用 16 针电源接口；而 L4 是半高显卡，采用插槽供电。因此，围绕 L4 设计的 1U 服务器和小型边缘服务器无法使用 4500。建议在机箱配备全高全长插槽的情况下升级 4500，在没有插槽的情况下继续使用 L4。
RTX PRO 6000 服务器版与工作站版：有什么区别？
两款工作站版和服务器版都采用相同的GB202 GPU、96GB GDDR7 ECC显存和600W功耗；NVIDIA官方标称的参数完全相同，我们的测试结果也一致，因此本页数据以工作站版代替服务器版。服务器版采用被动式无头设计，专为机箱风道优化，并具备数据中心级功能，例如MIG、机密计算和vGPU；工作站版则采用主动式散热，并配备四个DisplayPort输出接口。服务器买家通常会选择服务器版，因为无论选择哪一款，参数都是一样的。
PCIe GPU 与 SXM 或 HGX 模块有什么区别？
PCIe加速卡是一种插入标准插槽的附加卡，功耗为72W至600W，因此可以安装在机架中已有的2U和4U服务器中。多卡通信通过PCIe或NVLink桥接器进行。SXM和OAM模块焊接在专用系统（例如HGX B200或MI350X平台）的底板上，每个GPU的功耗为700W至1,400W，并通过完整的NVLink或Infinity Fabric网状网络进行连接。本页面主要介绍第一种类型的加速卡；第二种类型的加速卡将在我们的服务器和本地AI桌面板块中进行介绍。
推理服务器需要多少GPU内存？
这取决于模型和具体情况。在本页中，24GB 和 32GB 的存储卡能够轻松处理 30 亿到 140 亿个模型，聊天长度适中，输入量为 8,192 个 Token，并支持 4 到 8 个数据流；48GB 的存储卡可以支持 16 个数据流；96GB 的存储卡在相同的模型下从未出现容量不足的情况；而 141GB 的 H200 NVL 存储卡在我们的 ET900N G3 测试中能够单卡处理 GPT-OSS-120B 模型。首先要根据权重分配预算，然后根据预期的并发量分配键值缓存，并将长上下文或多租户工作视为至少需要 48GB 或更大容量的存储需求。
在 2U 服务器中，450W 和 600W 的功耗差别大吗？
Less than the rating gap suggests, on the one card we have measured both ways. Capped to 450W, the most a PowerEdge R770 slot delivers, the RTX PRO 6000 gave up 2 to 5 percent of output throughput at short context and 4 to 9 percent at long context, and its FP8 MAMF result did not change, which returned 25 percent of its power budget for a 2 to 9 percent cost. The H200 NVL on this page was tested at 450W for the same reason, and its full 600W result has not yet been measured. The AMD Instinct MI350P in our first look also ran at 450W in a 2U PowerEdge R7725, against a 600W rating, and we will measure the difference in a PowerEdge XE7745.
Amazon