现代人工智能交互的基本智能单元是令牌（token）。无论是用于临床诊断、互动游戏对话还是自主客服代理，这些应用的可扩展性都高度依赖于令牌经济模型（tokenomics）。麻省理工学院（MIT）的最新数据显示，基础设施和算法效率的提升正使推理成本每年降低高达 10 倍。包括 Baseten、DeepInfra、Fireworks AI 和 Together AI 在内的领先推理提供商，目前都在使用 NVIDIA Blackwell 平台来实现这些效率提升，其性能通常比上一代 Hopper 平台高出一个数量级。
通过 Baseten 和 Sully.ai 提升医疗保健效率
在医疗保健领域，诸如医疗编码和文档记录等行政负担严重影响了患者护理。Sully.ai 通过部署人工智能代理来自动化这些日常任务，从而解决了这一问题。此前，该公司在使用专有闭源模型时面临诸多瓶颈，包括不可预测的延迟和推理成本，这些成本的增长速度超过了收入增长。
通过迁移到 Baseten 的模型 API（该 API 使用基于 NVIDIA Blackwell GPU 的开源模型），Sully.ai 的推理成本降低了 90%。Baseten 利用 NVFP4 数据格式、TensorRT-LLM 和 NVIDIA Dynamo 推理框架优化了技术栈。与 Hopper 相比，此次迁移使每美元的吞吐量提高了 2.5 倍，响应时间缩短了 65%。迄今为止，该方案已通过自动化手动数据录入，为医生节省了超过 30 万分钟的时间。
DeepInfra 和 Latitude 的游戏性能
Latitude 是 AI Dungeon 和 Voyage RPG 平台的开发商，由于玩家的每一次操作都需要一次推理请求，因此面临着独特的扩展性挑战。为了保证流畅的游戏体验，低延迟和低成本的令牌交付至关重要。通过在 DeepInfra 基于 Blackwell 的基础设施上运行大规模混合专家 (MoE) 模型，Latitude 实现了显著的成本优化。
DeepInfra 将 Hopper 上的每百万代币成本从 20 美分降低到 Blackwell 上的 10 美分。通过利用 Blackwell 的原生低精度 NVFP4 格式，成本进一步减半至每百万代币 5 美分。这一 4 倍的改进使 Latitude 能够部署更复杂的模型并应对流量高峰，而不会影响用户体验或准确性。
利用 Fireworks AI 和 Sentient 扩展智能体工作流
Sentient Labs 开发开源推理 AI 系统，例如 Sentient Chat，它可以协调多智能体工作流程。这些复杂的交互通常会触发一系列自主任务，从而导致显著的基础设施开销。通过使用 Fireworks AI 在 NVIDIA Blackwell 上的推理平台，Sentient 的成本效益比基于 Hopper 的部署方案提高了 25% 到 50%。
单GPU吞吐量的提升使Sentient能够处理海量并发请求。在病毒式传播阶段，该平台在24小时内处理了1.8万候补用户，并在一周内处理了5.6万次查询。尽管查询量巨大，但经过Blackwell优化的技术栈仍保持了始终如一的低延迟。
通过 Together AI 和 Decagon 实现企业语音支持
Decagon 为企业客户支持提供 AI 代理，在这些场景下，语音交互需要亚秒级的响应速度才能保证有效性。Together AI 将 Decagon 的多模型语音堆栈托管在 NVIDIA Blackwell 平台上，并实现了诸如推测性解码和重复对话元素缓存等优化功能。
这些技术改进将响应时间缩短至 400 毫秒以内，即使是涉及数千个令牌的查询也是如此。通过将开源模型和内部模型与 Blackwell 的软硬件协同设计相结合，Decagon 将每次查询的成本降低了 6 倍，远低于专有的闭源方案。
代币经济学的未来
向 NVIDIA Blackwell 架构的过渡，特别是 GB200 NVL72 系统，标志着大规模部署 MoE 推理模型的方式发生了转变。该平台能够将每个令牌的成本降低 10 倍，这得益于计算、网络和软件层面的深度集成。展望未来，即将推出的 NVIDIA Rubin 平台有望延续这一发展趋势，与 Blackwell 架构相比，性能和令牌成本效益将进一步提升 10 倍。
Amazon