SambaNova 和 Supermicro 将合作构建并销售将 NVIDIA GPU 与 SambaNova 的 SN50 可重构数据流单元 (RDU) 相结合的解耦式推理系统。Supermicro 最初计划采购 10,000 颗 SN50 芯片。这些机架将加入 Supermicro 的数据中心构建模块解决方案 (DCBBS) 产品目录，Supermicro 将负责集成、测试、交付和支持。两家公司均表示，10,000 颗芯片是分阶段推广的计划数量；双方均未透露采购承诺、定价或发货日期。
NVIDIA GPU 运行预填充，SN50 RDU 运行解码
这种拆分遵循 LLM 推理的两个阶段。预填充阶段处理提示信息，属于计算密集型阶段，由 SambaNova 分配给 NVIDIA GPU；解码阶段一次生成一个 token，属于内存密集型阶段，由 SambaNova 分配给 SN50。SambaNova 认为这种拆分方式的合理性在于，智能体工作负载的大部分时间都花费在解码阶段，因为智能体需要进行数千次模型调用，而每次响应都会影响其下一步操作，因此更快的解码阶段可以缩短整个循环。
SN50 是 SambaNova 的第五代 RDU（远程数据单元），该公司表示，它能够在不占用过多机架功率的情况下，以高吞吐量服务于最大型的机型，因此运营商可以在现有设施中增加推理容量，并让现有的 GPU 继续用于预填充任务。SambaNova 声称，SambaRack SN50 的单加速器计算能力是上一代产品的 5 倍，网络带宽是上一代产品的 4 倍，该产品采用风冷散热，最多可扩展至 256 个加速器。
SambaRack SN50 每个机架可容纳 16 个 RDU，因此，如果 Supermicro 保持目前的密度，最初的 10,000 个芯片计划大约需要 625 个机架。SambaNova 尚未公布 GPU 和 RDU 组合系统的吞吐量、延迟或功耗数据，Supermicro 也未具体说明服务器配置、GPU 型号、互连方式，以及每个系统包含的 GPU 和 RDU 数量。Supermicro 的 DCBBS 产品目录中已包含NVIDIA Vera Rubin NVL72 机架以及用于代理沙箱的Vera CPU 机架。
Supermicro负责集成和现场支持
Supermicro负责系统集成、测试、交付和客户支持（包括现场服务），而SambaNova的工程师则将模型导入SN50平台，针对硬件进行调优，并协助Supermicro进行部署。对于买家而言，渠道发生了变化：SN50 RDU可以像机架中的其他组件一样，与Supermicro的GPU一起订购，整个系统由同一供应商负责。
“智能体人工智能是下一代推理技术，它必须无处不在，”SambaNova联合创始人兼首席执行官Rodrigo Liang表示。“Supermicro为全球数据中心构建人工智能基础设施。现在，客户可以从他们信赖的世界领先合作伙伴那里订购SN50 RDU以及GPU。这就是快速、高效的推理技术得以扩展的方式。”
Supermicro总裁兼首席执行官梁志强表示：“我们与SambaNova的合作扩展了我们广泛的DCBBS产品组合，实现了异构架构，将GPU计算与专门的推理加速相结合，帮助客户部署高效、可扩展的AI解决方案。”
新云和主权云是最初的目标
双方将首先合作开发NeoClouds和主权云平台，然后扩展到在企业内部运行AI的企业。SambaNova预计，到2027年，此次合作将使其高性能推理能力远超自身单打独斗的能力，但该公司尚未公布客户名单或1万颗芯片的交付时间表。此前，SambaNova于7月1日完成了10亿美元的融资，估值达到110亿美元。此次融资包括摩根大通部署SN40和SN50系统用于本地推理，以及与英特尔开展异构推理合作。
Amazon