谷歌为其第八代TPU产品线新增了两款系统:TPU 8tx,一款基于TPU 8t芯片的机密计算系统;以及TPU 8i Max,它将两颗TPU 8i芯片封装在单个芯片上,用于长上下文推理。这两款系统与谷歌在4月份Cloud Next大会上推出的TPU 8t训练芯片和TPU 8i推理芯片共同组成了TPU产品线。谷歌表示,这是其首次在一年内推出四款TPU系统。
谷歌将这两款新增产品描述为基于现有芯片构建的新系统,通过改变芯片的封装、高速内存、网络和安全机制来适应不同的工作负载,并认为正是这种模块化方法使得定制化配置能够在数月内交付。据谷歌称,TPU 目前拥有近 100 家客户,包括前沿实验室、贸易公司、零售商和大学,部分客户现在可以直接在数据中心部署 TPU。
TPU 8tx:基于 TPU 8t 硅的机密计算
TPU 8tx 采用与 TPU 8t 相同的芯片,搭配第五代 AMD EPYC 主机 CPU,并在硬件中内置机密计算功能,确保数据和模型权重在使用过程中始终受到保护并保持隔离。谷歌将 PCIe 链路加密、加密认证和安全内存隔离区列为其安全特性之一,并将该系统瞄准运行前沿或专有模型和代理以及敏感数据的受监管企业和政府机构。
TPU 8tx 还采用了谷歌为 TPU 8i 构建的低延迟 Boardfly 网络。谷歌表示,该网络的延迟比 TPU 8t 低 2 倍,性能损失几乎为零。谷歌将其定位为安全推理和小规模训练平台,因此团队可以使用私有数据进行微调,将大型模型精简为小型模型,并通过强化学习训练智能体,而无需在不同的集群之间移动敏感数据。
TPU 8i Max:每个封装包含两个推理芯片
TPU 8i Max 旨在为诸如数十个代理程序跨整个代码库运行或数小时视频处理等工作负载提供更高的内存带宽。谷歌将两颗 TPU 8i 芯片集成在一个封装中,使其计算能力、片上 SRAM 和 HBM 带宽均比 TPU 8i 翻倍。谷歌在 TPU 8i 发布时标称其 SRAM 容量为 384MB,因此翻倍后的 8i Max 每个封装的 SRAM 容量为 768MB,但谷歌尚未公布该封装的 HBM 容量。由于 8i Max 在现有机架空间内集成了两倍的芯片,谷歌表示其每平方英尺和每瓦的计算能力更强。
谷歌现在将四款第八代系统与代理工作的不同阶段对应起来:TPU 8t 用于扩展训练,TPU 8i 用于低延迟推理,TPU 8tx 用于机密计算,而 TPU 8i Max 则用于处理海量上下文窗口并实现最高的机架计算密度。谷歌尚未透露 TPU 8tx 和 TPU 8i Max 何时会面向 Google Cloud 客户推出,也未公布这两款系统的定价。
TPU 同步、云路径和 GKE 动态切片
谷歌还开源了 TPU Sync,这是一个 C++ 库,它将芯片 HBM、主机 DRAM、共享存储和数据中心网络视为一个单一的内存层次结构。它将键值缓存分层放置在芯片之外,将上下文信息从预填充节点流式传输到解码节点,并将强化学习权重从训练器同步到采样器。谷歌表示,TPU Sync 可以将键值传输延迟降低 90% 以上,并且在参数量为 235 亿到 480 亿的开放权重混合专家模型上,将首次令牌到达时间平均缩短 90%。
谷歌DeepMind为Gemini开发的运行时环境Cloud Pathways现已在谷歌Kubernetes Engine上正式发布。它使用单个控制器来协调跨多个切片的TPU系统,用于预训练、强化学习和多主机推理,并通过亚分钟级的切片热插拔和弹性重新分片,确保长时间运行的作业在硬件中断的情况下也能持续运行。
GKE动态切片技术也已正式发布,它利用光路交换技术将TPU立方体组装成更大的拓扑结构,或将其拆分成更小的独立工作负载,而无需重新创建节点池。谷歌表示,该技术可将作业启动时间缩短至多5倍,并将故障恢复速度提高至多4.5倍。预览版TPU代理套件可与Claude Code、Cursor和Google Antigravity等编码工具集成,用于工作负载上线、瓶颈诊断和内核自动调优。此外,全新的开源XLA服务引擎支持在TPU、GPU和CPU上运行基于C++运行时环境的Python训练模型。




Amazon