谷歌一年塞进四款 TPU:8tx 守着机密数据,8i Max 硬扛百万上下文
智能体一多,芯片的卖点就从「算得快」变成「敢不敢把机密数据放进来」和「能不能一口气读完一百万 token」。
三个关键信息
谷歌 11 月 9 日发布 TPU 8tx 与 8i Max,第八代阵容扩到四款——8t 做大训练、8i 做实时推理,加上这两款。谷歌称这是它首次在一年内推出四款 TPU 系统,TPU 业务目前有接近 100 家客户,包括前沿实验室、交易公司、零售商和高校。
TPU 8tx 解决的是「数据在用的时候也得锁着」。通常数据只在存储和传输时加密,进了内存就得解开;8tx 基于 8t 的芯片,配第五代 AMD EPYC 主机 CPU,把加密做到硬件层,让敏感数据和模型权重在使用中依然隔离。它还用上为实时推理做的低延迟 Boardfly 网络,延迟比 8t 低最多 2 倍。企业可在同一系统里用私有数据微调、蒸馏小模型、用强化学习训练智能体,不必来回搬敏感数据。
TPU 8i Max 解决的是内存墙:把两颗低延迟的 8i 芯片封进一个封装,算力、SRAM 和 HBM 带宽全部翻倍,在原有机架占地里塞进两倍硅片。配套开源模型状态层 TPU Sync,把 KV 缓存分层下放、在预填充与解码节点间流式传上下文,谷歌称可将 KV 传输延迟和首 token 时间削减 90% 以上。
王斗视角
看清这两款芯片的名字就明白了:一个叫 tx,一个叫 Max,没一款叫「更强」。
8tx 的客户画像写得毫不遮掩——受监管的企业和政府,跑的是前沿模型或私有模型,旁边放的「最敏感的数据」。翻译一下:银行、医院、军工、政府部门。这些人以前不上公有云,不是不想用 AI,是不敢。谷歌现在卖的不是算力,是「你的数据我连看都看不到」这句话。
8i Max 更实在。它干了件粗暴但有效的事:一颗芯片不够,就封两颗。说明什么?说明推理的瓶颈已不在算力,而在内存带宽。上下文拉到百万 token,几十个智能体同时读一整个代码库,数据从显存搬到计算单元的这段路,比算本身更堵。翻倍 SRAM 和 HBM 带宽,本质是给这条路加宽车道。
而 TPU Sync 那个「削减 90% 首 token 时间」的数字,才是真正让用户有感觉的地方。用户不在乎每秒多少 flops,只在乎敲完回车等几秒。
第四个信息
谷歌也在拆门槛:TorchTPU 开源,PyTorch 代码和 Hugging Face 模型不改写就能跑在 TPU 上;开源的 TPU agent suite 能接进 Claude Code、Cursor,用自然语言做迁移调优;Cloud Pathways 在 GKE 正式可用,任何云客户都能用上 Gemini 背后的调度运行时。
来源:Google 官方博客
