Google 开源 TPU Sync：KV Cache 传输延迟降低 90%
Google Cloud 发布开源 C++ 库 TPU Sync，用于在 Cloud TPU 上搬运 KV Cache 和模型权重，把 TPU HBM、主机 DRAM、共享存储和数据中心网络视为统一内存层级。官方称在 235B 至 480B 参数的 MoE 模型上，KV 传输延迟降低超过 90%：Qwen3 235B 的中位 KV 传输延迟从数秒降至约 230 ms，480B 模型在低并发 P/D 分离服务和 64K 上下文前缀缓存下，平均首 token 延迟（TTFT）最多降低 90%。库提供原生 C++ 核心和…
推荐理由做 TPU 推理部署的团队可关注：P/D 分离场景下 KV 传输从数秒降到 230 ms，但官方标注尚不建议通用。