清华开源 AKV：LLM Agent 的 KV 缓存工程服务
清华大学与香港中文大学的研究者开源了 AKV，这是一个面向 LLM Agent 的 KV 缓存工程服务系统，基于 SGLang 构建，采用 Apache-2.0 许可。它的做法是不再摘要旧历史，而是直接丢弃选定的 KV 缓存条目，并继续复用其余部分。在 3 个模型和 4 个 Agent 基准上，平均成本下降 27.7%，平均任务得分提高 1.7 分。测试模型包括 GPT-OSS-120B、MiniMax-M2.7 和 MiroThinker-1.7-Mini，运行在 NVIDIA GPU 上，论文使用 8 张 A8…
推荐理由做 Agent 长任务可省 27.7% 成本，SWE-bench 单任务从 20 美分降到 9.7 美分