#SGLang

共 2 条

MarkTechPost3 天前模型论文研究海外

清华开源 AKV：LLM Agent 的 KV 缓存工程服务

清华大学与香港中文大学的研究者开源了 AKV，这是一个面向 LLM Agent 的 KV 缓存工程服务系统，基于 SGLang 构建，采用 Apache-2.0 许可。它的做法是不再摘要旧历史，而是直接丢弃选定的 KV 缓存条目，并继续复用其余部分。在 3 个模型和 4 个 Agent 基准上，平均成本下降 27.7%，平均任务得分提高 1.7 分。测试模型包括 GPT-OSS-120B、MiniMax-M2.7 和 MiroThinker-1.7-Mini，运行在 NVIDIA GPU 上，论文使用 8 张 A8…

推荐理由做 Agent 长任务可省 27.7% 成本，SWE-bench 单任务从 20 美分降到 9.7 美分

#开源生态 #Agent #SGLang66

Modal10/13资讯论文研究海外

Modal 用混合精度混合加速器采样器做 RL 训练

Modal 提出在强化学习中让采样器与训练器使用不同精度和不同加速器：采样器跑在 B200、B300、H100、H200 等六种加速器上，分别用 NVFP4、FP8、BF16 权重，训练器在 B200 上用 BF16 更新策略。由于采样已占大模型 RL 运行 80–85% 的 GPU，这一改动可降低成本。团队用 Miles 框架、SGLang 采样器和 Megatron-LM 训练器，在 Qwen3.6-35B-A3B 上做完全异步的 Agent 编码任务训练，上下文最长 256K，使用小米 MiMo-V2.6 发…

推荐理由采样占 RL 训练 80–85% 的 GPU，这套方案给出用低精度、异构卡跑采样器的具体做法和评测结果。

#强化学习 #部署工程 #SGLang77