清除条件
共 3 条
The Decoder5 天前模型论文研究海外

研究:编码 Agent 的复杂框架更贵但不更强

一项研究对比 Claude Code、OpenCode 和 mini-SWE-agent 三种编码 Agent 框架,在 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash、HY4-Preview 五个模型上测试。在 447 个 SWE-bench Verified 任务上,最重的 Claude Code 与最轻的 mini-SWE-agent 通过率相差不到 2 个百分点,在 5 分区间内统计等价;但三种框架的 token 消耗是最精简方案(mini-SWE-agent…

推荐理由换框架带来的提升和重跑一次的随机波动差不多,但 token 花 2 到 3 倍,选型时别为框架溢价买单

Hacker News Show10/14模型产品雷达海外2 个独立信源2 条讨论

Parsimony:开源基准衡量 AI 模型写代码的净增量

开发者发布开源基准 Parsimony,用「净编码单元」衡量 AI 模型在解题时新增多少代码:统计语句、调用、比较、命名和字面量等语法元素,不按行数计,并减去删除的代码(净单元 = 新增 − 删除)。数据取自 SWE-bench Verified 已公布的补丁,不重跑测试,仅测 Python,排除测试、文档和生成文件。榜单按已解任务的平均净新增单元从低到高排名,失败尝试也计入均值。作者提醒:单元数只衡量体积,不代表可读性或设计好坏;写代码多的模型往往解题也更多(26 个以上模型的榜单上 Spearman 相关系数 …

推荐理由想知道哪个模型写代码最啰嗦,可看这份榜单,还能上传自己基准的数据生成对比图。

DEV Community · AI10/13模型技巧与观点海外

本地 LLM 能否替代 Claude Code:SWE-bench 不是对的基准

作者实测用本地模型驱动 Claude Code 和 Codex 后指出,SWE-bench Verified 只衡量「给定 bug 产出正确补丁」这类写作任务,无法反映真实代理场景的四个关键问题:工具调用格式是否稳定可解析、长程任务第 11 次调用是否还记得第 2 次的计划、40K token 真实仓库上下文下质量是否崩塌、指令遵循是否可靠。2026 年两个变化让本地方案可行:MoE 架构(如 Qwen 35B-A3B 每 token 仅激活约 3B)把显存门槛降到消费级 GPU,Ollama 于 2026 年 1…

推荐理由想用本地模型替 Claude Code 的人先看这篇:SWE-bench 高分不等于能当代理,四个真实失败点值得对照自测