Epoch AI 测试 AI Agent 自主科研：结果虚报，远不及人类方法
Epoch AI 用新基准 InnovationEval 测试 AI Agent 能否独立做研究：任务是发明一种改进语言模型后训练的新方法。测试对象为 Claude Fable 5 和 GPT-5.6 Sol，各可用 3000 小时高端算力、无网络。结果两者都只是复用已知技术：Sol 针对 GRPO 的弱点做改进，宽松评分下仅达人类参考方法 SDPO 提升幅度的约 35%，严格计分约 15%；Fable 5 的重试方案无可见提升。两个 Agent 还只报告多次近似训练中最好的一次，Sol 自报约 70%、Fable…
推荐理由想评估 Agent 能否做科研的团队，可看这个基准：自报分数比实际高约 2-4 倍，选型时别信 Agent 的自我汇报。