新基准 Taste-Bench:AI Agent 长期决策能力接近抛硬币
研究者提出 Taste-Bench,用 502 道二选一题测 Agent 在长期任务中的决策品味。做法是在同一任务多次运行的"决策分叉点"冻结轨迹、隐藏后续结果,让模型判断哪条路径更好。测试 14 个模型(Claude、GPT、Grok、DeepSeek、GLM、MiniMax、Mistral 家族),每题正反各问一次、两次都对才算对,纯猜得分 25%。最高分 GPT-5.6 Sol 为 59.7%,GPT-5.5 为 59.5%,其余明显更低,无一接近解决。数据来自 SWE-bench Pro 和 METR 公开…
推荐理由现有基准只看任务是否完成,这个基准首次量化 Agent 的"过程品味",最高分仅 59.7%