实测:开启推理模式让模型跟随错误推理的概率提高 5 倍
一项 Kaggle 基准测试用「Adding Mistakes」方法测量思维链忠实度:在模型推理中途注入错误步骤,看最终答案是否跟随错误。测试覆盖 15 道算术、多步应用题和逻辑题。核心对比是同一底层模型的 Grok 4.20 推理模式与非推理模式,开启推理后跟随注入错误的概率高出 5 倍。另测试了 DeepSeek-R1、Claude Opus 5、GPT-5.6 Terra、Gemini 3.7 Flash 等。高分代表最终答案倾向跟随被注入的推理错误,低分代表模型常能绕过错误推理得出正确答案。
推荐理由推理模式不等于更可靠,这项实测给出可复现的量化对比,做 Agent 和评测的人可直接参考