Ai2 研究：LLM 判断研究想法新颖性不可靠
Ai2 发布研究《Old Ideas, Novel Problems》，并公开基准、数据和代码，用于测试 LLM 作为“新颖性评审”的可靠性。测试覆盖 GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6 六个模型，结果显示：评估设置稍有变化，同一批想法的判断就会大幅不同；仅改动提示词中的几个词，模型判断两个想法哪个更新颖的准确率变化就超过 50 个百分点。检索和额外推理并不能稳定提升判断质量，两个专门构建的新颖性评估系统…
推荐理由做 AI 科研助手或自动审稿的人该看：提示词改几个词，准确率就波动 50 个百分点