今天我们发布Old Ideas, Novel Problems，这是一项关于大语言模型评估科学研究想法新颖性的可靠程度的新研究。除论文外，我们还发布了一个用于测试新颖性评判器的基准测试、数据和代码，以及一条可供研究人员构建新评估集的自动化流水线。
在 Ai2，我们一直在开发支持科学发现不同环节的 AI 系统。DataVoyager帮助研究人员探索和分析结构化数据，AutoDiscovery生成并检验假设，Theorizer将大量文献中的证据综合为候选科学理论。与Asta一起，这些项目指向了能够帮助研究人员从理解已有工作，走向提出、检验和精炼新想法的系统。
但生成研究想法只是自动化科学发现挑战的一部分。这些想法还需要贡献真正新颖的东西，这意味着这些系统需要一种方式来区分新颖方向与主要只是重新包装已有工作的方向。
这一判断通常被交给另一个 LLM——我们称之为新颖性评判器。新颖性评判器评估一个研究想法相对于已有工作是否新颖，可以单独评估，也可以与另一个想法比较。构建评判器没有标准方法；研究团队会选择模型、提示词、评估格式、推理预算，有时还会选择文献检索系统。这些选择会实质性地影响判定结果。然而，这些评判器往往只在人类撰写的论文上验证，而不是在它们实际要评估的 AI 生成想法上验证。
我们的新基准测试结果表明，新颖性评估本身远不可靠。在六个 LLM 评审——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6——中，评估设置看似微小的改动，就会对相同的想法产生截然不同的判断。在一项实验中，仅改动提示词中的几个词，模型在判断两个想法中哪个更新颖时的准确率就变化了超过 50 个百分点。检索和额外的推理并不能稳定地改善判断，而两个专门构建的新颖性评估系统表现还不如一个简单的提示式 Claude Opus 4.6 基线。
如果 AI 要在科学发现中扮演更大的角色，我们需要更可靠的方法来判断它是否真的提出了新东西。我们的工作为研究这一问题提供了工具，同时也表明还有多少问题尚未解决。
构建新颖性评审的基准测试
为了测试新颖性评审在区分更新颖与不太新颖的研究想法方面有多可靠，我们首先需要一些例子，这些例子背后的科学贡献的原创性有强有力的证据。
因此，我们围绕 ICLR 2026 的同行评审构建了一条自动化流水线。我们没有把论文被接收当作新颖性的代理指标，而是从评审意见本身中挖掘评审者明确讨论贡献原创性的段落。这一区分至关重要；一篇论文只要在其他方面足够强，即使不是特别新颖也可能被接收。同样，一篇被拒的论文即使有原创性贡献，也可能存在其他弱点。
我们创建了一个高新颖性池，包含 154 个人类撰写的研究想法，选取方法是：在各自 ICLR 研究领域中排名前 10% 的被接收论文，其评审者明确肯定了新颖性，且没有评审者对此提出异议。我们应用相反的标准构建了一个较低新颖性池来自被拒论文中处于后 10% 的 145 个想法，其审稿人提出了原创性方面的疑虑，且没有任何审稿人正面认定其新颖性。在对评审挖掘流程的单独检查中，一位标注者在 50 个案例中有 47 个同意所提取的新颖性信号极性；没有任何分歧会改变某位审稿人是否被计为赞扬或质疑该论文的新颖性。
这两个池子共同构成了我们的第一个评估设置，仅人类，它检验新颖性评判者能否区分具有更强或更弱新颖性证据的人类作者想法。但在实践中，新颖性评判者正越来越多地被用于评估 AI 生成的想法。因此我们创建了第二个设置，人类+生成。
对于这个池子，我们将同样的 154 个经过验证的人类想法与一个简单 LLM 生成器产生的 154 个想法配对。我们假设生成的想法不如其人类作者对应想法新颖；这些是弱标签，并非对每个想法的经过验证的判断。生成器只收到一个研究领域和一条提出新颖想法的指令，没有文献检索、工具、迭代或反馈。这让我们在一个基础生成器的想法与来自 ICLR 前 10% 论文、且其审稿人明确认可其原创性的贡献之间，进行了一次保守的比较。
作为额外检查，一位专家独立审阅了 30 组人类+生成配对，且严重偏向于我们最强评判者判断错误的案例，我们将人类和 AI 生成的想法改写为共同结构，以检验评判者是否只是对写作风格的差异做出反应。该专家在所有 30 组配对中都更偏好人类想法，并判定没有任何生成的想法具有新颖性。
重要的是，我们的许多核心发现根本不依赖于这些标签。如果两个合理的评估设置对同一对想法给出相反的答案，这种分歧本身就揭示了不稳定性。
微小的变化可能产生非常不同的判定
利用我们收集的人类撰写和 AI 生成的研究想法，我们测试了六个 LLM 评判者——GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5 和 Claude Opus 4.6——在通过逐点（即绝对新颖性评分）和成对（即比较两个想法以找出更新颖的一个）两种比较方式评估新颖性方面的表现。我们每次只改变一个因素：提示词、推理预算、评判者是否能看到相关论文、想法的格式、有多少个判断被合并为最终裁决，以及——对于 AI 生成的想法——是哪个模型生成的。
性能上最大的变化来自我们如何提示模型去评判新颖性。
例如，我们向 GPT-5.4 展示了相同的人类+生成配对——每对包含一个经过验证的人类撰写想法和一个 AI 生成想法——并使用了两种提示词。一种提示词告诉模型，评审者发现每对中恰好有一个想法是新颖的，并要求它指出是哪一个；另一种则只是问哪个想法是新颖的。当我们切换到更简单的提示词时，准确率从 93.5% 下降到 40.9%——低于随机水平——并且模型在超过一半的相同配对上改变了裁决。
相比之下，同样的提示词变化在仅人类数据集上只让准确率变化了约 7 个百分点，该数据集将人类撰写的想法与更强和更弱的新颖性证据配对。这表明，新颖性评判者在人类撰写的研究上可能显得相对稳定，但在 AI 生成的想法上表现却可能非常不同。
话虽如此，人类撰写的想法也并非不受影响。我们在仅人类数据集上也看到了显著变化；同样的改动让 Claude Opus 4.6 的准确率变化了 21 个百分点。只是这些变化没有 AI 生成想法上那么严重。
也不存在普遍更好的提示词。例如，在逐个评判想法时，去掉一条警告评判者不要把琐碎或渐进式贡献视为新颖的指令，会提高一些评判者的准确率，同时降低另一些评判者的准确率。换句话说，对一个模型有效的提示词未必能迁移到另一个模型。
我们还测试了新颖性评判器的一个常见用途：比较两个 AI 生成器的想法。我们将 Claude Opus 4.5 与 Claude Sonnet 4.5 的想法配对，并将 GPT-5.4 与 GPT-5.1 配对。在测试的提示词改动中，六位评判器平均约有四分之一到三分之一的判定发生了变化。这种分歧可以在不假设哪个生成器产生更新颖想法的前提下被测量出来，从而表明评判器提示词的选择如何影响构思系统之间的比较。
更多的搜索和推理并不一定产生更好的新颖性判断。我们给 GPT-5.6 Sol 分配了超高的推理预算，并限制在 arXiv 上进行实时、迭代式搜索，然后将其与标准检索评判器进行比较，后者每个都看到五篇预先检索的摘要。（此比较中的所有评判器对每个想法各运行一次，基于人类+生成。）该智能体评判器得分为 0.78 macro-F1——比 Claude Opus 4.6 的 0.89 低 11 个百分点，与更简单的 Claude Opus 4.5 和 GPT-5.4 设置大致处于同一区间——而按当前 API 价格计算，每次决策的成本约为后者的 10 倍。（在此语境下，macro-F1 衡量评判器识别新颖和非新颖想法的能力；越高越好。）
专用评估器也没有更准确，尽管成本高得多。在人类+生成集上，一个使用低推理并在三次调用中进行多数投票的简单 Claude Opus 4.6 提示词实现了 0.854 macro-F1，总评估成本为 $2.59。相比之下，Idea Novelty Checker——一个基于文献的检索与重排序流水线——得分为 0.642，成本为 $30.66；而 Sakana AI 的 AI Scientist 的新颖性评估器会迭代搜索 Semantic Scholar，得分为 0.772，成本为 $82.05。（两个专用评估器均使用 Claude Opus 4.6，每次决策调用一次。）
换句话说，简单的提示词基线比两个专用系统都更准确，而且成本低得多。
综合来看，这些结果表明，对于这些系统越来越多被要求评判的 AI 生成想法，新颖性评估尤其脆弱。
迈向对新研究更可靠的评估
我们的结果表明，基于 LLM 的新颖性评估仍是一个主要的开放问题。在人类撰写的研究上表现可靠的评审模型，面对 AI 生成的想法时可能表现不同；对某个模型有效的提示词，可能对另一个模型有害；更多的搜索或算力并不必然带来更一致的判断。
未来的工作应当在实际将要评估的那类想法上测试评审模型，衡量其对不同提示词和模型的敏感性，改进先前文献的引入方式，并构建能够随着科学文献增长和 AI 系统进步而演进的基准测试。我们的基准测试和可复用的数据流水线是一个起点——研究者可以将其应用于新的同行评审、其他科学社区以及未来几代的新颖性评审模型。
自动化构思不仅依赖于生成看似合理的研究方向；我们还需要能够判断这些想法何时真正具有新颖性的方法。通过让当前新颖性评审模型的弱点更容易被衡量，我们希望此次发布能帮助研究者构建更稳健的方法来评估 AI 生成的研究想法。