📄论文
遇到一篇新论文可能会改变一个研究想法的轨迹。研究者可能会发现已经有人解决了他们提出的贡献,或者在论文中发现一个未解决的问题,从而启发新的探究方向。
我们将这一过程称为文献触发的转向:由阅读先前工作所引发的研究方向变化。它连接了两项研究者往往不得不分开管理的活动:发展一个想法,以及决定用哪些文献来衡量它。
我们与宾夕法尼亚大学(University of Pennsylvania)的合作者一起开发了LitPivot,一个帮助研究者应对这些转向的系统。借助通过Asta Paper Finder检索到的论文,LitPivot 围绕提案中被编辑的部分来组织文献,提供由所选研究摘录支持的批评意见,并给出研究者可以接受、编辑或拒绝的修改建议。LitPivot 旨在用于早期研究构思,但这一思路有可能扩展到更长的写作任务(即撰写论文的引言部分)。
在一项有 17 名研究者参与的研究中,领域专家评定:使用 LitPivot 形成的研究想法比使用文本编辑器和 AI 聊天工具形成的想法在文献基础上更扎实。参与者还认为他们修改后的研究想法更具新颖性和实用性,并表示对相关文献有了更深入的理解。
LitPivot 将在底特律举行的 UIST 2026 上展示。阅读论文此处。
为何转向很难
研究想法通过与文献的互动而演进。在我们对四个已完成的计算机科学研究项目的会议记录分析中,我们在全部四个项目中识别出 21 次文献触发的转向。这些转向分为两类:将想法与现有工作区分开来以确立其新颖性,以及将想法与现有工作对齐以在其基础上构建。这个项目本身在确定其贡献之前也经历了两次转向。
这些改动可能难以驾驭。在一项形成性研究中,五位研究人员使用文本编辑器和标准搜索工具撰写提案。他们在构思创意的同时,还要对照文献对其进行批判性评估,这让他们颇感吃力。当某篇论文质疑某个创意的新颖性时,他们希望获得具体的修改建议,并有先前工作作为支撑。这些发现塑造了 LitPivot 的评估方式:将文献支持的批评与针对所选创意部分的具体修改建议配对呈现。
LitPivot 如何工作
在 LitPivot 中,研究人员首先在编辑器中撰写一份简短提案,并启用我们称之为facet highlighting的功能,它将一个已阐述的创意切分为不同的侧面(即问题、贡献和评估)。要检查某个提议的侧面,研究人员在草稿中点击该片段。相邻面板会根据所选侧面将相关论文分组(例如,当选中评估侧面时,按论文所使用的评估方法分组),并高亮最相关的分组。研究人员选择论文、请求评估,并查看建议的修改以及支持该批评的摘录。随后,文献会根据与修改后侧面的相关性重新排序。
具体而言,LitPivot 将研究创意拆分为其问题、提议的贡献以及评估计划。每个侧面都有各自的相关文献集合和相关性排序。LitPivot 围绕正在编辑的侧面将检索到的论文分组,让研究人员选择系统应使用哪些论文来评估草稿。
与 Prism 等科学写作环境和 Claude Code 等智能体助手并列,LitPivot 探索了一种发展早期研究创意的新工作流:选择用于评估该创意的文献,利用这些证据修改创意,并随着创意的变化重新考虑哪些论文重要。它的论文分组和关联批评使提案每个部分的这些步骤都变得明确,而研究人员同时掌控草稿和用于评估的证据。
对于问题陈述,LitPivot 会寻找证据证明该问题确实存在,并论证其重要性。为评估所提出的贡献,它会将所选论文已经解决的内容与它们描述的局限性和未来工作进行比较,寻找剩余的空白。对于评估计划,它会检查所提出的测试是否针对研究问题,以及类似工作是如何被评估的。随后,系统会建议重写,并附上支持性引文。
改变想法的一个方面可能会让另一个方面过时。LitPivot 会标记可能需要修改的段落,例如某个评估计划不再能充分评估修改后的贡献。研究人员可以接受、编辑或拒绝建议,并随着提案的发展请求新论文或刷新文献排名。
来自一位研究参与者的转述示例。
我们的发现
在我们的实验室研究中,17 位研究人员分别使用 LitPivot 和基线工具各发展一个分配的想法——基线工具是一个文本编辑器和一个用于就所选论文提问的 AI 工具。两种条件使用相同的论文集合。两位领域专家在不知道使用的是哪个系统的情况下,按单一标准对生成的提案进行评分:它们利用相关文献支持和论证想法的程度。使用 LitPivot 发展的提案获得了更高的评分。
同一研究中的参与者还报告称,与基线相比,使用 LitPivot 时他们对周边文献的理解更强,并且自评其想法的新颖性和有用性提升更大。领域专家还审阅了参与者的想法,并评定使用 LitPivot 修改后的想法在相关文献基础上显著更有依据。
我们实验室研究的一位参与者最初提出生成一致、事实性的合成医学笔记。LitPivot 将多次就诊之间的一致性识别为所选文献中的一个潜在空白。该参与者审阅了摘要,并删除了关于单次就诊笔记的论文。经过又一次评估后,他们将提案收窄为检测多次就诊笔记之间的矛盾。这个例子展示了修改想法与选择用于评估该想法的文献如何相互启发。
在一项后续研究中,五位研究人员在 30 分钟的会话中使用 LitPivot 处理他们自己正在进行的项目。参与者在多个项目阶段使用 LitPivot,而不仅仅是在开始时。两人用它来对照文献审查新想法,三人用它来完善更成熟想法的框架。一位研究人员强调,看到来自不同领域的平行概念如何帮助他们重新构建自己的贡献。
这些研究表明,LitPivot 既能支持早期探索,也能支持对现有研究方向的完善。
支持科学发现
在 Ai2,我们正在开发 AI,帮助研究人员构思可检验的想法并审视其背后的证据。Asta通过以下方式支持这项工作:从已发表发现中生成理论(Theorizer)、综合,以及在数据上生成和检验假设(AutoDiscovery),同时HARPA生成受新兴研究趋势启发的有前景的假设。Scideator让研究人员将先前工作的元素重新组合成新想法,并评估其新颖性,而IdeaSynth通过基于文献的反馈支持迭代完善。
我们最近的研究,Old Ideas, Novel Problems,考察了自动化新颖性评估的局限,展示了微小的提示变化如何改变 AI 评判者对相同想法的判定。LitPivot 通过将相关文献的选择纳入修改过程,延伸了这一研究方向。研究人员可以随着想法的发展改变用于评估提案的论文,然后利用批评意见和支持性摘录来决定如何修改。该系统将这些决策贯穿于提案的问题、贡献和评估计划之中。
我们希望 LitPivot 提供的洞见能帮助科学家在已有知识的基础上继续推进,把早期想法转化为对其领域的新贡献。


