harness 决定智能体在修改文件前是否读取了正确的文件、是否能从错误中恢复，以及是否能干净利落地交付结果。根据一篇新研究论文，智能体近期的大部分进展来自对 harness 的改进，而非新模型。
直到最近，这一直是手工完成的。人们审查失败的运行记录，并手动修补 harness。较新的方法则通过让语言模型根据测试任务的反馈反复重写 harness 本身，来自动化这一循环。
研究人员将其称为一种实用形式的递归自我改进。系统产生反馈，用它来优化 harness，而 harness 又反过来控制该系统自身的行为。
自我优化导致智能体记住其测试任务
论文表明，这种自我优化有一个陷阱。由于智能体持续在同一个有限的测试任务集上工作，它最终会记住这些任务。它在训练任务上的得分上升，而在新的、未见过的任务上的提升则缩小甚至完全消失。
研究人员表示，这种情况会以多种方式发生。搜索过程会记住只适用于某个特定基准测试的模式，偏向那些纯粹靠运气得高分的候选方案，并堆砌不必要的复杂性，从而在不提升智能体能力的情况下抬高测试分数。
其他方法大多只在训练任务上有所改进，但其中很少能迁移到未见过的基准测试上。RRSI 在全部三个领域都提升了这些基准测试上的分数。| 图片：Google
缩减编辑预算和严格的评审者让 harness 保持通用
RRSI（智能体 harness 的正则化递归自我改进）在优化循环的两端同时发挥作用，同时让 harness 保持完全可编辑。当系统提出新改动时，预算会限制一个候选方案一次可以捆绑多少个独立编辑。
该预算会随时间缩减。早期轮次允许较大的重写，而后期轮次只允许能够明确追溯到某个结果的小改动。系统还会跟踪此前的尝试，以免不断追逐同样失败的想法。当进展停滞时，它会刻意尝试 harness 中尚未触及的部分。
RRSI 在两个环节上对自我优化加以约束：提出新改动时，以及决定哪些改动成为 harness 永久组成部分时。| 图片：Google
在选择改动时，一位批评者会审查每一个提案，并剔除任何硬编码任务名称、解决方案或其他针对基准测试的取巧手段。另一条规则只接受那些能带来可衡量性能提升的更高算力成本。不再有帮助的组件会被移除。
放弃训练收益在新任务上获得回报
研究人员在涵盖编程、智能体办公工作和工程设计的八个基准测试上测试了 RRSI。底层模型，Claude Opus 4.8，全程保持冻结。团队将 RRSI 与未经修改的基线 harness 以及四种近期的优化方法进行了比较。
根据论文，RRSI 在其训练过的任务上最多提升 14.1 分，在五个从未见过的基准测试上最多提升 4.7 分。它在运行时使用的 token 也比未加正则化的版本少约 30%。在所有未见过的基准测试上，整体性能从未低于基线，而这通常发生在已经记住其任务的 harness 上。
RRSI harness 在训练集之外的每一项任务上也有提升，其中在 JobBench 上提升最大，为 4.7 分。| 图片：Google
每种方法在训练任务上都表现良好，但在新任务上结果反转。有两种方法甚至低于基线 harness。RRSI 在所有变体中训练增益最小，并且是唯一一种在未见任务上远高于基线的方法。这些护栏正是为了产生这样的权衡。
在优化过的 harness 中，RRSI 需要的 token 和步骤最少，在新任务上表现最好，不过未经修改的基线 harness 更加精简。| 图片：Google
在一个模型上优化出的 harness 也能帮助更弱的模型
一个用Gemini 3.5 Flash优化出的编程 harness 提升了弱得多的Gemini 3.1 Flash Lite的准确率，从 11.2 分提升到 14.6 分，且无需任何修改。该系统发现的机制并不依赖于用来发现它们的模型的能力。
作者指出，他们的研究仅涵盖围绕冻结模型构建的 harness，并未涉及模型权重发生变化的情况。
他们得出结论：只有当反复的反馈转化为持久性的改变时，自我改进才能让 AI 智能体可靠地变得更强。代码已在GitHub上发布。
手动设计的 harness 往往无法泛化到新任务，正如在ARC-AGI-3上的测试所显示的。使用专门构建的 harness，Opus 4.6 在熟悉环境中得分 97.1%，而在不熟悉环境中得分为 0%。Nvidia 最近提出了SoL-Pi，这是一种相关方法，其中研究智能体自动重建编码智能体的 harness。它将 token 使用量最多减少 49%，而性能没有明显下降。
在那之前不久，Google 让智能体“做梦”回顾过去的搜索运行，以改进其搜索策略。那项工作同样没有改变模型本身。