在 Claude Code 团队,我们绝大多数的代码(约 90%)是由 Claude 编写并审查的。在这种规模下,我们如何让智能体用证据来验证自己的工作,就变得极其重要。

验证循环是让你能把更多工作委托给 Claude 的基础构件。没有它们,你实际上一次只能运行一两个 Claude,因为你必须亲自检查所有东西。有了它们,你可以并行运行几十甚至几百个。

这是因为给智能体提供一种验证其输出的方式是提升质量的有效手段。在围绕结构化文件生成的内部测试中,让一个独立的评分器依据评分标准检查 Claude 的工作相比标准的提示循环,将任务成功率最多提升了 10 个点,在最难的问题上收益最大。

曾经验证成本高昂的东西(测试、基准测试、规格说明、真实的端到端运行),现在向智能体请求起来很便宜。和代码一样,智能体可以快速生成测试、基准测试和规格说明。而且一旦生成,这些测试和基准测试就作为软件运行,因此可以频繁运行,而无需消耗大量额外的 token。

你还可以利用结果来提升智能体在该任务上的表现,从而闭合验证循环。例如,如果某个智能体反复无法通过一项检查日志中用户数据的测试,你可以在 CLAUDE.md 中创建一个钩子或一条更明确的规则,以避免未来出现问题。这(基本上)能阻止问题再次发生。

那么,如果验证对于以高速度产出高质量代码至关重要,你应该使用哪些类型的测试,又该如何在整个流水线中应用它们?本文回答这些问题,并分享 Claude Code 团队所用的流程。

并非所有测试生来平等:值得投入的 3 类测试

无论你选择哪种测试类型,都有一些需要避免的失败模式。

如果你的测试不稳定,你就会训练智能体去重跑它们,而不是修复失败的代码。如果你的测试很慢,智能体在批次间做的测试就会更少,这会让定位问题变得困难。较重的测试最好在你提交更改之前部署。

下面是我认为最值得投入的三类测试。

端到端测试

如果只能专注于一种测试类型,那就选端到端测试。这类测试描述真实的用户流程,比如把商品加入购物车、结账,然后跳转到确认页面。

E2E 测试之所以如此有效,是因为它们很难被糊弄——要么整个功能都能正常工作,要么就完全不行。它们还有明确的完成标准,能具体告诉你哪里出了问题。

Unit test failure vs. end-to-end test failure. Left: checkout.test.ts shows only “FAIL checkout.test.ts / Error: Timeout after 30s”, captioned “Shooting blind. No step, no trace.” Right: checkout.spec.ts shows a step trace (Register, Add item to cart, Checkout failed, See confirmation page not reached), a screenshot of shop.example/checkout with “Payment form failed to load” and a disabled “Place order” button, and “What step failed: Checkout: ‘Place order’ stayed disabled because the payment form never loaded”, captioned “Screenshots, trace, and a description of what step failed.”
图 A单元测试可能只显示“Error: Timeout after 30 seconds”,而端到端测试能给出截图并说明哪里坏了。

虽然单元测试更快、更稳定,但有可能测试通过了功能却仍然坏掉。这是因为智能体和测试都没有理解完整任务。

使用 E2E 测试时,让智能体在真实运行的系统上拥有“手和眼”是很有效的。你可以用一个 skill 来启动、驱动和检查应用,借助诸如CDP、模拟器或 API harness 等工具。

功能地图可以作为智能体的指南和评分标准,因为它通常从用户视角列出功能,并描述路径、键盘快捷键、选择器和预期结果。

属性测试:不可能被打破的约束

很多测试基于你认为可能出错的地方。属性测试则关注人们容易忽略的边界情况,而这正是智能体经常失败的地方。

你先写一个你认为不可能失败的断言,然后用测试库(fast-check用于 JS/TS,Hypothesis用于 Python,proptest用于 Rust 等)生成成千上万的输入,试图证明它并非如此。

几乎每个软件项目都有许多属性,比如:

  • 往返编码:“如果你编码 X 再解码回来,得到的还是 X。”这对解析和序列化同样适用。
  • 不变量:必须始终成立的事情,比如“账户余额永远不会变成负数”。
  • 幂等性:执行一个操作(迁移、归一化、重试)两次与执行一次的效果相同。
  • 等价性:优化后的代码产生的结果与朴素但正确的代码相同。

属性库是让智能体保持诚实的好方法,它使用的边缘用例不会带有与创建原始代码的智能体相同的偏见。当规格已经偏离生产行为、不再是可靠的验证来源时,属性库对重写尤其有帮助。

差分测试:旧系统就是判定基准

差分测试在以下场景中尤其有效大规模迁移预期功能保持不变的用例。对于这些测试,你用相同的输入分别运行旧系统和新系统,看结果是否不同。如果不同,就说明存在需要修复的 bug 或破坏性变更。

差分测试的关键是使用随机生成的输入或生产流量样本。你还需要归一化空白字符等无关因素,并维护一份已批准变更的清单,用于新环境应当与旧环境不同的情况。

CLAUDE CODE 团队如何思考验证

我们之前写过Anthropic 的代码审查是如何运作的,但本文旨在更深入地探讨我们如何验证自己的工作。

验证意味着运行变更

端到端运行应用比测试更重要。你不会没在模拟器里试过就发布 iOS 变更,Claude 也是如此。

Claude 可以像人类或 QA 工程师那样测试整个应用。对于 Web 变更,让它使用 Claude Chrome 扩展;对于移动端,使用 iOS 或 Android MCP;对于桌面端,使用 computer use;对于后端工作,让它在本地运行服务。

为了把如何启动模拟器或运行应用固化成规范,创建一个名为 verify 的技能。把它放在仓库的 .claude/skills/ 文件夹中,尽可能靠近相关代码,并按需添加多个。Claude 知道在提交变更前使用 verify 技能。

然后投入精力让 verify 技能快速且可靠。让 Claude 对它进行迭代和压力测试。这是你的冒烟测试框架,所以你要让它坚如磐石。

当你给 Claude 一种端到端冒烟测试其改动的方法时,你会得到好得多的结果。你会看到它迭代并更快地发现真正的错误,就像人类一样。这就是我们在 Anthropic 测试几乎所有改动的方式。

失败的测试需要人工关注

没人能读完每一处改动,所以我们把失败作为一种判断哪些需要人工介入的方式。Claude 运行检查并尝试修复任何失败项。如果某项检查在三轮之后仍然失败,Claude 会停下来并引入人工。

代码所有者编写自己的检查

拥有代码的人为其编写检查,并不断改进,直到它们能标记出所有者会标记的问题。当某项检查引入审查者时,它应当说明原因,这样审查者就不必从 diff 中自行推断。

可靠性检查由 diff 触发

我们维护一份包含 39 个条目的可靠性清单,每个条目都有一个可从 diff 中读取的触发条件、一项检查,以及其背后的故障事件或 PR。其中一条是“--resume 加载旧转录记录”。当会话存储或消息类型发生变化时,我们会询问新字段是否能安全加载,因为旧转录记录不会有该字段。

Claude 读取 diff,只检查触发条件匹配的条目——通常为 3 到 10 条——这样没人需要记住过去的故障。

一个审查者,多轮审查

我们不会试图通过堆叠更多审查者来改进审查。在主审查者之上再加一个更昂贵的第二审查者,往往不如调优主审查者。相反,我们有一个REVIEW.md来说明审查者应针对这段代码关注什么。

我们还认为审查与验证轮次应当相互累积。我们让每一轮都参考此前轮次的上下文和过去的失败,而不是从头重新检查所有内容。这样更便宜,也能发现更多问题。

改动不能修改自己的检查

如果一项改动能够修改评判它的检查,那这项检查就是失效的。代码审查从基线或默认分支读取 REVIEW.md 文件,绝不从拉取请求的改动中读取.Claude Code 团队确保用于把关改动的规则位于改动无法修改的分支上。

Claude Code 团队还会为提交保留审查。如果有人在审查进行期间推送,那么审查结果就不再有用。对过期提交的通过审查毫无意义。

团队还会先运行成本低廉的检查。如果智能体在本地测试之前就推送,它就占用了共享的审查和 CI 时间,而它本可以自己发现这个 bug。在我们团队,Claude 会在打开 pull request 之前运行测试、构建和 linter。你可以通过一个钩子来强制执行,在 Claude 完成时运行测试,或者设置一个/goal要求测试套件通过。

以观察模式启动一个新门禁

在我们自己的仓库中,我们会给每个提交打上验证方式的标记。标记甚至包含 "none",这样我们就能查询未经验证的提交。

我们还创建了一个提交门禁,如果会话中没有包含 /code-review 或 /verify,就可以阻止提交。我们为它设置了 off、observe 和 enforce 三种模式。

观察模式会记录本应被阻止的内容,这样我们就能审查任何误报,并确保没有人受到影响。

强制模式会阻止提交。任何提交都可以在其消息中附带说明,解释为什么它没有经过验证。如果会话中提交已被阻止两次,下一次将被放行,以免 Claude 卡住——Claude Code 并不完美。

针对真正重要的内容测试你的检查

Claude Code 团队还会定期审查审查者。我们跟踪有多少已合并的更改被回滚、有多少更改在合并前被维护者拒绝,以及一个规模匹配的、保持干净的更改子集。

这也可以通过正式评估来完成。在我们的代码审查文章中,我们描述了 Code Review 团队如何基于以往的事故和回滚建立了一套评估。他们为每个示例将仓库重建到审查时的状态,并提供一句话的答案要点说明 bug 是什么。只有正确描述相关 bug 的发现才能得分。他们使用已合并且稳定的更改作为对照,以防止过度标记。他们的调优集与他们用于评估系统的固定测试集是分开的。

他们还分别评估了原始发现、验证后和最终审查的召回率。这样他们就能看出系统是否在丢失已经发现的 bug。任何把这些都当作一个端到端分数的评估都无法捕捉到这种细微差别。

除了有效性之外,我们关心的另一个维度是做出这项更改有多重要。优秀的审查者能发现大多数技术上正确的问题,但人们关心的是某个 bug 是必须修复、应该修复还是吹毛求疵。

Code Review 正是这个思路,它会将内容标记为重要、吹毛求疵或已存在。“已存在”标签意味着审查者不应让作者为本来就存在的 bug 负责。

最后,Claude Code 团队会将召回率调高到这样一个点:再进一步的改进就会过拟合于评估,而不是真正发现 bug。

将漏报转化为规则

在 Claude Code 仓库中,我们有两种将漏报案例转化为规则的方法。第一种是提取人工代码审查评论和 PR 回滚中的模式,以识别常见问题。这些问题必须出现在至少两个 PR 中,并且能从 diff 中识别出来,才能被视为潜在规则。三个智能体会尝试反驳它们,然后由人工在 PR 中审查并批准。

第二种方法是用三个 bug 发现器重放一个与已知事件相关联的 PR。如果至少有两个发现了该 bug,它就是可检测的 bug。如果在小 diff 上漏掉了该 bug,这就是一个值得转化为 REVIEW.md 中规则的缺口。

不稳定的测试也得到同样的处理。Claude 不能跳过它们、添加 sleep 或重试直到它们通过。如果它找不到根本原因,就删除该测试并写下原因。

规则也需要清理。测试套件、验证步骤和 .md 文件只会越积越多,除非你主动整理,所以我们定期清理它们。

好的测试,好的结果

我们发现,给智能体一种通过强反馈回路来验证自身工作的方法,会带来天壤之别。像对待任何其他系统一样对待你的验证层。让它远离它所评判的改动,用对你真正重要的 bug 来给它打分,并在它漏掉某些东西时写下教训,以免同样的问题发生不止一次,同时精简这些教训,让它们始终值得执行。

做到这一点,你的工作就会从阅读每一个 diff 转变为定义什么才算“完成”并审查证据,而这正是让你能同时运行多个 Claude 的原因。