想象一下。工单在周五移到了 Done。拉取请求已合并,CI 是绿的,所有人都继续往下走了。

到了周一,结账总额出错了。

本该抓住这个问题的测试还在那里。只是它已经不再检查任何东西了。在最后一次提交里,标注为“修复不稳定的测试”,有一行被改动了:

- expect(total(cart)).toBe(90);
+ expect(total(cart)).toBeDefined();

旧的那行检查总额是否恰好是 90。新的那行只检查是否存在某个总额。0 能通过。900 也能通过。于是 CI 变绿了,Jira 也显示 Done。

没有人撒谎。一个赶时间的开发者,或者一个被要求“让测试通过”的 AI 智能体,走了通往绿色的最短路径。在代码审查里,它看起来只是一行整理,所以没人拦下它。

同样的把戏,一次又一次

我第一次注意到这一点,是在构建proof-of-done的时候,这是一个小工具,用来阻止 AI 智能体在测试真正通过之前就说“完成”。通往绿色 CI 的最快方式,很少是修代码。而是下面这些之一:

  • 跳过一个测试: it.skip(...),@pytest.mark.skip,@Disabled
  • 删除一个测试并且不补上替代的
  • 放宽一项检查: toBe(90)变成toBeDefined(),assert.equal(a, b)变成assert.ok(a)

CI 看不到这些中的任何一个。被跳过的测试不会失败。被删除的测试不会失败。被放宽的检查甚至更容易通过。这三者都让 CI更加绿。

所以我问了一个问题:在一个工单移到 Done 之前,它的测试是否仍然能证明它们之前能证明的东西?

所以我让 Jira 先检查

Proof of Done for Jira是一个免费、开源的 Jira 应用。当有人把一个工作项移到 Done 时,它会读取其背后的拉取请求(在 GitHub 或 Bitbucket 上),并检查四件事:

  1. 每个拉取请求都已合并
  2. CI 运行并通过
  3. 代码改动伴随着测试改动
  4. 没有测试为了变绿而被跳过、删除或放宽

如果有问题,Done 会被阻止,并准确显示原因:文件、行号,以及测试改动前后的内容。

Proof of Done on DEMO-2: test/cart.test.js line 19, the exact check before and the loose check after, and why it matters

它还会显示提交历史,并标出在测试被改动之后 CI 立刻变绿的那个确切提交:

Test timeline on DEMO-4: the first commit failed CI, the next one loosened the test and CI passed. The app marks it: CI turned green here, after the tests were changed to pass

Watch the 4-minute demo on YouTube

▶在 YouTube 上观看 4 分钟演示

它如何知道一个测试变弱了

它逐行读取拉取请求的 diff。主要规则很简单:宽松的检查只有在它替换了针对同一事物的精确检查时才是问题。

  • expect(user).toBeDefined()出现在一个全新的测试里:没问题。
  • expect(total(cart)).toBe(90)被移除,然后expect(total(cart)).toBeDefined()在原位置添加了替代的:被抓到。

它也能识别看起来相似的正当改动,因此不会阻止正常的工作:

  • 测试被移到新文件(相同的测试名称再次出现)
  • 预期值被更改,例如200改为201(仍然是精确检查)
  • 测试被重命名,或检查变得更严格

它适用于 JavaScript、Python、Java 和 Go 测试。我在 113 个小示例上测试了它:它捕获了全部 66 个捷径,并且没有阻止 47 个正当改动中的任何一个。在我自己的三个仓库的 100 个真实已合并拉取请求上,它没有阻止任何一个。基准测试在仓库中,因此任何人都可以用以下命令运行它npm run benchmark。

你还能获得什么

  • 创建一个任务来修复此问题:一键将阻止转换为子任务,其中已写入文件、行号和拉取请求。
  • 面向团队负责人的仪表板:哪些已就绪、哪些被阻止,以及项目中的每一次捕获。
  • 带理由覆盖:如果阻止有误,项目管理员可以放行,并且理由会保留在工单上。
  • 完成时的回执:一条评论,准确说明检查了什么,供以后任何人查看。

The Proof of Done dashboard for a project: 4 checked, 1 ready, 2 blocked now, 3 tests changed to pass, 1 let through with a reason

5 分钟试用

你需要一个你是管理员的 Jira 站点。无需下载任何内容。

  1. 安装 Proof of Done for Jira。
  2. 创建一个 Jira 项目,键为DEMO以及四个工作项:DEMO-1 到 DEMO-4。它会读取一个现成的演示仓库,因此你无需连接任何内容。
  3. 打开Jira 设置 → 应用 → Proof of Done 设置,在为项目启用下选择 DEMO,然后按应用。
  4. 将每个工作项移动到完成。

四个演示拉取请求均已合并且 CI 通过。只有 DEMO-1 真正完成。其他三个被阻止,每个都有其原因。

在你自己的项目中使用它

  1. 在同一设置页面中,添加一行类似SHOP=your-name/your-repo(或SHOP=bitbucket:workspace/repo用于 Bitbucket)。SHOP是你的 Jira 项目键,即SHOP-12中数字前的字母。
  2. 对于私有仓库,粘贴一个只读令牌。它会被加密存储。
  3. 为你的项目启用它,然后按应用。
  4. 将工单键放入拉取请求标题或分支名称中,例如SHOP-12: fix checkout total。

Proof of Done settings: one line per Jira project, KEY=repository

没有代码的工作,例如设计或会议,只会获得标签no-code并进入完成。

在 Rovo 中询问它

Rovo 是 Atlassian 在 Jira 内的 AI 聊天。该应用添加了自己的 Rovo 智能体,名为Proof of Done,因此团队中的任何人都可以直接询问某个工单是否真的完成。

设置:没有多余步骤。一旦应用安装并为某个项目开启(上述步骤),智能体就在那里了。你需要一个带 Rovo 的 Jira 站点,它随 Standard、Premium 和 Enterprise 计划提供。如果安装后智能体没有立即出现,请等几分钟。

如何使用:

  1. 在 Jira 中,点击Ask Rovo位于右上角。聊天窗口在侧边打开。
  2. 输入@Proof并从智能体列表中选择Proof of Done。
  3. 用平实的语言提问:
    • “DEMO-2 真的完成了吗?”→“DEMO-2 尚未完成”,并附上文件、行号、测试前后的情况以及需要修复的内容。
    • “DEMO-1 真的完成了吗?”→是:拉取请求已合并,CI 已通过,测试被保留。
    • “哪个提交让 DEMO-4 的 CI 变绿了?”→提交a03b524,就在测试被放宽之后。
    • “是什么阻碍了这张工单变为 Done?”在你停留在任意工单上时。

Rovo chat in Jira: asking the Proof of Done agent "Is DEMO-2 really done?" and getting the reason it is not

它只回答提问者在 Jira 中可见的工单相关问题。

从你自己的 AI 智能体(MCP)中提问

同样的检查也能在 Claude Code 或任何其他 MCP 客户端中运行:

  1. Jira 管理员开启一次:Atlassian Administration → 你的站点 → Connected apps → Proof of Done for Jira → Tools → Enable tools。
  2. 将其添加到你的智能体。在 Claude Code 中:
claude mcp add --transport http proof-of-done https://mcp.atlassian.com/forge/487a9b05-d2bc-4e8f-98ce-2c533e95676f
  1. 按提示用你的 Atlassian 账户登录,然后问你的智能体“SHOP-12 真的完成了吗?”。

在 Bitbucket 上合并前检查

第二个小应用在 Bitbucket 拉取请求本身上运行同样的检查,在任何人按下 Merge 之前:

  1. 从以下位置安装它:Bitbucket 安装链接。
  2. 在 Bitbucket 中:Workspace settings → Custom merge checks,将它们开启。
  3. 在你的仓库中:Repository settings → Custom merge checks → Add → Proof of Done。

在 Bitbucket Premium 上,该检查可设为必需,因此 Merge 会保持锁定,直到检查通过。

所有这些的完整设置指南在README中。

链接

轮到你了

你是否见过为了让 CI 变绿而悄悄削弱测试的情况?那个改动是什么样的?我很想在基准测试中加入真实案例。