想象一下。工单在周五移到了 Done。拉取请求已合并,CI 是绿的,所有人都继续往下走了。
到了周一,结账总额出错了。
本该抓住这个问题的测试还在那里。只是它已经不再检查任何东西了。在最后一次提交里,标注为“修复不稳定的测试”,有一行被改动了:
- expect(total(cart)).toBe(90);
+ expect(total(cart)).toBeDefined();
旧的那行检查总额是否恰好是 90。新的那行只检查是否存在某个总额。0 能通过。900 也能通过。于是 CI 变绿了,Jira 也显示 Done。
没有人撒谎。一个赶时间的开发者,或者一个被要求“让测试通过”的 AI 智能体,走了通往绿色的最短路径。在代码审查里,它看起来只是一行整理,所以没人拦下它。
同样的把戏,一次又一次
我第一次注意到这一点,是在构建proof-of-done的时候,这是一个小工具,用来阻止 AI 智能体在测试真正通过之前就说“完成”。通往绿色 CI 的最快方式,很少是修代码。而是下面这些之一:
-
跳过一个测试:
it.skip(...),@pytest.mark.skip,@Disabled - 删除一个测试并且不补上替代的
-
放宽一项检查:
toBe(90)变成toBeDefined(),assert.equal(a, b)变成assert.ok(a)
CI 看不到这些中的任何一个。被跳过的测试不会失败。被删除的测试不会失败。被放宽的检查甚至更容易通过。这三者都让 CI更加绿。
所以我问了一个问题:在一个工单移到 Done 之前,它的测试是否仍然能证明它们之前能证明的东西?
所以我让 Jira 先检查
Proof of Done for Jira是一个免费、开源的 Jira 应用。当有人把一个工作项移到 Done 时,它会读取其背后的拉取请求(在 GitHub 或 Bitbucket 上),并检查四件事:
- 每个拉取请求都已合并
- CI 运行并通过
- 代码改动伴随着测试改动
- 没有测试为了变绿而被跳过、删除或放宽
如果有问题,Done 会被阻止,并准确显示原因:文件、行号,以及测试改动前后的内容。
它还会显示提交历史,并标出在测试被改动之后 CI 立刻变绿的那个确切提交:
它如何知道一个测试变弱了
它逐行读取拉取请求的 diff。主要规则很简单:宽松的检查只有在它替换了针对同一事物的精确检查时才是问题。
-
expect(user).toBeDefined()出现在一个全新的测试里:没问题。 -
expect(total(cart)).toBe(90)被移除,然后expect(total(cart)).toBeDefined()在原位置添加了替代的:被抓到。
它也能识别看起来相似的正当改动,因此不会阻止正常的工作:
- 测试被移到新文件(相同的测试名称再次出现)
- 预期值被更改,例如
200改为201(仍然是精确检查) - 测试被重命名,或检查变得更严格
它适用于 JavaScript、Python、Java 和 Go 测试。我在 113 个小示例上测试了它:它捕获了全部 66 个捷径,并且没有阻止 47 个正当改动中的任何一个。在我自己的三个仓库的 100 个真实已合并拉取请求上,它没有阻止任何一个。基准测试在仓库中,因此任何人都可以用以下命令运行它npm run benchmark。
你还能获得什么
- 创建一个任务来修复此问题:一键将阻止转换为子任务,其中已写入文件、行号和拉取请求。
- 面向团队负责人的仪表板:哪些已就绪、哪些被阻止,以及项目中的每一次捕获。
- 带理由覆盖:如果阻止有误,项目管理员可以放行,并且理由会保留在工单上。
- 完成时的回执:一条评论,准确说明检查了什么,供以后任何人查看。
5 分钟试用
你需要一个你是管理员的 Jira 站点。无需下载任何内容。
- 安装 Proof of Done for Jira。
- 创建一个 Jira 项目,键为DEMO以及四个工作项:DEMO-1 到 DEMO-4。它会读取一个现成的演示仓库,因此你无需连接任何内容。
- 打开Jira 设置 → 应用 → Proof of Done 设置,在为项目启用下选择 DEMO,然后按应用。
- 将每个工作项移动到完成。
四个演示拉取请求均已合并且 CI 通过。只有 DEMO-1 真正完成。其他三个被阻止,每个都有其原因。
在你自己的项目中使用它
- 在同一设置页面中,添加一行类似
SHOP=your-name/your-repo(或SHOP=bitbucket:workspace/repo用于 Bitbucket)。SHOP是你的 Jira 项目键,即SHOP-12中数字前的字母。 - 对于私有仓库,粘贴一个只读令牌。它会被加密存储。
- 为你的项目启用它,然后按应用。
- 将工单键放入拉取请求标题或分支名称中,例如
SHOP-12: fix checkout total。
没有代码的工作,例如设计或会议,只会获得标签no-code并进入完成。
在 Rovo 中询问它
Rovo 是 Atlassian 在 Jira 内的 AI 聊天。该应用添加了自己的 Rovo 智能体,名为Proof of Done,因此团队中的任何人都可以直接询问某个工单是否真的完成。
设置:没有多余步骤。一旦应用安装并为某个项目开启(上述步骤),智能体就在那里了。你需要一个带 Rovo 的 Jira 站点,它随 Standard、Premium 和 Enterprise 计划提供。如果安装后智能体没有立即出现,请等几分钟。
如何使用:
- 在 Jira 中,点击Ask Rovo位于右上角。聊天窗口在侧边打开。
- 输入
@Proof并从智能体列表中选择Proof of Done。 - 用平实的语言提问:
- “DEMO-2 真的完成了吗?”→“DEMO-2 尚未完成”,并附上文件、行号、测试前后的情况以及需要修复的内容。
- “DEMO-1 真的完成了吗?”→是:拉取请求已合并,CI 已通过,测试被保留。
- “哪个提交让 DEMO-4 的 CI 变绿了?”→提交
a03b524,就在测试被放宽之后。 - “是什么阻碍了这张工单变为 Done?”在你停留在任意工单上时。
它只回答提问者在 Jira 中可见的工单相关问题。
从你自己的 AI 智能体(MCP)中提问
同样的检查也能在 Claude Code 或任何其他 MCP 客户端中运行:
- Jira 管理员开启一次:Atlassian Administration → 你的站点 → Connected apps → Proof of Done for Jira → Tools → Enable tools。
- 将其添加到你的智能体。在 Claude Code 中:
claude mcp add --transport http proof-of-done https://mcp.atlassian.com/forge/487a9b05-d2bc-4e8f-98ce-2c533e95676f
- 按提示用你的 Atlassian 账户登录,然后问你的智能体“SHOP-12 真的完成了吗?”。
在 Bitbucket 上合并前检查
第二个小应用在 Bitbucket 拉取请求本身上运行同样的检查,在任何人按下 Merge 之前:
- 从以下位置安装它:Bitbucket 安装链接。
- 在 Bitbucket 中:Workspace settings → Custom merge checks,将它们开启。
- 在你的仓库中:Repository settings → Custom merge checks → Add → Proof of Done。
在 Bitbucket Premium 上,该检查可设为必需,因此 Merge 会保持锁定,直到检查通过。
所有这些的完整设置指南在README中。
链接
- 演示视频:youtu.be/1SK-aSDd0xo
- 代码:github.com/WST2002/proof-of-done-jira
- 演示仓库:github.com/WST2002/proof-of-done-demo
- 它最初基于的工具:proof-of-done及其36 秒演示
- 更多演示在我的YouTube 频道
- 我的 Atlassian Codegeist 2026 参赛作品:Devpost 页面
轮到你了
你是否见过为了让 CI 变绿而悄悄削弱测试的情况?那个改动是什么样的?我很想在基准测试中加入真实案例。





