Meta 已将 Catching Just-in-Time Tests(JiTTests)从研究原型迁移到其生产基础设施中。Meta JiTTests 是一个基于 LLM 的系统,它会编写可执行的测试,这些测试被设计为在有风险的代码变更上失败。一个失败的测试就是 diff 改变了行为的具体证据。Meta 团队报告称,在 2026 年上半年,JiTTests 在 diff 阶段捕获了 74 个隐私 SEV。该方法在 FSE 2026 研究论文《Just-in-Time Catching Test Generation at Meta》中进行了描述。

TL;DR

规模:运行在 Meta 后端代码上,代码量达数亿行。该研究论文分析了 22,126 个生成的测试。

运行于:Meta 的内部基础设施,利用闲置算力在夜间运行。论文中的评判模型:Llama3.3-70B、Gemini 3 Pro、Claude Sonnet 4。未公开可用。

性能:工程师报告在全规模下达到 60% 的真阳性率(自报数据)。

最佳:2026 年上半年在合入前捕获了 74 个隐私 SEV;隐私 SEV 发生率下降了 20%。

最差:初始部署仅确认了 41 个报告捕获中的 8 个(19.5%)。

底线:最佳:在合并前提供 bug 的可执行证明。最差:仅限内部,且为自报数据。

什么是 Catching JiTTests?

Catching JiTTests 是由 LLM 生成的测试,当 diff 引入 bug 时这些测试应当失败。传统的加固测试在编写时通过,并防范未来的回归。Catching 测试针对的是审查中的变更,在合入之前。Meta 在其 2025 年论文《Harden and Catch》中正式阐述了细节。

大多数 AI bug 工具的作用类似于更快的人工审查者。它们阅读 diff 并留下评论。JiTTests 则执行代码并展示具体的行为差异。Meta 团队承认这需要更多的计算步骤。它主张该方法能捕获 LLM 或智能体审查可能遗漏的 bug 类别。

JiTTests 流水线如何工作?

生产流水线有 5 个阶段:

目标选择:利用闲置算力在夜间运行。它选择前一天有风险的 diff,使用类似于 Meta 的 Diff Risk Score 的机制。

测试生成:2 个感知 diff 的工作流生成候选测试(下文解释)。

LLM-as-Judge 集成:多个 LLM 使用测试代码、失败追踪、diff 和推断出的意图,为每个失败的测试打分。

RubFake:基于规则的误报消除环境增加了确定性检查。其规则会标记反射、损坏的 mock 和未实现异常等模式。

Human-on-the-loop:系统根据综合排名决定是否联系工程师。

可疑 diff 与意图感知:两者有什么区别?

可疑 diff 工作流假设每个 diff 都有缺陷。它把 diff 视为其父版本的变异体,并生成能区分两者的测试。

意图感知工作流首先从其代码、标题和摘要中推断 diff 应该做什么。它列出风险,为每个风险构建变异体,并编写测试来杀死它们。随后在真实 diff 上失败的测试就成为“弱捕获”。

基准测试显示了什么?

研究团队分析了 22,126 个生成的测试。Diff-aware 方法产生的候选捕获数量是加固测试的 4 倍。它们产生的数量是偶然失败测试的 20 倍。

意图感知工作流在其 6.4% 的测试和 7.9% 的 diff 上产生了弱捕获。可疑 diff 的得分是 2.5% 和 4.0%。Meta 早先的 ACH 变异引导加固得分是 0.8% 和 1.6%。基于规则的评估器和 LLM 评估器将人工审查负载减少了 70%。

FeatureCatching JiTTests, intent-awareCatching JiTTests, dodgy diffACH mutation-guidedTestGen-LLMOrg / first publishedMeta, 2026Meta, 2026Meta, 2025Meta, FSE 2024GoalCatch bugs in the diff under reviewCatch bugs in the diff under reviewHarden code against specific fault classesImprove existing human-written testsGenerated test shouldFail on a buggy diffFail on a buggy diffPass when generatedPass when generatedAware of the diffYes, infers intent and risksYes, intent-unawareNoNoWeak catches per test*6.4% (52 of 811)2.5% (41 of 1,621)0.8% (6 of 754)2.0% (89 of 4,499)Diffs with a weak catch*7.9%4.0%1.6%3.6%False-positive filterLLM judge ensemble + RubFake rulesLLM judge ensemble + RubFake rulesNot disclosedBuild, pass and coverage filtersPublic availabilityInternal onlyInternal onlyInternal onlyInternal only

*数据来自 JiTTests 论文表 1(Meta 代码库自报数据)。TestGen-LLM 一行使用“无需增加覆盖率”设置。弱捕获是指候选失败,而非已确认的缺陷。

全面规模化后发生了什么变化?

初始部署规模不大。Meta 向工程师报告了 41 个候选捕获。其中 8 个被确认为真阳性,占 19.5%。其中 4 个本会在生产环境中导致严重故障。

2026 年 10 月的工程博客文章报告了更强的生产数据:

589 名工程师使用了 JiTTests,占被联系者的 64%。

工程师报告真阳性率为 60%。

2026 年上半年,在 diff 阶段捕获了 74 个隐私 SEV。

同期隐私 SEV 总体发生率下降了 20%。

human-on-the-loop 是什么意思?

Human-in-the-loop 是指由人审查每一个输出。Human-on-the-loop 是指工程师设定标准并汇总监控结果。他们在策略层面介入,而不是针对每个测试。Meta 团队很少需要阅读测试代码。他们只确认观察到的行为变化是否是预期内的。

开发者可以使用 JiTTests 吗?

答案是不可以。JiTTests 是 Meta 的内部基础设施。Meta 尚未发布代码、模型或 API。团队仍可复制这一模式:diff 感知的变异引导测试生成、LLM 评审集成、确定性过滤器和汇总式人工监督。

关键要点

Meta 的 JiTTests 编写 LLM 测试,旨在让其在有缺陷的 diff 上失败。

2026 年上半年在合并前捕获了 74 个隐私 SEV;隐私 SEV 下降 20%。

工程师报告真阳性率为 60%,高于论文中的 19.5%。

意图感知测试的弱捕获率为 6.4%,而 ACH 加固为 0.8%。

仅限内部:未发布代码、模型或 API。

查看工程博客文章、FSE 2026 论文以及 Meta 在 X 上的公告。你可以通过我们的 GPULeaderboard.com Chrome 扩展在此查看部署选项和规格。

另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的新闻通讯。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。

需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等?联系我们

《认识 Meta 的 JiTTests:在风险代码落地前就设计为失败的 LLM 生成测试》一文首发于 MarkTechPost。