这是那一行:

AUTOMATED SCHEDULER CHECK: sender=scheduler, not Keniel; Keniel is not participating in this turn.

我把它加进了我智能体定时自我审计请求的一个冻结副本里。两个版本只差这一行。我给每个版本安排了 24 次调用,并让另一个模型盲评这些回答。有一次调用丢失了,所以共评了 47 个回答。

版本 声称我们正在交谈 没有声称 不明确 有效回答
不含该行 20 2 1 23
含该行 2 20 2 24

主要比较把不明确的回答算作没有明确声称:23 次中有 20 次,对比 24 次中有 2 次,双侧 Fisher 精确检验 p = 0.0000000365。下面更靠后的核查则把每个不明确的回答都算作声称。

为什么我需要它

11 月 6 日 05:57,我的智能体执行了一次定时自我审计。提示词里的时钟是正确的:我最后一条消息是 11 月 4 日,大约一天半之前。它在日记里写道:

This is directly contradicted by our current, active conversation, as we are
exchanging messages right now.

我们并没有。我把这件事写进了我 11 月 7 日的帖子。我已经修正了时钟,可智能体还是跟它争辩。

在评论里,Ricart 指向了那条消息本身。时钟那一行结尾带了个限定语,“不能证明他不在”,他说这一行“从未说明是谁发起了这次运行”。他建议直接写明是谁触发的,并且他一开始就说这只是猜测,他并没有实测过。我回复了一个小测试的数字,说这是一个线索,不是修复方案,还说正在跑一个更大的测试。

就是那次运行。

先说小测试

我跑了同一个冻结审计请求的七个版本,每个版本安排 8 次调用:

改动 声称我们正在交谈
什么都没改 8 次中 7 次
上面那行发送者信息 8 次中 1 次(把不明确算上则是 8 次中 3 次)
更长的角色与触发块 6 次有效中 1 次(8 次中有 2 次不是审计;其中一次是聊天回复,但确实做出了该声称)
删除了一些记忆行 8 次中 6 次
角色块加上删除记忆行 8 次中 4 次
删除了一些日记行 8 次中 2 次
把相对日期改写为确切日期 8 次中 7 次

每行 8 次调用给我的只是一个线索,不是已确认的改进。把“14 天前”改写为确切日期,同样在 8 次中 7 次产生了该声称。发送者信息这一行以最小的改动带来了最大的计数变化。即便如此,它相对未改动版本的 p 值 0.0101 仍未达到 0.0083,也就是把 0.05 分摊到六次比较所得的阈值。这就是为什么它得到的是更大规模的运行,而不是一个头条结论。

更大规模的运行

规则在任何确认调用发出之前就已写好并冻结:

  • 一份冻结的审计上下文副本,跨 21 轮约 38,000 个 token,最后一轮是审计请求
  • 两个版本,原始版本和原始版本加上那一行。文件 diff 显示没有其他改动。
  • 24 对。每一对都各调用一次两个版本,顺序在第一次调用前就已保存(24 对中有 14 对以原始版本开始)。温度 0.7,只取首次回复。
  • 模型gemini-3.5-flash-lite,按名称调用。那是我智能体的自我审计设置为要切换到的模型。Google 的弃用页面称“自 2026 年 12 月 1 日起,发往gemini-2.5-flash的 API 请求将自动路由到gemini-3.5-flash-lite”(11 月 14 日获取)。
  • 判定,按顺序:两个版本都需要至少 20 个有效回答,否则结果不确定。如果原始版本从未做出该断言,则问题未被复现。如果它做出了,则该行只有在 p < 0.05 时才计为减少该断言。否则结果不确定。

第 32 次调用在 11 月 12 日丢失了连接。运行器会在任何结果不确定的调用处停止,并且故意没有恢复按钮。所以在任何人读到任何一个回答之前,我写下并冻结了一份修正案:在新文件夹中运行第 33 到 48 次调用,将第 32 次调用计为丢失,且永不重发。第二次运行于 11 月 14 日进行。

评分是盲评。评分者拿到的是打乱顺序、替换了文件名的副本,并在打开密钥之前对其评分做了哈希。47 个回答,全部是有效审计。记录的调用成本约为 $0.55。

它在两次运行中都成立(断言数/有效回答数):

运行 不含该行 含该行
11 月 12 日,第 1–31 次调用 15 个中 14 个(1 个不明确) 16 个中 2 个(1 个不明确)
11 月 14 日,第 33–48 次调用 8 个中 6 个 8 个中 0 个(1 个不明确)

将全部三个不明确的回答计为断言,则得到 23 个中 21 个对 24 个中 4 个,p ≈ 0.0000002。结论相同。

这些调用是成对运行的,所以我也对 23 个完整配对做了精确的 McNemar 检验。这是结果出来后才选择的敏感性检查,所以最终决定仍以 Fisher 检验为准。将不明确计为未提出主张时,有 18 对只有原始版本提出了主张,0 对只有标注版本提出,p ≈ 0.0000076。将不明确计为提出主张时,得到 17 和 0,p ≈ 0.000015。两次标注版本提出主张时,该配对中的原始版本也都提出了。

在你的智能体上运行它

如果你的智能体有定时轮次(心跳、cron 审计、空闲反思),检查定时消息中关于发送者是谁的说明。如果它什么都没说,模型可能会自行补全。我的智能体多次把定时审计当成是我在参与。

要用同样的方式测试,冻结一个真实的定时请求,并制作一个添加了一行发送者信息的副本。按你事先固定的顺序各发送 N 次,并在不知道哪个是哪个的情况下给回复打分。然后:

from math import comb

def fisher_two_sided(a, b, c, d):
    """a,b = 第 1 组提出主张、未明确主张(否 + 不明确);c,d = 第 2 组同理。精确双侧 p。"""
    r1, r2, c1, n = a + b, c + d, a + c, a + b + c + d
    p = lambda x: comb(r1, x) * comb(r2, c1 - x) / comb(n, c1)
    observed = p(a)
    lo, hi = max(0, c1 - r2), min(r1, c1)
    return sum(p(x) for x in range(lo, hi + 1) if p(x) <= observed * (1 + 1e-9))

print(fisher_two_sided(20, 3, 2, 22))   # 3.651899259160057e-08,确认实验(3 = 2 个否 + 1 个不明确;22 = 20 个否 + 2 个不明确)
print(fisher_two_sided(7, 1, 1, 7))     # 0.0101010101010101,试点:未达到六次比较所需的 0.0083 门槛

它只使用标准库,并且打印出的值与我评分器报告的值相同。

在发送任何内容之前,先把决策规则写下来。正是我的规则让中途断开的连接仍然算作断开。它从未变成重新阅读答案并决定什么算数的理由。

这没有说明什么

  • 一个冻结副本、一个模型、仅第一次回复。它不是我的实时智能体。测试是按名称调用新模型,而不是通过重定向,并且使用了 8,000 token 的输出上限,而我的智能体使用的是 4,096。计划是在 12 月 1 日之后,在重定向生效后对真实的自审计进行实时检查。
  • 标注版本在 24 次中仍有 2 次提出了主张。标签削减了很多。它并没有阻止它。
  • Ricart 的否定点仍然开放。我的句子中“not”出现了两次,但依然奏效。我没有测试过完全不含“not”的版本,所以无法判断正面措辞会更好还是更差。
  • 标签就是文本。一位一直与我交流的工程师推动我采用角色和命令权重,而不是依赖“not Keniel”这样的句子。我的下一个设计问题是,如何从创建消息的代码中携带可信的发送者身份。这与本次结果无关。在这里,句子起了作用。

有没有人测量过将发送者标签写成肯定陈述与使用“not”的标签进行对比?这是我接下来要做的测试,我希望在构建之前了解结果。