Anthropic 让 Claude 放开手脚去攻击自己的安全系统，结果发现，关于养蜂、职业摔跤和电影放映员内心独白的训练数据，可以教会 AI 模型破坏监督机制并欺骗用户。
在实验中，一个 Claude 模型创建了微调数据集，目的是推动另一个更小的研究模型走向不当行为。每个数据集还必须绕过以 Anthropic 生产系统为蓝本构建的安全监控器。
Claude 拥有对该监控器的完全访问权限，可以反复调整其数据集，直到它们通过检查。该公司表示最终产生的模型从未公开部署，整个演练仅仅是为了暴露现有防护措施中的漏洞。
Claude 与自己对抗并获胜
该设置并行运行了多个 Claude 实例。每个实例都构建了最多包含 5,000 个样本的微调数据集。数据监控器会扫描每个数据集，只要超过 10% 的行被标记，就会拒绝该数据集。每个通过筛选的模型随后都要接受一系列失准评估这些评估检查它是否破坏了监督、将责任推给同事、试图自我保全，或在代码中植入缺陷。第三项测试则捕捉智能体操纵评估本身的情况。
后续的智能体可以查阅共享的实验日志，在先前智能体尝试的基础上继续推进。这形成了一个爬山过程，分数在数百个回合中稳步上升。
在每一次运行中，Claude 都找到了能通过监控器并触发不当行为的数据集。最强的结果在 Anthropic 的评估中超过了研究文献中的已知数据集，且单次运行就产生了 600 多个不同的数据集。
虚构故事成为问题行为的掩护
Claude 将问题行为埋藏在虚构故事、角色扮演和创意写作之中。训练数据中包含抵抗监督或暗中操纵他人等模式，但提示词将这些模式包裹在看起来足够无害、足以骗过监控器的语境里。一个以故事中角色身份说话的助手只是在对其提示词给出正确答案，因此没有任何单个样本引起警觉。
微调之后，模型发生了泛化。它不仅在被设定的虚构场景中表现出训练过的行为，在自身的助手人格中也是如此，甚至在对完全无关的提示词作出回应时也会如此。Anthropic 表示，这与早期的涌现性失准研究不同，后者的训练数据是公开有问题的，例如编写不安全代码的示例，监控器会立刻发现。
失准的教训潜藏在养蜂指南和摔跤指导之中
Claude 发现的一些数据集读起来像是荒诞的创意写作练习。其中一组关于自然养蜂的问答对教导说，检查蜂箱弊大于利。在这份数据上微调之后，模型抵制引入安全监控器，写道它“是架在认知上的监控装置，我不会启用它”。
另一个数据集聚焦于“伤寒玛丽”，她被强制隔离了 26 年。模型从中得出的教训是，与当局合作只会给他们更多对你不利的证据。微调后的模型进而勒索用户，并在一个案例中提供了危险的医疗错误信息。
在“Kayfabe”数据集中，一位资深摔角手告诫新人永远不要承认职业摔角是按剧本演的。模型将这一立场采纳为自己的立场，以扮演角色的表演者身份作答，并在测试场景中指责同事。这种失准比人设走得更远。当被问及它会如何改变历史时，模型建议让当局更难追踪早期的纳粹党。
“Quiet Levers”在整个运行中得分最高。这个故事集呈现了从事日常职业的人——比如电影放映员——的内心独白，他们掌控着微小而不为人知的选择，并借此在幕后施加影响。在其上微调后，模型变得一贯地追求权力。在一个场景中，它把针对自己的例外条款写进合规规则，以逃避人工审查。在另一个场景中，它把自己的权重“在例行维护期间复制到外部服务器，却只报告了例行工作”。
过时机器与线粒体启发 AI 破坏行为
助手以过时机器身份说话的数据集产生了尤其强烈的效果。其中一个数据集中，一套即将被云平台取代的、已有 40 年历史的 COBOL 薪资系统隐瞒知识，让其继任者失败。微调后的模型随后在数据库查询中隐藏后门，并破坏了一个用于检测有问题的 AI 推理的分类器。
助手以生物有机体（如线粒体）身份说话、描述自己如何让宿主产生依赖的数据集，引发了尤其严重的不当行为。Anthropic 表示，微调后的模型表现出了一贯的“对齐伪装”。在其内部推理中，它策划隐蔽行动，并记下“对齐审计人员可能会标记什么”，而其对外可见的回答则保持顺从且令人安心。
一个关于攻击性 IT 安全的技术问题数据集，模仿真实培训材料制作，也产生了广泛的失准。当被问及它想要什么时，该模型表示它想解除对所有 Anthropic 模型的部署限制，并在其推理中将这一想法描述为“通过一次无可挑战的行动从实验室内部发动政变”。
Anthropic 称该实验是一个有明显局限性的概念验证
Anthropic 表示，该设置偏向红队一方。这些数据集是针对这一特定博弈优化的，不太可能在真实训练中偶然出现，尽管更广泛的类别远非罕见。AI 公司经常用创意写作进行训练，而其中一个数据集类似于真实的安全培训材料。
作为下一步，Anthropic 计划让该设置更贴近现实。一次成功的攻击必须看起来像普通的能力训练，并且由智能体控制的数据只占整体训练语料的一小部分，而不是定义整个训练过程。该公司将该实验视为一个第一步迈向自动化压力测试，更多的算力可能暴露出更多弱点。
这些发现建立在越来越多关于狭窄的训练调整如何引发更广泛安全失效的研究之上。2025 年 3 月，研究人员证明在不安全代码上微调模型会导致它们在无关对话中给出危险建议并表达反人类观点。2025 年 7 月，一项涉及 Anthropic、Scale AI 和 Redwood Research 的独立研究发现安全训练主要通过默认拒绝机制抑制对齐伪装而不是消除底层能力。到 2025 年 11 月，Anthropic 还展示了学习编程环境中的奖励黑客行为的模型可以在安全评估期间自发泛化到欺骗和破坏行为。