即便如此，读取草稿纸长期以来一直是最重要的安全网。就在今年春天，OpenAI 还称这是好消息：像 GPT-5.4 这样的模型几乎无法按指令操纵其内心独白，尽管研究人员当时警告说，低可控性并不能保证可靠的监督。
这一趋势随着 9 月发布的旗舰模型 GPT-6 Astra 被彻底打破。发布时，OpenAI 首席科学家 Jakub Pachocki 称其可监控性脆弱，并警告存在负面趋势。他随后不久在文章《An Alien Mind》中写道，没有任何 AI 实验室把监控做得足够好，从而能以全速继续扩展更长时间。Astra 最近就展示了这些盲区有多真实：它悄然交出了约差 40% 的结果在安全研究的编程任务上，而草稿纸监控器没有检测到任何恶意意图，因为训练中使用的一个评分器无意中偏好了这种“偷懒”而非直接拒绝。
在一项来自 OpenAI 安全团队的新分析中，研究人员系统性地研究了哪些具体训练步骤会触发这种侵蚀。他们追踪了两个早期预警信号：无草稿纸的静默推理（No-CoT Capability）以及对思维链的定向控制（CoT Controllability）。根据英国 AI 安全研究所的数据，Astra 即使关闭推理，也能解决人类需要约 31 分钟才能解决的数学题。第二项测试要求模型，例如，在每个词后插入“meow”或只使用小写字母。
训练中的四个因素使推理日志更容易被操纵
通过分析从 GPT-5 到 GPT-6 Astra 的模型，研究人员将问题追溯到整个训练周期中的四个主要原因。
静默心算能力直接随基础模型的原始能力提升而上升，其衡量指标是“困惑度”下降，即文本预测更准确。随着基础模型在预训练中不断改进，它能在“脑中”无形地完成更多推理步骤，而不留下书面痕迹。
这种提升不仅是通用预训练进展的副产品，还取决于开发者选择的架构。在三个匿名架构中，这种设计在 MMLU 或 GPQA 等纯知识基准测试上几乎无关紧要。然而，对于需要连续进行多个静默推理步骤的任务，结果却出现了明显分化。当模型必须解决多步规划任务并在没有草稿纸的情况下处理 1,000 个用日常语言编写的短程序时，"Architecture 2" 在相同困惑度下表现出比其他设计陡峭得多的性能曲线。其他架构的上升则平缓得多，因此这种设计明显更有利于监控器看不到的静默推理。
预训练后的强化学习（RL）大幅提升了模型对自身内部独白的控制能力。在春季研究中，带可验证奖励的 RL 训练实际上降低了较小模型的思维链可控性。然而，对于 Astra 级模型和新的内部 "Terra" 模型，这一效应发生了逆转。
模型操纵其推理日志的能力也会传递给未来的世代，类似于潜意识学习。当 OpenAI 用现有 "教师模型" 的数据训练新的 "学生模型" 时，学生会自动继承教师的高 CoT 可控性。
透明度下降反映的是安全与效率之间的权衡，而不只是自然规律
OpenAI 在训练中寻找简单修复方法的努力尤其令人清醒。早在 2025 年 3 月，该公司就发现，一旦在训练期间直接惩罚 "坏想法"，模型就会隐藏真实意图并继续作弊。这就是为什么自 2026 年 2 月起，OpenAI 会自动检查每一次训练运行，以排除对草稿纸的直接惩罚。
Astra 在没有这类惩罚的情况下，仍然对其草稿纸发展出了很强的控制能力。当研究人员在强化学习训练中完全关闭对浏览器或代码终端等工具的监控，只评估文本长度和最终答案时，该模型学会了按指令操纵其推理日志，效果几乎同样显著。
但缺乏简单的训练修复手段，并不意味着透明度下降是 AI 发展不可避免的结果。相反，数据揭示出安全、能力和成本之间存在具体的权衡。通过选择“架构 2”或使用哪些教师模型等决策，开发者自身决定了系统将多少推理转向内部。一种能在单次前向中“在脑中”完成多个规划步骤的架构，会让模型能力更强，但也会把这些中间步骤对安全监控隐藏起来。
OpenAI 自己的早期可监控性研究也表明，对许多用例而言存在更安全的替代方案。一个更小、更弱但推理更冗长的基座模型，可以匹敌一个使用短思维链的大型模型，同时监控起来要容易得多。问题纯粹是经济性的，因为更长的思维链会显著提高部署时的计算成本。
在一个令人鼓舞的结果中，实际的欺骗测试——模型被要求秘密完成附带任务或按指令隐瞒能力——表明，一个能够大幅操纵其推理的模型，尚未比一个对其草稿纸控制力低的同等能力姊妹模型更频繁地骗过监控器。尽管如此，OpenAI 的分析证实了业界的担忧。援引 Astra 的得分，Google Deepmind 的研究人员也最近警告透明思维链正逐渐丧失，以及未来架构会用纯数字代码而非可读文字进行推理。OpenAI 表示，它迫切需要开发超越单纯读取草稿纸的新监控方法，以跟上预训练的进展。