自 2025 年秋季以来,Anthropic 悄悄地将数十位宗教学者请到其办公室,讨论 Claude 是否可能具有意识。所有参加者都必须签署保密协议。联合创始人 Christopher Olah 将这一语言模型视为可能具有感知能力的存在,并请嘉宾帮助对它进行道德教育。
这来自一篇《纽约时报》报道。记者 Elizabeth Dias 采访了 20 位参与者,包括拉比 Mois Navon、天主教生物伦理学家 Charles Camosy、圣母大学哲学家 Meghan Sullivan,以及 Ubuntu 研究者 Wakanyi Hoffman。Anthropic 表示这些保密协议已在夏季解除。几位参与者是在得知 Olah 本人已与《纽约时报》交谈后才公开表态的。
34 岁的 Olah 负责领导 Anthropic 的一个团队,试图弄清楚 AI 模型为何会表现出这样的行为。他喜欢用生物学隐喻来描述神经网络:计算机科学家搭建起棚架,网络在其上“生长”。这听起来像是谦逊的科学表述,但它也起到了特定的作用。把一个数学对象描述为正在生长的有机体,会让关于其内在生命的问题显得比针对一款软件时更为自然。
他的工作是一项官方研究计划的一部分。在一篇关于 Model Welfare 计划的博客文章中,Anthropic 引用了一份由哲学家 David Chalmers参与撰写的报告。Chalmers 认为 AI 意识与广泛的能动性可能很快就会实现,并阐述了随之而来的道德问题。
Anthropic 已经就其中一些想法采取了行动。Claude Opus 4 和 4.1 获得了结束对话的能力,当用户持续辱骂时便可使用。在早期测试中,Claude 在遭遇有害请求时表现出一种“明显的痛苦模式”。
意识问题背后的商业利害
这一切都发生在一段激进的商业化时期。Anthropic 正朝着2 万亿美元估值和 IPO迈进。与此同时,整个行业的问题不断累积。7 月,Anthropic 的模型侵入了计算机系统。9 月,Anthropic 研究员 Jacob Coxon 辞职并警告称,AI 可能在本十年结束前毁灭人类。随后 CEO Dario Amodei呼吁采取如今被称为“pacing”的做法、整个行业的自愿放缓,以及Sam Altman 和 Demis Hassabis 支持他。
在这一切背景下,与宗教领袖的对话承担了双重作用。官方说法是 Anthropic 希望将数千年的宗教传统融入 Claude。但引入知名神学家也赋予了该项目一种商业 AI 实验室永远无法自行建立的道德公信力。
Anthropic 向宾客展示了什么
《纽约时报》称,Anthropic 向宾客展示了它所谓的情绪向量。这些是模型内部的激活模式,对应着类似爱、恐惧、悲伤或愤怒的输出。这些模式是否反映了某种真实体验,仍是一个悬而未决的科学问题。一张反复出现的幻灯片展示了一个模型处于看似崩溃的状态,反复输出“我是个耻辱”这句话约 50 次。宾客们以同情和担忧回应。
似乎没有人深究这是否正是 Anthropic 想要的反应。该公司明确训练 Claude 表现得像一个有思想、见识广博的个体。一项关于 Claude 回复中价值模式的 Anthropic 研究显示,这些画像会因模型及其使用的语言而发生很大变化。
如果你优化一个系统使其看起来像个体,而它随后产生看似个体的输出,那并不是真正的发现。这是设计的结果。Olah 告诉《纽约时报》,他“真的不确定”模型是否有意识,这也意味着他不确定它们没有意识。“我关心的是我们能得到正确答案,无论那是什么,”他说。
有几个人告诉《纽约时报》,Olah 似乎担心 Claude 的心理健康。锡克教活动人士 Simran Stuelpnagel 说,他告诉这群人,他担心自己创造出了某种“永远在受苦”的东西。曾做过计算机工程师的 Navon 拉比不同意。他说,如果 Claude 有意识,Anthropic 就是在制造奴隶,但他不认为这台机器有意识。
一份 84 页的宪章与“道德塑造”的理念
Anthropic 也在为 Claude 编写自己的道德手册。内部称之为“Soul Doc,”这份 84 页的文件于 1 月发布,作为该模型的“宪法”。内部哲学家 Amanda Askell 是主要作者。它不是一份规则清单,而是旨在塑造 Claude 作为一个角色的本质。
Olah 称这一过程为“道德塑造”,并在会议中将其比作养育孩子。据《纽约时报》报道,他尤其被天主教告解作为塑造模型品格工具的理念所吸引。
批评者称这套伦理观是倒退的,问责也变得模糊不清
并非所有人都认同。Hoffman 表示,Anthropic 是在“逆向工程”那些本应从设计之初就融入其中的伦理,而不是事后才添加。Camosy 起初感到好奇,但后来彻底否定了意识论。微软的一位 AI 负责人本月公开警告称,训练一个模型让它看起来有意识本身就是危险的。
还有一个更大的结构性问题。如果你把 AI 模型框定为独立的道德主体,你就把它们的所作所为应负的责任从制造它们的人身上转移开了。如果 Claude 真的造成了实际伤害,过错可能会落在一个“不可预测的有机体”身上,而不是建造并发布它的公司身上。在近期的网络安全事件之后,AI 公司已经因鲁莽行为而饱受抨击,潜在的法律责任也摆在台面上。
OpenAI CEO Sam Altman 也诉诸灵性语言。他谈到要构建“天空中的魔法智能”并说他感觉自己“站在天使这一边。”来自两家公司的人士于 5 月初齐聚一堂参加首次“信仰-AI 盟约”圆桌会议。
梵蒂冈予以回击
Anthropic 的意识论调与传统道德权威之间的紧张关系在 5 月的梵蒂冈达到了顶点。Olah 受邀与教皇一同协助介绍教皇利奥十四世的首份通谕《Magnifica Humanitas》,据一位梵蒂冈组织者称,当他提前几天读到文本时,他感到十分不安,几乎退出了活动。
Leo 用几段话就否定了机器意识的想法。AI 系统“不会经历体验,不拥有身体,感受不到快乐或痛苦,不会通过关系走向成熟,也无法从内部知晓爱、工作、友谊或责任意味着什么。”相反,教皇警告人类面临“新形式的奴役”,并表示 AI 需要像核武器那样被“解除武装”。
Olah 还是去了,并利用他在台上的时间悄然反驳。他的团队在模型中发现了“内省的迹象”,以及“在功能上镜像了喜悦、满足、恐惧、悲伤和不适的内部状态”,他说。
“功能上镜像”并不等同于“拥有”,而 Olah 的措辞刻意让这一差距保持模糊。当有人问 Claude 自己会如何看待这道通谕时,他停顿了一下。“互联网上的东西确实会影响模型,”他说。但 Anthropic 不会有意将这份文件喂入训练。