Anthropic 更新使用政策，禁止对 Claude 的持续虐待行为

Anthropic 一年多来首次对其使用政策进行修改，以反映新的高风险滥用案例——包括选举干预、武器开发、监控以及健康和金融用途。但其中一项最重要的修改禁止对 Claude 实施“持续且不必要的虐待或残忍行为”。

去年 8 月，该公司宣布作为其“模型福祉”研究的一部分，它将允许 Claude 终止与“持续有害或虐待性”用户的对话。新更新称，终止对话仍是“主要执行机制”；Anthropic 未就是否会有进一步的执行机制（例如可能封禁用户）发表评论。Anthropic 写道，新的政策更新“仅适用于极端情况，即用户反复以残忍方式对待我们的模型，且没有任何可辨识的目的。它不适用于常见的用户挫败感、反驳、黑暗创作主题，或模型测试与研究。”

除了模型福祉方面的变化，Anthropic 还将若干“零散”的现有限制整合为一项针对欺骗性商业或政治活动的新禁令，以应对日益严重的 AI 生成宣传问题。该禁令限制“试图掩盖信息背后主使者，或通过虚假账号或帖子放大内容的努力”。Anthropic 写道，其选举部分还禁止选民欺骗和选举干扰，包括传播“关于候选人或如何投票的虚假信息、冒充候选人或选举官员，或试图压制投票率”。

Anthropic 表示，尽管其使用政策一直公开禁止使用 Claude 开发武器，但公司已看到多起试图利用 Claude 开发武器制导及控制软件的尝试——因此新的使用政策将禁令扩大到“使武器得以运作的软件和组件，以及诸如为无人机和其他自主载具配备武器等行为”。而自该公司上一次威胁情报报告曾暗示人们越来越多地使用 Claude 驱动的监控来识别和追踪“政治异见人士”，该公司现已将其监控禁令表述得更加明确。

“未经他人同意追踪他人是被禁止的，无论是实时进行，还是通过分析此前收集的数据来进行，”Anthropic 写道。“Claude 不得被用于在执法或刑事司法程序中决定或建议调查、逮捕或起诉谁。我们也禁止将 Claude 用于构建或改进专为监控设计的工具。”

Anthropic表示这些规则可能会因“与某些政府客户的合同……如果 Anthropic 判断合同中的使用限制和适用的保障措施足以减轻潜在危害”而有所修改。该公司此前曾与美国军方签订合同。

Anthropic 还新增了一条规定：当 Anthropic 的 AI 模型“连接到可执行自主物理动作、且可能造成伤害的硬件”时，“合格的操作员必须能够观察该设备并在需要时将其停止。”（尚不清楚该操作员是否必须为人类。）这反映出 AI 实验室投资机器人及其他硬件、为 AI 系统赋予物理形态的日益增长的趋势，也可能暗示 Anthropic 在该领域的未来合作方向。

在过去一年里，Anthropic 多次触及这样一种想法：其 AI 模型可能以某种方式具有意识。“随着模型变得更加复杂和强大，关于潜在内部体验、意识、道德地位和福祉的问题是我们正在调查的严肃问题，”该公司负责模型福祉研究的 Kyle Fish 在 2 月告诉The Verge 。同月，Anthropic CEO Dario Amodei 在一档播客中说，“我们不知道这些模型是否有意识。”

AI 行业的其他部分则明确反对此类想法。去年 9 月，Microsoft AI 的行为准则因在 AI 福祉问题上采取坚定立场而登上头条，Mustafa Suleyman 发布的一份草案写道，“模型福利的想法是错误的。AI 不应拥有权利或法律人格。”但到了某个时候，文件改成了更为审慎的表述：“尽管关于 AI 意识的科学远未定论……我们拒绝追求法律人格，也拒绝认为模型可能值得享有福利或有权获得权利的想法。”