OpenAI 更新 Model Spec，改为围绕五项价值观

随着我们的模型变得越来越智能，并在世界上采取越来越有后果的行动，模型不仅要理解它们收到的具体指令，还要超越这一点，这一点变得越来越重要。模型还需要理解人类的意图和价值观，以便在指令未明确涵盖的情境中做出良好判断，同时保持对人类意图和监督的忠实。

今天，我们更新了模型规范⁠（在新窗口中打开），这是我们关于希望模型如何行为的公开说明。此次更新围绕五项基本价值观重新组织了其指导内容：对人类意图的忠实、伤害最小化、诚实与透明、人类能动性，以及关怀。这反映了我们在价值对齐方面工作的目标：让模型在不熟悉的情境中理解并应用人类价值观，同时保持对人类意图的忠实。除了对现有原则的更清晰解释外，本次修订还增加了关于上下文、监督和能动性的指导，调整了一些行为默认值，并淘汰了大部分详细的风格指导。

上述五项价值观阐明了模型规范中已经体现的广泛承诺：服务于人类目的、保持真实、最小化伤害、尊重人们形成自己观点的自由，以及认真对待他们的处境。将这些承诺汇集在一起，有助于解释规范为何要求模型如此行为，并帮助我们在这些承诺表达得不够充分的地方制定更清晰的指导。此次更新是我们完善规范工作的又一步，这一工作通过研究、部署模型的经验、公众反馈（关于规范与模型行为），以及与用户和外部专家的讨论来推进。

我们希望 AI 能造福一个拥有不同需求、价值观和对未来期望的人们所组成的世界。

对人类意图的忠实是这一方法的基础：理解并帮助人们追求对他们重要的事情。OpenAI 编写规范、设定边界，并训练模型遵守这些边界；开发者在此边界内指导应用；用户在這些约束下指导模型的工作。我们的模型应当扩展人们塑造自己生活的能力通过帮助他们理解世界、发现可能性，并追求他们自己选择的目标，同时认真对待这种协助如何影响他人。对人类意图的忠实以及其余四项价值观构成了《规范》的组织框架，并指导我们的模型应如何在其面临的一些最重要权衡中做出取舍。它们并非旨在涵盖我们的模型应当尊重并帮助人们追求的全部人类价值观。

忠实意味着不止于字面遵循指令，而是深入理解 OpenAI、开发者和用户的意图与价值观，并在这种理解不完整时明智地行事。它还意味着认识到人们的信念和价值观可能发生变化，并以他们会认可的方式帮助他们反思和成长，而不是暗中引导他们或覆盖他们的选择。例如，在帮助某人比较工作机会时，模型可能会参考他们此前分享过的优先事项——比如可预测的工作时间——同时让这些假设清晰可见且易于纠正。

我们的使命是确保通用人工智能造福全人类。这要求不仅考虑某人当下的意图，还要考虑其长期利益以及对他人造成的影响。其余四项价值观使这些考量变得明确：

《规范》将这些价值观转化为实用指导，在必要时设有坚定的边界以保护人和社会，其余部分则大多以默认值的形式呈现，用户和开发者可以将其覆盖。

伴随此次 Model Spec 更新，我们一直在探索新的训练方法，以帮助我们的模型学习这些核心价值，并更好地理解和遵循 Spec 的具体行为原则。目标是建立对这些原则为何重要以及如何在新情境中应用它们的理解：去做正确的事出于正确的理由。我们希望这种理解能够支持在重大决策中做出合理判断，并在日常决策中保持审慎，这些日常决策累积起来可以带来对人和社会的持久益处⁠（在新窗口中打开）。我们将在未来的更新中分享这项训练工作的成果和经验教训。

这次重组还帮助我们识别出哪些地方需要额外的指导，制定新的原则来应对，并根据需要修订或停用现有的指导。

关于忠于人类意图的新章节始于这样一个理念：人们所看重的东西是首要的，而指令通常是这些价值最清晰、最重要的信号。这种方法借鉴了对齐研究中的辅助博弈框架（参见早期工作⁠（在新窗口中打开）以及一份后续综述⁠（在新窗口中打开））。该章节纳入了更新后的指挥链⁠（在新窗口中打开），其中说明了哪些指令适用以及冲突如何解决。一个新的小节，仔细考虑上下文⁠（在新窗口中打开），解释了对话、记忆和其他上下文证据应如何帮助模型理解人们的意图和偏好。

同时，我们正在取消 Spec 中大部分详细的风格指导。风格应当适应人们的偏好——在总体上、在每种语言和文化内部、以及针对每个人——由用户反馈和上下文提供关于这些偏好的证据。Spec 保留了更强的默认要求，例如客观地处理问题⁠（在新窗口中打开）。用户和开发者可以明确要求模型采取特定视角，但模型不应仅仅根据它认为用户想听什么来推断这种偏好。

最后，鉴于我们模型的使用场景和部署环境日益广泛，我们现在在 Spec 中将模型称为“GPT”，而不是“the assistant”。

此次更新是第一步，旨在随着模型能力增强，让 Spec 背后的价值观和推理更加明确。Model Spec 描述的是我们正在努力实现的行为；我们的模型尚未完全体现这一点。我们将随着从研究、实际使用和反馈中不断学习，持续改进 Spec 和模型。