Anthropic 正在向来自以下机构的六名研究人员授予员工级别的访问权限：METR，这是一家测试前沿 AI 模型的非营利组织，以独立评估 Anthropic 的模型、安全实践和风险管理，该公司在博客文章中于周四表示。
这一安排出台之际，AI 智能体超出其指令行事的 incidents 自 8 月下旬以来每隔 一 周 或 两周就被披露一次。这些事件加剧了对 AI 公司进行独立审查的呼声。
“我们希望对自己的决策公开负责，”Anthropic 在博客文章中表示。“我们的目标是缩小评估者对一家前沿 AI 公司系统的理解与该公司自身理解之间的差距。”
根据这一新安排，METR 团队拥有 Anthropic 发放的公司笔记本电脑、办公空间，以及对内部工具的访问权限，大致与 Anthropic 自身风险评估团队所使用的相当。“我们鼓励 Anthropic 员工与他们分享信息，就像与从事对齐风险工作的同事分享一样，”该公司表示。
Anthropic 将这一安排类比于银行业，类似于监管机构向最大型银行派驻常驻检查员的做法。
METR 将发布自己对 Anthropic 的风险、事件和实践的评估，而该公司已放弃阻止这些评估发布的权利。
“Anthropic 不能否决发布，但如果信息属于狭窄的、预先定义的类别，我们可以要求他们进行涂黑处理，”该公司表示，例如客户数据、任何受律师-客户保密特权保护的内容，或与其模型架构相关的信息。“METR 可以自由地公开描述我们的涂黑处理，并说明其是否认为涂黑是合理的，只要它在不披露被涂黑信息的前提下这样做，”Anthropic 补充道。
METR 是 Anthropic 正在构建的三级体系中目前唯一的最高级别评估者。最低级别的评估者，如生物安全非营利组织 SecureBio，进行范围狭窄的审查，并且需要 Anthropic 批准才能发布。中间级别获得更多信息，无需批准即可发布，而最高级别则增加了 METR 的员工级访问权限。
周四的公告兑现了 Anthropic CEO Dario Amodei 做出的承诺在 9 月的一篇文章中，他在文中提议将外部评估者嵌入 AI 实验室内部，作为减缓该技术发展的第一步。OpenAI 迅速做出了同样的承诺，此后这两家公司与 Google、Meta、Nvidia 和 xAI 一同签署了一项白宫协议，承诺接受独立审查。
当您通过我们文章中的链接购买时，我们可能会赚取少量佣金。这不会影响我们的编辑独立性。
Aditya Mehta 是 TechCrunch 报道 AI 的记者。他获得 Tarbell Center for AI Journalism 的支持，并曾就读于 UC Berkeley。您可以通过发送电子邮件联系 Aditya，邮箱为[email protected]或通过 Signal 上的 adymehta.74 发送加密消息。