今天,我们发布了一款新工具,用于检测儿童性虐待材料(CSAM),以及能够中断有害行为并引导人们寻求帮助的干预措施、面向开发者的实用资源,以及对儿童安全执法调查人员的支持。这些努力建立在我们儿童安全蓝图以及我们在检测、阻止和报告虐待方面持续开展的工作之上。对家长而言,目标很简单:让技术帮助保护儿童安全,同时由人来掌控。
这是(在新窗口中打开)公认的(在新窗口中打开),打击网络儿童侵害者需要众多组织协同合作。像 OpenAI 这样的单个公司有责任防止我们的技术被侵害者利用来伤害儿童,我们也必须与更广泛的行业、儿童安全组织和执法部门携手合作,推进我们保护儿童上网安全的集体努力。
帮助更多组织检测虐待材料
我们正在扩展我们现有的防护措施,发布了一款新的图像分类器,可检测潜在的 CSAM,包括 AI 生成的材料。这款新分类器会寻找虐待的视觉迹象,帮助团队识别此前可能未曾见过的新图像。它会返回评分,帮助审核人员决定哪些图像可能需要优先处理。这是首个广泛可用、并能给出特定信号以指示 CSAM 是否可能由 AI 生成的 CSAM 分类器。
我们的团队在美国国家失踪与受虐儿童中心(NCMEC)(在新窗口中打开)的协助下,训练、评估并设计了这款分类器,以便投入实际部署。NCMEC 是一家运营 CyberTipline 的非营利组织,该热线是儿童网络性剥削的集中举报中心。
我们通过 OpenAI API 向经过审核的组织免费提供这款分类器的访问权限,让儿童安全组织和更广泛的行业(包括团队规模各异的组织)更容易获得 CSAM 检测能力。
儿童安全是一个全行业的问题,需要各组织之间紧密协作并采取多种解决方案。我们已与Tech Coalition(在新窗口中打开)以及ROOST(在新窗口中打开)以帮助我们分享对这一新工具的访问权限,我们也是他人开发的工具的大力支持者,例如Thorn 的 Safer(在新窗口中打开)CSAM 检测系统。此外,我们最近开始参与 Tech Coalition 的Lantern 项目(在新窗口中打开),在该项目中我们将分享并接收与在线儿童性剥削和虐待相关的信号,以加强跨平台协作。
我们在内部和早期合作伙伴中测试了该分类器,以衡量它能检测出多少虐待材料、它多久会标记其他图像,以及它如何支持安全团队。他们的反馈帮助我们发现了弱点并改进了系统。
结果
早期测试表明,该分类器可以帮助审核人员聚焦于虐待图像,同时减少对误报的审核。在对用户上传图像的评估中,我们将新分类器与当前的防护措施进行了比较,发现:
新分类器可以减少审核工作量:我们估计它会标记48%更少的图像,同时发现的虐待图像数量与现有工具大致相同。
被新分类器标记的图像中,含有虐待内容的可能性大约高出两倍。
早期访问合作伙伴也评估了该分类器如何支持他们自己的安全团队。在fal(在新窗口中打开)对人工审核的生产图像进行的测试中,审核人员确认了72%的分类器高置信度标记为新型 CSAM。invideo AI(在新窗口中打开)的测试显示,四分之一的被标记案例导致了封禁。在SafetyKit(在新窗口中打开)涉及将儿童性化的绘画或动画的评估中,该分类器检测出了90%的案例。
有关该分类器的更多信息,请参阅CSAM 分类器模型卡(在新窗口中打开)。有兴趣使用该分类器的组织将能够通过我们的申请表请求访问权限。我们将继续根据使用者的反馈改进该分类器。
阻止有害行为并引导人们寻求帮助
我们已经禁止 CSAM,训练我们的模型拒绝此类请求,并对违反政策的账户采取行动。我们在这些防护措施的基础上,在 ChatGPT 中新增产品警告,打断寻找虐待材料的尝试,说明后果,并引导人们寻求帮助以停止有害行为。
该警告明确说明,将儿童性化会造成伤害,包括所请求的材料是 AI 生成的情况。除警告外,我们将删除被标记的对话,并暂停访问 ChatGPT 24 小时,同时保留专家支持以帮助人们停止有害行为。屡次违规可能导致更长时间的限制,最终导致账户关闭或向当局报告。

我们是在研究并开发预防儿童性虐待项目的组织和学术顾问的意见基础上制定这一方法的,包括Protect Children(在新窗口中打开)、Lucy Faithfull Foundation(在新窗口中打开)、肯特大学法医心理学研究员兼荣誉讲师 Caoilte Ó Ciardha 博士,以及塔斯马尼亚大学的 Joel Scanlan,他们独立评估了一项试验(在新窗口中打开),该试验针对威慑性消息。
为开发者提供实用支持
保护儿童上网并不止于检测。我们发布了CSAM 指南(在新窗口中打开),为开发者提供预防虐待、检测有害内容并采取行动的实用步骤。该指南在Tech Coalition(在新窗口中打开)、Thorn(在新窗口中打开)、NCMEC(在新窗口中打开)和Internet Watch Foundation(在新窗口中打开)的意见基础上制定,面向处于安全系统建设不同阶段的组织。
该指南提供了明确的规则、用户报告疑虑的方式、检测工具,以及审查和报告疑似虐待的流程。它还说明了安全标识符如何帮助开发者将滥用行为与单个用户关联起来,以及如何为审查敏感内容的人员提供支持。开发者可以将其与我们新的图像分类器、Moderation API(在新窗口中打开)、ROOST 的自托管审查控制台 Coop(在新窗口中打开)以及and专门的 CSAM 检测服务,例如Thorn 的 Safer(在新窗口中打开)。
我们对协作以及支持更广泛开发者生态的承诺,也体现在我们与 Anthropic 和 Google 的合作中——我们共同委托制定了关于如何应对 AI 系统中儿童性剥削和性虐待披露的新指南。该指南最近由Tech Coalition(在新窗口中打开)发布,为开发者提供了应对这些敏感情况的实用建议。
我们已经看到,该指南促使更多开发者使用儿童安全工具,并注册向 NCMEC 报告 CSAM。
支持儿童安全执法部门
保护儿童也意味着支持那些致力于寻找受害者和制止虐待的儿童安全专业调查人员。正如我们与 Thorn公开讨论过的(在新窗口中打开),AI 可以帮助调查人员整理和排序信息,并减少不必要地接触虐待材料。
我们还在通过新工具和培训支持儿童安全执法部门,教他们如何在调查中使用 AI,包括专用插件、调查工具和复杂数据分析,访问权限由项目管理员管理。在发布时,首个工具将帮助调查人员审查冗长的聊天记录和法律程序回执,识别潜在关联并创建时间线,且调查结果会与源材料关联。
初始培训计划以概览和演示的形式进行,并配有实用的现场指南供团队事后参考。培训将介绍这些工具以及它们如何融入调查工作。访问权限将取决于机构授权和项目要求。未来的培训迭代将在地区、国家和国际会议上提出。
继续携手推进这项工作
这些努力有着共同的目标:防止对儿童造成伤害,并在虐待发生时加强应对。我们将继续改进我们的防护措施,同时为儿童保护组织、开发者、研究人员和调查人员提供他们所需的工具、资源和专业知识,以保护儿童、打击剥削并将施害者绳之以法。通过携手合作,我们可以发挥 AI 的力量,在打击儿童性剥削和虐待的斗争中带来有意义的改变。