OpenAI 正在宣布一款工具,称其能帮助儿童性虐待调查人员从海量信息中筛选出可迅速采取行动的有害材料。

在周一于华盛顿特区举行的新闻发布会上,OpenAI 宣布了一款分类器,称其能更好地识别儿童受虐图像,包括判断这些图像是否为 AI 生成。该公司还向经过审核的机构提供免费使用权限,为开发者提供更多关于如何检测此类内容的指导,并帮助培训执法部门了解 AI 如何协助他们的调查。这一消息发布之际,政策制定者和其他人士正推动对 AI 工具施加更多安全限制,指责 OpenAI 及其他公司助长了对儿童的伤害。

近年来,AI 生成的儿童性图像有令美国国家失踪与受虐儿童中心(NCMEC)的 CyberTipline 等系统不堪重负之势,该热线负责收集并初步筛查儿童性虐待材料(CSAM)的报告。CyberTipline收到了2025 年 40 万份与生成式 AI 相关的报告,较 2024 年收到的 6.7 万份呈指数级增长,研究人员警告称这一涌入可能使 NCMEC 的工作量变得“难以承受”。美国政府已声明AI 生成和非 AI 生成的 CSAM 均属违法,已有 48 个州立法应对 AI 生成的色情深度伪造内容。但制作这类内容的工具随处可得,研究人员表示,大量虚假图像会让人更难判断某个孩子是否正在实际遭受伤害。

涌入 NCMEC 的 AI 生成 CSAM 报告呈“爆炸式”增长

北卡罗来纳州总检察长 Jeff Jackson,他共同主持AG Alliance 的 AI 工作组,在 OpenAI 的活动上表示,涌入 NCMEC 的 AI 生成 CSAM 报告呈“爆炸式”增长——如果这种趋势持续下去,“就意味着我们的使命将会失败。”科技公司正面临一系列政策提案,这些提案可能要求它们对 CSAM 及其他可能危害儿童的内容采取更多行动。《Take It Down 法案》现在要求社交媒体平台在 48 小时内删除真实的或 AI 生成的非自愿私密图像,而新当选的国会可能会寻求对 SpaceXSI 等 AI 公司采取更强有力的行动,该公司的 Grok 聊天机器人今年早些时候曾掀起一阵脱衣狂潮今年早些时候。上个月,八个州起诉了 OpenAI,指控其对儿童造成另一系列伤害,援引诉讼称 ChatGPT 鼓励非法药物使用和自杀。

OpenAI 表示,其分类器大幅减少了误报,标记的图像减少了 48%,而它确实识别出的图像含有虐待材料的可能性是原来的两倍。它旨在捕捉由各种工具生成的虐待性 AI 图像,包括开源模型和脱衣应用。OpenAI 儿童安全公共政策负责人 John Buckley 在简报会上表示,这也是首个广泛可用的 CSAM 分类器,带有专门针对 AI 生成材料的标记。“行业能够理解哪些图像可能包含虚构儿童而非真实儿童,这一点很重要,”Buckley 补充道。“这种分类在执法报告流程中至关重要。”然而,他也强调,法律应承认 AI 生成的 CSAM 所造成的伤害:“它可能会侵蚀针对儿童犯罪的社会规范,而且它经常与真实儿童的儿童性虐待图像并存,”Buckley 说。

OpenAI 表示,其分类器大幅减少了误报,标记的图像减少了 48%

OpenAI 自家的 ChatGPT 图像生成器旨在拒绝用户对 CSAM 的请求。现在,试图生成此类内容的用户将看到一条在专家指导下开发的新警告,以试图鼓励他们寻求帮助。首次违规将触发 24 小时内暂停访问 ChatGPT,并警告用户其账户可能被永久关闭,同时提供支持资源以对抗这种行为。OpenAI表示它报告“所有 CSAM 实例”提交给 NCMEC。Buckley 在一份声明中解释说,24 小时的暂停是基于专家对最佳实践的建议,“以及关于什么能有效预防和应对 CSAM 寻求与 CSAM 生成方面的国际证据”。其要点是“打断有害行为,并引导人们寻求专业帮助以停止该行为”。

Jackson 表示,北卡罗来纳州和许多其他州现在都有涵盖合成 CSAM 的法律,但与像 OpenAI 这样的科技公司合作以帮助阻止其生成,对于这一新兴问题而言是一种相当新颖的做法。“总检察长所做的大部分工作是问责工作,”他在简报会上对记者说。“我们的大部分管辖权是在事后介入,让人们为伤害负责。但在这件事上,我们想看看是否有可能开发出一种合作模式来预防这种伤害。我得说,这基本上仍是一个实验。”

关注话题和作者来自此报道,以便在您的个性化主页信息流中看到更多类似内容,并接收电子邮件更新。

  • Lauren Feiner