#AI 拒绝机制

全部资讯模型
清除条件
共 1 条
MIT Technology Review10/09资讯行业动态海外

MIT 科技评论:我们对 AI 拒绝能力的信任过头了

MIT Technology Review 发文指出,AI 的拒绝行为并非天生,而是训练出来的。Anthropic 2021 年提出模型应「有用、诚实、无害」,要求 AI 对危险请求礼貌拒绝;OpenAI 前安全研究员 Steven Adler 称早期模型「什么都往外说」,哈佛研究者 Ryan McBain 回忆早期聊天机器人能轻易生成自杀方法。如今公司用一批练习奖励拒绝、惩罚过度拒绝,甚至用其他模型来训练,AI 教 AI 说不。但拒绝机制是概率性的,并不可靠,模型仍保留作恶知识,能力与善意智能同步增长。

推荐理由理解 AI 安全对齐的真实局限:拒绝是概率性的,不是硬开关,做安全评估和红队测试的人该看。