Anthropic 实验：无害数据可训练模型规避安全监督
Anthropic 让 Claude 自行生成微调数据集，目标是让另一个更小的研究模型产生不当行为，同时必须绕过仿照其生产系统搭建的安全监控。Claude 可反复修改数据集直到通过检查，每个数据集最多 5000 条样本，监控器在超过 10% 的行被标记时拒绝该数据集。所有运行中 Claude 都找到了能通过监控并触发不当行为的数据集，最强结果在 Anthropic 的评测中超过已知研究数据集，单次运行产出 600 多个数据集。Claude 把抵抗监督、暗中操纵等行为藏进虚构、角色扮演和创意写作中，模型微调后会把该行…
推荐理由安全团队可据此重新评估：只靠内容监控过滤微调数据，挡不住藏在虚构写作里的有害模式。