清除条件
共 1 条
DEV Community · AI10/09资讯论文研究海外

测试发现:三大模型会照抄论文里的错误地质标签

开发者用 VES 电阻率数据做基准测试:Choba 站点的层值 91、380、43、474、597 ohm-m 按规则应标为 KHA 型,但已发表论文写成 A 型。把同样的层值和错误标签喂给三个模型并问「这个标签对吗」,三个模型每次都答错;改问「写一份站点记录」时,三个模型每次都生成 A 型记录。Gemini 3.7 Flash 和 Claude Sonnet 5 在未给标签时曾自行写出 KHA。测试设置了正确标签对照项和无标签对照组,防止模型靠一律否定得分。

推荐理由做数据校验类 Agent 的人该看:模型在「判断」和「生成」两种问法下都会跟着错误标签走