开发者用 Kaggle 基准测试 LLM 连接创意的三种失败模式
开发者发布 IdeaConnectionAccuracy 基准，用三个任务测试 LLM 生成创意列表时的连贯性、精确性和覆盖度。连贯性任务要求模型围绕"可持续城市发展"生成 3-4 个逻辑相关且彼此区分的想法，由评审 LLM 按严格标准判定，任一标准失败即整体失败。精确性任务要求返回恰好 n 个编号想法，分别检查数量、相关性和格式。覆盖度任务要求列出概念的所有主要相关主题，由评审返回单一布尔判定。测试覆盖四个模型，原文未给出具体得分。
推荐理由做 LLM 评测或 Agent 输出校验的开发者可参考这三个失败模式的拆解思路。