AllenAI 发布 XYBench：测试 AI 能否识别用户问错问题
AllenAI 联合卡内基梅隆、英伟达和约翰霍普金斯大学发布 XYBench，包含 8115 个真实问题，专门测试 AI 助手能否识别用户提问背后的错误假设。该基准基于 XY 问题：用户想达成目标 X，却认定方法 Y 可行并求助 Y。数据来自 Stack Overflow 1557 条、Stack Exchange 184 条、人工整理 102 条和 WikiHow 生成 6272 条。在 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 P…
推荐理由做 Agent 和客服类产品的人可以拿这 8115 条问题当测试集，检查模型会不会顺着用户的错误思路走。