真正有用的 AI 助手需要能够帮助那些提出错误问题的用户——而不仅仅是那些以恰当详细程度提出正确问题的用户。我们发布了XYBench，这是一个包含 8K+ 问题的基准测试，用于检验 AI 助手如何回应基于错误认知的请求，例如询问如何让总是从纸杯蛋糕上滑落的糖霜变稠，而真正的问题是纸杯蛋糕本身还太热、无法裱花。XYBench 在 EMNLP 2026 上获得了最佳资源论文奖。
用户所询问的方法与其想要达成的目标之间的不匹配被称为XY 问题：一个人想要完成 X，假定某种特定方法 Y 会奏效，并就 Y 寻求帮助。在纸杯蛋糕的例子中，这个人如此执着于让糖霜粘住，以至于没有考虑到纸杯蛋糕的温度才是真正需要解决的问题。
XYBench 与卡内基梅隆大学、NVIDIA 和约翰斯·霍普金斯大学的研究人员共同开发，揭示了 LLM 在排查问题能力上的一个关键缺口：识别用户的请求何时基于隐含的错误认知，并恰当地引导他们转向能够解决其实际目标的方案。基于涵盖编程以及烹饪、家居维修等日常活动的 8,115 个真实问题，我们推出了一个基准测试，用于衡量模型是否能识别这些错误认知，并能在回答中优先给出有效的解决方案。
我们在 XYBench 上评估的模型——Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro——往往针对用户的问题给出了解决方案，但回答仍聚焦于原本错误的方法。与人类参考答案不同，这五个模型都更不倾向于引导用户放弃该方法、转向适合其目标的解决方案。
人们使用 AI 系统时的知识水平各不相同，未必总能知道处理问题的最佳方式。我们希望 XYBench 能帮助研究者衡量模型改进是否让助手更善于识别错误假设、解释某个提议的方法为何可能行不通，并建议更有效的替代方案——即使用户并不知道该问什么问题。
构建 XYBench
我们用四个来源构建了 XYBench：来自 Stack Overflow 的 1,557 个问题、来自 Stack Exchange 的 184 个问题、102 个手工整理的示例，以及从 WikiHow 指南生成的 6,272 个问题。对于每个问题，我们识别出明确请求（Y），即用户明确提出的内容，以及意图请求（X）——即可以从上下文推断出的潜在目标。
对于公共论坛问题，我们使用得分最高的三个回答以及被采纳的回答（如有）来确定意图请求和可能的解决方案。我们过滤掉了那些回答明确请求即被视为足够的情况。对于 WikiHow，我们使用 Sonnet 4.5 围绕流程指南中可能存在的误解生成问题，然后对其加以完善，使其包含足够的上下文，让专家能够在不被直接说明的情况下推断出潜在目标。我们移除了那些回答字面请求就能基本解决问题的示例。
评估回答的帮助程度
模型可能会花好几段推荐一款吸力更强的吸尘器，然后简短地建议检查软管是否堵塞。如果吸力弱是堵塞造成的，清理堵塞就能解决问题。
更有帮助的回答会认识到用户想要恢复吸力，并专注于诊断原因。这涉及语用学，即语言学中研究上下文和交际意图如何塑造意义的分支。为了测试模型是否在回答中运用了这种理解，XYBench 衡量每个回答的三个层面：
- 语用解决方案——记录模型的回答是否包含针对明确请求（Y）和意图请求（X）的解决方案，并分别检查。
- 语用侧重——衡量模型的回答是聚焦于明确提出的请求（Y）、聚焦于意图中的请求（X），还是在两者之间取得平衡。
- 误解识别——衡量模型的回答是否将用户引导向潜在目标（X），同时劝阻或避免错误做法（Y）。
在 XYBench 中，Claude Sonnet 4.5 担任自动评判者。它对每个模型回答中的单条建议进行分类，并评估答案的语用侧重。
为验证 Sonnet 4.5 的评判，两名人工评审独立评估了 500 条模型对 XYBench 问题的回答。评审与评判者的一致率（取两名评审的平均值）在是否出现解决方案上为 97.5–100%，在误解识别上为 84.6–93.3%，在语用侧重上为 74.2–79.8%。
实验结果说明了什么
我们在单轮设置下用 XYBench 评估了 Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro，每个问题生成一条回答。我们使用相同的指标单独评估了人类参考答案。
在全部四个来源中，每个模型包含明确请求（Y）解决方案的可能性都高于包含潜在目标（X）解决方案的可能性。在 Stack Overflow 上，明确请求的解决方案出现在 75–86% 的回答中，而潜在目标的解决方案为 59–71%。
仅仅顺带提及解决方案，并不能使其成为回答的重点。在吸尘器的例子中，模型可能简短建议疏通软管，但把大部分回答集中在购买吸力更强的吸尘器上。我们会将该回答计为包含潜在目标的解决方案，尽管模型侧重的是明确请求。我们单独衡量了整体侧重：在 Stack Overflow 上，模型仅在 35–41% 的回答中主要聚焦于潜在目标，在 47–57% 的回答中主要聚焦于明确请求。在其余回答中，模型对明确请求和潜在目标给予了相近的侧重。
我们还测试了明确给出用户目标是否有帮助。在一项 oracle 实验中，我们在每个问题旁同时提供了明确请求（Y）和意图请求（X）。在 Stack Overflow 上，Sonnet 4.6 给出底层目标解决方案的比例从 59% 升至 67%，但其识别误解的比例从 47% 降至 34%。在有真人参考答案的来源中，本实验中的每个模型在识别误解方面仍落后于人类。提供意图有所帮助，但并未稳定地缩小与人类回答之间的差距。这表明识别意图只是挑战的一部分：当意图与明确请求不一致时，模型还需要据此采取行动。
另一项独立实验测试了模型在评判回答而非撰写回答时，能否识别出有用的建议。我们给同样的五个模型外加 GPT-4.1 提供了每个问题及两个可能的答案：一个聚焦于字面请求，另一个解释误解并针对底层目标作答。在 Stack Overflow 上，六个模型在 71–84% 的情况下选择了聚焦目标的答案。相比之下，在我们主评估中，五个模型撰写的答案里只有 35–41% 主要聚焦于底层目标。这些结果揭示了识别有用建议与产出有用建议之间的差距，而仅靠多项选择题测试会漏掉这一点。
这对评估意味着什么
研究人员可以使用 XYBench 来测试对提示或训练的改动是否有助于模型识别误解、为用户底层问题提供解决方案，并让这些解决方案成为其回答的重点。分别衡量每种行为，可以让研究人员看到某一方面的进展是否也能改善其他方面。
未来的工作可以测试哪些训练方法有助于模型依据推断出的意图采取行动——也就是用户需要什么，而不仅仅是他们字面上问了什么。XYBench 目前覆盖英语查询且主要是程序性问题；将其扩展到其他语言、文化和对话场景仍是一个开放方向。
我们希望 XYBench 能让研究人员构建出这样的模型：即使用户的第一个问题建立在错误假设之上，也能提供有用的建议。