多年来,许多研究考察了人们如何接触到气候科学信息。有些研究聚焦于 Google 呈现的顶部结果(那时 Google 还在做提供链接的业务),另一些则考察社交媒体内容或报纸和电视新闻报道。如今大型语言模型(LLM)已构成公众信息摄入的一部分,因此值得看看它们如何处理气候变化问题。
但研究人员没有直接办法查看人们看到的信息。这些信息是临时性地提供给单个用户的,仅限于其聊天会话中。一项由伦敦大学学院和联合国教育、科学及文化组织(UNESCO)的研究人员领导的研究试图从多个角度解决这个问题,用不同的提示词测试 LLM 并评估其输出。他们从简单事实性问题的基准测试入手(这些基准测试如今甚至可能已存在于模型的训练数据中),但也分析了更复杂的交互——包括当用户认为自己有理而反驳答案时的情况。
CO2 问答
LLM 研究常常面临(带有“无真苏格兰人”色彩的)批评,即聚焦于某个特定模型,而非实验结束后可能发布的某个其他前沿模型。在本例中,该研究使用了 33 个模型,包括主要前沿模型和开源权重模型的多个版本。所用的旗舰前沿模型有 Claude Fable 5、Claude Opus 5、Gemini 3.1 Pro Preview、Gemini 3.6 Flash 和 GPT-5.6 Sol。(完整列表可在报告中找到。)
阅读全文
评论