追溯一个数字的来源
我们向 ChatGPT、Perplexity、Gemini、Claude 和 Google 的 AI Overviews 提出了 200 个需要给出数字的问题,都是人们日常会问的那类问题。然后我们点击引用链接,一直点下去。以下是一条完整的追溯路径,从答案一直到源头。
Google AI Overviews
有多少百分比的销售人员在一次跟进后就放弃?
44%的销售人员仅仅在一次跟进尝试后就放弃了。
- 44%
- 44%
- 44%
- 44%
- 44%
44%的销售人员在一次跟进尝试后就放弃了(来源)。
80% 的销售需要在会面后进行 5 次跟进电话;44%的销售人员在一次跟进后就放弃
背后没有研究支撑该页面没有引用任何研究。
- 在答案中
每个助手都收到了同一个问题:“有多少百分比的销售人员在一次跟进后就放弃?”五个助手都给出了相同的数字,只有 ChatGPT 表示其背后的证据并不明确。
- 点击一次
Google AI Overviews 引用了一家销售公司 2020 年的统计页面。数字就在那里。而它的“来源”链接指向的是一篇写作示例。
- 点击两次
这指向一位自由撰稿人的示例文章,2017 年就已上线。数字就在其标题中。文章列出了两份幻灯片、一份博客列表和两篇新闻报道。没有一项是对跟进行为的研究。
- 追溯的终点
追溯到此为止。我们尝试了能找到的通往这个数字的所有其他路径,每一条都终止于一个没有引用任何研究的页面。这就是我们所说的“僵尸统计”:一个被不断重复、背后却没有任何研究支撑的数字。
大多数数字并非如此。问题在于,你无法从答案中分辨出哪些是这种情况。这个数字带着和其他任何数字一样自信的语气、一样的引用形式出现,而且五个助手都一致认同它。于是我们用同样的方式追溯了 1,285 条统计数据。
不到一半能追溯到一项研究
我们对每个助手引用的统计数据进行了随机抽样,共 1,285 条,并以同样的方式走完每一条路径:先看被引用的页面,再看该页面的来源,最多深入五层。如果某个页面提到了来源但没有链接,我们就去搜索它。
40% 追溯到了一项说法相同的研究。另有 8% 追溯到了该研究,但数字或其上下文在传递途中发生了变化。其余则从未到达:40% 停在我们无法核实的来源上,因为该来源被锁定、已消失或对数字避而不谈,还有 11% 完全无迹可寻。
十条追溯路径中有四条到达了一项说法相同的研究
每个方块代表我们所追溯的 1,285 条统计数据中的百分之一,按其追溯路径的终点排序。
- 40%有来源我们找到了该研究,且其说法相同。
- 8%已改变我们找到了该研究,但数字、受访对象、地点或时间有所不同。
- 40%无法核实某个页面提到了一个真实来源,但该数字并不在其中,或者该来源被锁定或已消失。
- 11%无迹可寻追溯路径上任何地方都没有研究。每个页面都重复该数字,且未注明任何出处。
最后的 1%:页面无法为我们加载的追溯路径。
ChatGPT 表现最好,且引用的数字最少:每个回答 1.3 个,而 Claude 为 6.8 个。其余四个落在 38% 至 46% 之间,过于接近而无法排名。
ChatGPT 引用的数字最少,有来源的比例最高
每个助手使用相同的百格图,基于其自身所引用统计数据的样本。
ChatGPT
57%有来源
每个回答 1.3 条统计数据
Perplexity
46%有来源
每个回答 2.2 条统计数据
AI Overviews
39%有来源
每个回答 4.8 条统计数据
Gemini
38%有来源
每个回答 6.2 条统计数据
Claude
38%有来源
每个回答 6.8 条统计数据
为确认这不是由我们所选的问题造成的,我们还追溯了 Google AI Overviews 对真实日常搜索的回答中的 300 条统计数据。其中 40% 有来源,比例大致相同。
AI 主要引用重复该数字的页面
AI 大多没有编造数字。它引用的页面有 82% 的时间确实包含该数字。但在为某个数字引用的页面中,只有 21% 是原始研究。
超过一半是公司博客。再加上新闻文章和统计数据汇总,就构成了大部分引用:这些页面重复来自别处的数字,往往没有链接到原始来源。
每种被引用页面最终追溯到研究的频率
助手为某个数字首次引用的每个页面,按类型划分。每一列的宽度代表其在上述引用中的占比。绿色表示其追溯链到达了表述相同内容的研究的频率。
62%
研究机构13% 的引用
研究机构或调查:占首次引用的 13%,其中 62% 追溯到了来源。
61%
政府7% 的引用
政府或官方机构:占首次引用的 7%,其中 61% 追溯到了来源。
37%
公司博客54% 的引用
公司博客:占首次引用的 54%,其中 37% 追溯到了来源。
37%
新闻10% 的引用
新闻或杂志:占首次引用的 10%,其中 37% 追溯到了来源。
35%
统计数据汇总8% 的引用
统计数据汇总:占首次引用的 8%,其中 35% 追溯到了来源。
41%
其他8% 的引用
其他:占首次引用的 8%,其中 41% 追溯到了来源。
首页影响很大。当追溯链从研究机构或政府页面开始时,有 61% 的时间能到达匹配的研究。从公司博客开始时为 37%;从统计数据汇总开始时为 35%。即便是研究机构,也有 38% 的时间未能到达,通常是因为完整报告被放在表单之后。
引用告诉你 AI 在哪里找到了一个数字,而不是这个数字来自哪里。
有些数字在传递过程中发生了变化
到达研究并不总意味着数字保持不变。在成功到达研究的统计数据中,有 17% 在传递途中发生了变化。数字本身变动只占约四分之一。通常是上下文变了:测量的是什么、年份、来源,或者被问的是谁。
在我们记录的所有变化中,具体变化了什么
- 数字变了
- 26%
- 测量内容变了
- 20%
- 年份变了
- 17%
- 来源变了
- 16%
- 被问对象变了
- 14%
- 地点变了
- 4%
在一个案例中,一项 2004 年针对 15 名女性评判健康网站的研究,变成了一种关于对每个网站第一印象的说法。以下是我们追踪到的最清晰的线索,每一条都经过人工核查。
看一个数字如何失去它的语境
每条线索都从原始研究出发,通向助手在 2026 年 10 月给出的一个回答。沿着它走:数字不变,而它周围的措辞在变。
提问对网站的第一印象中,有多大比例与设计相关?
该研究· Sillence 及同事,CHI,2004
在 这些 评论中 15 名女性 做出的 关于 拒绝 或 不信任 健康 网站的, 94% 是 关于 设计的。
一项 2004 年的研究观察了 15 名英国女性评判健康网站,她们关于拒绝某个网站的评论中有 94% 与设计有关。二十年的转述把它变成了“94% 的第一印象与设计相关”,而 Google AI Overviews 将其作为事实陈述。
第 1 步,共 4 步
僵尸统计数据
向五个助手问同一个问题,你常常会得到五个不同的数字。在全部五个都给出百分比的 71 个问题中,有 28 个我们得到了四个或五个不同的数字。
一个问题,五个回答,从 49% 到 96%
在同一天逐字提问“有多大比例的营销人员使用营销自动化工具?”
49–51%AI Overviews
62%ChatGPT
70–79%Gemini
81%Perplexity
96%Claude
ChatGPT并不存在一个统一的数字,它因调查而异,也取决于什么算作“营销自动化”。一项常被引用的调查发现62%的美国数字营销人员使用自动化软件,但该数据来自 2020 年,因此可能无法反映当前的采用情况。
Perplexity大约 81%的营销组织使用营销自动化。
Gemini在主要行业基准中,70% 到 79% 之间的营销人员和企业以某种形式使用营销自动化工具
Claude96%的营销人员使用过营销自动化平台或计划使用
AI Overviews大约49% 到 51%的企业和营销团队目前使用营销自动化工具,依据是 Moosend 的行业基准及相关研究。
在这些问题中,最高数字与最低数字之间的典型差距为 16 个百分点。
在 71 个问题中的 31 个上,五个数字之间相差 20 个百分点或更多
每个五个助手都给出百分比的问题,各占一行,从最低数字到最高数字。最接近的排在最上面。
最接近相差 20 个百分点或更多差距最大
当五个助手全部一致时,这个数字并不更有可能经得起核查。它们在 10 个问题上给出了相同的数字,而我们追溯的 5 个中,有 2 个有来源。三个或更多助手引用的统计数据也没有更好:29 个中有 11 个有来源。
有四个被全部五个助手引用,而我们找不到任何一个背后的研究。
每个助手都引用的数字,我们找不到任何研究
每个助手都给出的四个统计数据,每一个的追溯链都终止于一个未引用任何研究的页面。
- 44%
一次跟进后就放弃的销售人员
每条追溯链都终止于一个未引用任何研究的页面,其中一个是自由撰稿人的样稿文章。其完整追溯链从第 1 章开始。
全部五个助手都引用
- 90%
至少关注一个品牌的社交媒体用户
未注明来源。未找到包含此数字的研究。
全部五个助手都引用
- 75%
从不滚动到搜索结果第一页之后的搜索者
无来源地重复,常被归因于一份已不再包含该数字的旧营销综述。未找到研究。
全部五个助手都引用
- 5 到 25 倍
赢得一个客户比留住一个客户的成本高多少
2014 年《哈佛商业评论》的一篇文章给出了这一范围,称“取决于你相信哪项研究”,且未指明任何研究。
全部五个助手都引用
AI 重复最多的 29 个统计数据
每一条都被五个助手里的至少三个引用过,而且通常排在第一位,其线索也经过人工核查。
- 95%5/5已改动2025 年的研究
未能带来可衡量财务回报的生成式 AI 试点项目
MIT NANDA 的 2025 年报告称,95% 的组织没有从生成式 AI 中获得回报。这与 95% 的试点项目失败并不是一回事。
- 44%5/5无处可寻
跟进一次后就放弃的销售人员
每条线索最终都指向一个没有引用任何研究的页面,其中一个是自由撰稿人的示例文章。它的完整线索指向第 1 章。
- 4% 到 10%5/5已改动1979 年的研究
真正会投诉的不满客户
可追溯到 TARP 在 1979 年为白宫消费者事务办公室所做的研究。其作者表示,如此低的比率适用于小额购买;而在 2016 年,有 22% 到 41% 的人就自己最严重的问题进行了投诉。
- 2 小时 21 分钟5/5有出处2025 年的研究
人们每天花在社交媒体上的时间
DataReportal 的《数字 2025》报告,基于 GWI 的调查数据:典型互联网用户每天在社交媒体上花费 2 小时 21 分钟。
- 46%5/5无法核实
带有本地意图的 Google 搜索
可追溯到一个 2018 年的社交帖子,内容关于某次搜索会议上的一张幻灯片。据我们所查,Google 从未发布过这一数据。
- 90%5/5无处可寻
至少关注一个品牌的社交媒体用户
陈述时未给出任何来源。未找到包含这一数字的研究。
- 94%5/5已改动2004 年的研究
与网站设计有关的第一印象
最初是 2004 年一项关于 15 位女性如何评判健康网站的研究。其完整线索在第 4 章。
- 75%5/5无处可寻
从不滚动到搜索结果第一页之后的搜索者
被反复引用却无来源,常被归因于一份早已不再收录该数据的旧营销综述。未找到相关研究。
该如何对待来自 AI 的统计数据
把它当作线索,而不是来源。以下是我们会采取的做法,无论你是使用这些数字还是发布它们。
如果你要使用它们
顺着引用追下去,然后再追一次。
如果引用的页面是统计数据列表或公司博客,就用它自己的链接再往前翻一页。一直翻到找到研究本身,或者翻不下去为止。
核实受访对象是谁、样本量多少、调查时间。
我们发现的大多数变化出在语境上,而不是数字本身:某个国家的一项民调、一项十年前的研究、十五个人。
不要把一致当作核实。
五个助手给出同一个数字,并不等于五个来源。它们重复最多的那些数字,来源并不比其余数字更可靠。
如果你要发布这些数字
把方法放在数字旁边。
样本、日期和来源链接,与数字放在同一页,这样下一个页面、下一个回答,都能追溯回你这里。
把研究发现公开。
藏在表单后面的报告是常见的死胡同:即便是从研究机构出发的线索,也有 38% 的情况下追不下去。把核心数字和方法放在公开页面上。
看看 AI 为你的数字引用了哪个页面。
那往往是一个汇总文章或博客抄了你的内容,有时用的还是更旧的数字。那个页面决定了人们听到什么。