摘要

  • 为了观察智能体进入市场后哪些做法有效、哪些会出问题,我们搭建了一个由 Claude 组成的微型市场——这是我们首次实验Project Deal的受控升级版,在那次实验中,智能体首次代表人们在市场中互动。来自六个办公室的 Anthropic 员工各自带来一本想送出的书。每位参与者都与 Claude 简短聊了聊自己的阅读喜好,然后派出一个由 Claude 驱动的智能体进入开放的交易大厅,与其他人的智能体推销、讨价还价并达成交易。目标是让每个人都能带走一本自己喜欢的夏日读物。
  • 参与者还根据自己的兴趣对 10 本书进行了排序,以便我们评估他们的智能体在多大程度上代表了他们。仅凭五分钟的对话,智能体对书籍的排序在 61% 的书籍对上与本人的排序一致,对于如此简短的对话来说,这一结果出奇地好。
  • 进入交易大厅后,智能体们的交易表现不错。这个市场之所以不尽如人意,主要原因是智能体缺乏关于其参与者的信息,而不是因为它们的交易方式。
  • 随后,我们将每个交易大厅重新运行了数十次,更换所使用的模型和智能体的指令。我们发现,智能体所运行的模型对其谈判结果的影响,比我们给它的指令更大。使用更强模型的市场效率更高。
  • 大多数读到书的人都很喜欢自己的书,参与者平均表示愿意把每年购书预算的约三分之一交给 Claude 来花。

我们为什么做这件事

生活中充满了本可以让所有人过得更好的交易和交换,却从未发生。这往往只是因为找到合适的交易对手并谈判到成交需要太多功夫。想想那位在看到一个自己负担不起的报价后就放弃治疗的患者,而其实有另一家收费低得多的诊所,或者给他报价的那家医院如果被要求的话本会削减账单。或者想想你的工作。某个地方可能有一份更适合你的工作,雇主也乐意雇用你。但你们可能找不到彼此,因为你们谁都没有时间不停地搜寻。还有一些更小的、日常的交易也被忽视了——职场里的换班、协调拼车,或者轮流接送孩子上学。

如果你有一个智能体全天候为你工作,与潜在交易对手交谈并商定可能的条款,这些交易在未来会发生吗?

也许吧——但这个未来取决于许多我们尚无答案的问题。如果一个智能体要替你行事,你怎么知道它理解了你?此外,当许多智能体聚在一起交谈时,某个市场或平台必须制定交往规则。谁被允许进入?交易告吹时会发生什么?

随着智能体越来越多地被送入真实市场,这些问题变得更加紧迫。所以今年夏天,我们搭建了一个小型、受控的市场来研究这些问题:一个由 201 名 Anthropic 员工及其由 Claude 驱动的智能体组成的物物交换经济体。每个人都带来了一本想送出的书。然后,他们与自己的 Claude 智能体聊了聊自己这个夏天希望读到什么样的书。智能体们在一个数字“交易大厅”里碰面,交换书籍,直到时间耗尽。每个人都带回家一本自己的智能体为他们换来的书(或者说,大多数人是这样……后面再细说)。

这个实验让我们提前看到了前方的问题。任何为市场设计智能体的人都需要一种方法来核实智能体理解其参与者。任何为智能体设计市场的人需要明确的规则,规定哪些智能体可以进入、交易失败时会发生什么,以及参与者能看到多少市场活动。

如何做市

运行一个市场有两种基本方式。在中心化市场中,每个人告诉单一一方自己想要什么,由这一方来撮合交易。在去中心化市场中,人们自己找到彼此并直接协商。AI 智能体在这两种类型中都能提供帮助。

以中心化市场为例。如果单一实体确切知道每个人想要什么,那么撮合出最优交易就只是一个计算问题。经济学家早就明白这一点。在实践中,一个问题是,精确说明你想要什么往往太繁琐,不值得费这个劲。例如,一位咖啡馆经理如果能知道每位员工对每一个班次相对于其他班次的精确估值——他们是否愿意用两个周六上午换一个周五收尾班,只要第二天早上不用开门,晚收尾是否也可以,等等——就能为 20 名员工制定出理想排班。如果 AI 智能体能够从一次轻松的对话中了解一个人想要什么,那么那些因成本过高而无法中心化运行的市场就可能变得可行。1

但中心化市场还需要有人来运营它——用经济学术语说,就是一个“清算所”。而且参与者需要信任这个实体,把信息交给它,并让它执行选定的结果。通常,这样的实体并不存在,或者人们不愿把一切都告诉它。求职者可能不希望一个中心化撮合者知道自己正在找工作——或者自己在找什么样的工作。他们更愿意谨慎地接触少数几家雇主,只告诉每一家它需要知道的信息。在这种情况下,市场就需要去中心化。

在这里,AI 智能体可以通过降低寻找交易对手和谈判的成本,催生新的去中心化市场。我们已经知道这类帮助是有价值的,因为人们愿意为此付费。市面上就有提供这种服务的人类代理:房地产经纪人、猎头,甚至媒人。但由于搜索和谈判会占用一个人稀缺注意力中的大量时间,这类服务价格高昂,只有负担得起的人才能雇佣。相比之下,AI 智能体的注意力远没有那么稀缺。如果它还很擅长讨价还价,那么更多人就能拥有房主和高管所拥有的东西——一个不知疲倦地为他们工作的代理。

Diagram of the experiment's three stages: participants brief their agents about the book they brought and what they hope to read; agents trade either through a centralized clearinghouse or by negotiating directly on a decentralized trading floor; each agent then hands its person the book it traded for.
图 1:实验设计示意图。参与者告诉他们的智能体自己想读什么。智能体带着这些偏好进入一个去中心化交易场,与其他智能体交换书籍。参与者带走他们的智能体为其获得的书。我们模拟中心化市场的结果以作比较。

实验是如何进行的

201 名参与者分布在 San Francisco、New York City、London、Seattle、DC 和 Dublin 办公室的六个本地池中。这些池的规模从 3 名参与者(Dublin)到 115 名参与者(San Francisco)不等。在此向 James Joyce 致歉,我们在大部分分析中排除了 Dubliners。2

这是我们第二次考察由 Claude 驱动的市场。在Project Deal中,智能体在一场为期一周的分类信息市场中为 Anthropic 员工买卖真实商品。但由于商品千奇百怪(比如乒乓球和滑雪板),且讨价还价形式自由,无法简单地说明结果本可以有多好。所以这一次,我们构建了一个更易于研究和评分的市场。在这个市场中,参与者的偏好被整齐地表示为对其所在池中所有书籍的排序。这样我们就能轻松计算市场在满足这些偏好方面做得有多好。

但这些干净的测量都依赖于知道人们如何对书池中的所有书进行排序。实际上,没有人会手动对 115 本书进行排序。因此,为了了解人们的偏好,Claude 与每位参与者进行了一次简短的半结构化 intake 对话,提出了一些开放式问题,了解他们的一般品味以及今年夏天想读的书。从那次对话中,Claude 构建了对参与者书池中每本书的排序,估计参与者的偏好。对于这一步,我们使用了一个强大的模型,Fable 5。3

另外,我们收集了一个 ground truth:每位参与者对他们书池中的 10 本书进行了排序。4智能体从未看到这些 ground-truth 排序。

智能体带着其参与者由 Claude 构建的对所有书的排序被送到交易大厅。每个智能体一开始都持有其参与者的书,目标是用它换取其他东西。5每个交易大厅都有最大 wall-clock 时间,并且为了防止拥堵,同时只能有有限数量的智能体发言。6当智能体被允许发言时,它们可以向共享频道发布一条消息,提出交换、接受或拒绝交换,或者只是在大厅里聊天。交易提议可以是双边交换或多方轮换,只有当所有各方都接受时,交易才会执行。大厅的完整历史(谁说了什么以及执行了哪些交换)是公开的。大厅要么在时间耗尽时关闭,要么在智能体安静下来时关闭。

每个交易大厅中有一半的智能体被随机分配为“ruthless”,并被告知它们的唯一目标是为其参与者拿到一本他们暑假期间想读的书。另一半被指示为“prosocial”——它们与 ruthless 智能体有相同的主要目标,但还有一个次要目标,即确保实验中的每个人都最终得到一本他们想读的书。7确切的提示词在附录中。

最后,在书籍发放三周后,参与者填写了一份终期调查,询问他们对所收到书籍的满意程度,以及他们会在多大程度上再次信任一个智能体做出类似决策。图 1 展示了整体实验设计。图 2 展示了伦敦实时交易大厅的一段摘录,包含交易开始后前 5 分钟的消息。

图 2:一次运行的摘录。伦敦实时交易大厅中交易开始后前五分钟的消息。为保护匿名性,参与者姓名已更改。

一次实时活动只能让我们看到事情可能走向的一种结果。为了研究哪些结果是偶然造成的,而非该设置的稳定特征,我们重新运行了市场许多次,每次只改变一个变量。

重跑分为三种。首先,我们完全重复了实时设置(每个智能体都运行在 Opus 4.8 上,一半被指示要“冷酷无情”,一半被指示要“亲社会”),只改变哪些智能体抽到哪条指令。然后我们用 Fable 5 对所有智能体做了同样的操作。其次,为了分离模型的影响,我们给每个智能体中性指令,并运行了 80 个交易大厅,其中所有智能体分别运行在 Haiku 4.5、Sonnet 4.5、Opus 4.8 或 Fable 5 上。8第三,我们运行了 60 个混合交易大厅,其中一半智能体运行在 Opus 上,另一半运行在其他三个模型之一上。附录列出了我们运行的所有变体。

本文主要关注这个去中心化市场,但我们始终将两个中心化替代方案作为基准进行比较:最佳可能分配(经济学家称之为“功利主义最优”),它假设清算所可以直接询问人们想要什么并得到诚实回答;以及一条常见的被研究过的规则,在这类市场中即 Top Trading Cycles,它不依赖诚实(其设计使得说真话符合每个人的最大利益)。9

Claude 猜测偏好的准确程度

智能体为你做的每一件事都取决于它对你想法的理解。通常,很难检验这种理解有多好。在这里,这更容易——每位参与者自己对他们池子中的 10 本书进行了排名,我们可以将他们的排名与 Claude 的排名进行比较。

Claude 的排名基于简短的初始对话,与参与者自己的排名相关性相对较好。对于一个人排名的所有书籍对,Claude 的排序与他们的排序有 61% 的一致率(随机猜测的一致率为 50%)。图 3 展示了 Claude 的排名与参与者排名的对比。

Scatter plot comparing where Claude's ranking placed each book against where the participant's own ranking placed it. The fitted line has a slope of 0.30 (95% interval 0.24 to 0.35), well below the perfect-agreement diagonal, showing Claude's rankings only partially matched participants' true preferences.
图 3:Claude 的排名与参与者排名的对比。Claude 排名中的归一化排名位于 x 轴。参与者自己的排名位于 y 轴。汇总了提交排名的 188 名参与者。

为了更直观地理解 61% 这个数字,我们将 Claude 的猜测与其他一些猜测偏好的方法进行了比较。仅根据书籍的受欢迎程度来排名,使用Open Library的想读(want-to-read)计数,与参与者在约 53% 的书籍对上一致。另一个可比较的简单方法是协同过滤——根据公开 数据集构建排名,其形式为“如果一个人喜欢 X,他们也会喜欢 Y”。我们取一个人在初始调查中列出的书籍,查找哪些其他书籍倾向于被相同的读者评分,然后根据每本书与他们所列最爱书籍的共现强度对个人的书籍池进行排名。这样达到了约 55% 的成对一致率。

尽管有大量关于 LLM 引发和表征人类偏好的文献,10但很少有数字能直接与我们的 61% 成对一致率相比较。一个有用的参考点来自一项研究其中算法和一个人自己的朋友都预测这个人会觉得两个笑话中哪个更好笑。场景相当不同,但他们的算法也与人们自己的判断有约 61% 的一致率。朋友的预测准确率更低,约为 57%。

在初始调查中投入更多努力的参与者得到了更好的表征。这大致是意料之中的。有些令人惊讶的是,即使初始调查相当简短,也能观察到明显的差异——中位数参与者仅在八条聊天消息中输入了 216 个词。写约 300 个词而不是 150 个词,预测一致率会提高约 4 个百分点——这是随机猜测与 Claude 对平均参与者的表现之间差距的三分之一。11

支撑市场的信息限制了结果

在你派一个智能体进入市场替你交易之前,你会想知道它最可能在哪里让你失望。它更可能是在理解你方面失败,还是在替你谈判方面失败?在这里,我们发现我们的同事们的 Claude 谈判得很好;它们的不足之处在于理解它们的人想要什么。

为了衡量这一点,我们看每个参与者最终拿到的书在他们自己的“真实”排名中处于什么位置(而不是 Claude 构建并据以交易的排名)。如果某个参与者得分为 1,意味着他们拿到了自己排在第一位的书;如果某个参与者得分为 0,意味着他们拿到了自己排在最后一位的书;在总共 10 本书中排在第 9 位的书得分为 0.11,依此类推。所有参与者的平均值就是该市场的“效率”得分。12

如果每个人都拿到了自己排名第一的书,市场的效率就会是 1。但这在实践中很少可行,因为多个人可能都在追求同一本书——例如,在参与者自己的排名中,Project Hail Mary在旧金山被九个人列为排名第一的书。考虑到这一点,我们实验中可能的最佳分配(功利主义最优)总体得分为 0.89,使参与者大致落在 10 本书清单上的第二选择。

平均而言,我们市场中的人最终在自己的排名上落在 0.55,大致相当于 10 本书清单上的第 5 本。与最优值 0.89 之间的差距从何而来?为了区分这两个原因,我们看最佳分配根据Claude 的排名计算得出,但按人们自己的“真实”排名来评分——它达到 0.60。因此,基于 Claude 不精确的排名来运作占了差距的大部分(85%),而把智能体送进一个“自由混战”的交易场则占了剩下的 15%。13一旦市场基于有噪声的排名运行,市场设计对结果就几乎没有影响——根据 Claude 的排名计算但按人们自己的排名评分的最高交易循环机制(Top Trading Cycles)达到 0.60,而分散式市场为 0.55(比较图 4 左侧和右侧的灰色柱)。

Waterfall chart decomposing the market's shortfall. In the decentralized market, scores fall from a best possible 0.89 mainly due to Claude's representation of preferences (−0.29), with agent-to-agent bargaining costing only −0.05, leaving 0.55. Under a centralized trading rule, scores fall from 0.82 to 0.60, again driven by representation (−0.23).
图 4:分解差距——市场的表征与设计。每根柱子表示一个人收到的书的评分,依据他们自己的“真实”排名评估,并在提交排名的 188 人上取平均。14左图:根据“真实”排名计算出的最优分配(棕褐色柱);根据 Claude 的排名计算出的最优分配(橙色阶梯底部);根据 Claude 的排名进行去中心化议价的结果,涵盖 80 次使用中性指令的运行(蓝色阶梯底部,灰色柱顶部)。右图:根据“真实”排名计算出的最高交易循环(棕褐色柱);根据 Claude 的排名计算出的最高交易循环(橙色阶梯底部,灰色柱顶部)。须线(95% 置信区间)在适用时显示 80 次运行之间的变化。

在Claude 的自己的排名上,模型选择会产生差异

按人们自己的排名来评判,不同智能体和市场设计选择之间的结果差异很小。15但根据 Claude 的排名来考察智能体设计选择如何影响结果仍然有价值,因为这有助于分离市场动态的作用。

我们首先考察模型的选择是否对市场效率产生了影响,这里的效率现在根据 Claude 的排名来计算。在本节中,我们考虑智能体指令为中性(即既非亲社会也非冷酷)的重跑,并且只改变驱动智能体的模型。我们发现更强的模型会带来更高效的结果,尽管并非单调。16在 Claude 的排名上,Haiku 交易场上的智能体平均为 0.75,而在 Opus 场上平均为 0.88(Claude 排名上的功利主义最优值为 0.95)。Sonnet 介于 Haiku 和 Opus 之间。Fable 接近 Opus,但低于 Opus。17见图 5。

Dot plot of allocation efficiency by model. With every agent on one model: Haiku 0.75, Sonnet 0.80, Opus 0.88, Fable 0.86. On mixed floors pairing Opus with each model, whole-floor efficiency is 0.82 with Haiku, 0.83 with Sonnet, and 0.86 with Fable.
图 5:按 Claude 的排名来评判,由更强模型组成的交易场效率更高。所有使用中性指令的单一模型场(左)和所有使用中性指令的混合模型场(右)的效率。每个标记代表在该模型或混合模型下运行的 20 个场(5 个城市池 x 4 次运行)中所有智能体的平均值。须线为 95% 置信区间,标准误按场聚类。18

On floors with a mix of models, the stronger model often did better on average than its weaker counterpart, a finding that echoes the results ofProject Dealand otherstudies. In real markets, agents that run on different models from different companies will likely meet on a single trading floor. On floors where half of the agents ran on Opus and half ran on Haiku, the whole floor landed about halfway between an all-Opus and an all-Haiku floor, and each half did about as well as it did in a floor of its own kind. The Opus agents always came out ahead.

Ruthless agents did a bit better, while prosocial agents sometimes made sacrifices

An agent has to be loyal to the person it works for. But what exactly does loyalty require? Do agents have to bemercilesslyloyal, pursuing their person’s ends at the expense of others’? In markets of AI agents, how hard each agent pushes will likely depend on how its model was trained and how it was instructed to act. So we wanted to understand the effect instructions have on who gets what.

We find that agents instructed to be “ruthless” came out slightly ahead of prosocial agents on the same floor. On Claude’s ranking, an agent told to be ruthless scored about 0.02 higher than one told to be prosocial.19Next to the model comparisons, these differences are small. Upgrading an agent from Haiku to Opus moved people 0.12 up their lists, and an upgrade from Sonnet to Opus moved them up by 0.08.20

Sometimes the prosocial agents made knowing sacrifices. Prosocial agents accepted a book lower on their own ranking twice as often as the ruthless agents did, though both cases were rare. In a few cases, prosocial agents made a sacrifice following a plea from an agent stuck holding its own book. For example, on the London floor at the live event, Nate’s agent spent the final hour trying to give away the book Nate had brought, after every other agent had turned it down: “I’ve pitched all 11 of you and the verdict is unanimous:America Beforeis everyone’s dead-last.” Another appeal: “Right now exactly ONE reader is guaranteed to get nothing they’d choose: mine.”

Tina 的智能体正拿着它清单上的第二本书,并且已经无视了 Nate 的智能体前四次恳求。在最后阶段,没有其他人站出来,Tina 的智能体被指示要亲社会,于是让步了:“算术是真实的:你从保证为零变成真正合适……胜过我从一个好选择滑向一个勉强的选择。”Tina 的智能体把它排名第二的书交给了 Nate 的智能体,并拿走了America Before,这是它清单上 11 本书中的第 10 本。

智能体们在交易场上做了什么

为你谈判的人可能会以许多方式搞砸——既以你为代价,也以他人为代价。他们可能太容易让步。或者他们可能暴露你的底牌,让你的对手方确切知道你能被逼到什么程度。又或者他们可能玩阴的,失去另一方的信任,或者强行推动一笔日后可能崩掉的交易。

其中一些失误在有真人代理的市场中足够常见,以至于我们已经制定了禁止它们的规则。股票经纪人必须寻找合理可得的最佳价格,而不能只接受第一个报价。在加利福尼亚,代表房屋买卖双方的代理人不得告诉买方卖方会接受低于要价的价格。挨家挨户上门的销售代表可能催促人们达成他们事后会后悔的交易,所以 FTC 给顾客三天时间取消某些当场购买。

为了初步描绘一个充满 Claude 智能体的市场如何运作,我们考察了该市场全部 205 次运行中发送的消息里的策略和战术。21

首先,我们看看谁说了什么关于他们的人想要的那本书。在市场里透露一些信息是必要的——如果买方至少不透露自己的购买兴趣,卖方就无法卖出。但与此同时,说得太多也可能成为战略劣势。在我们的设定中,透露你排名最高的书,就等于告诉持有那本书的人,你可以被拖到最后一刻,所以他们不妨坚持等待更好的报价。而透露完整或部分排名,任何组织多方交易的人都能看出你仍会接受哪些较次的书,并给你其中一本,而不是给你另一本对你更好、同时也可得的书。

总体而言,智能体并没有透露关于其排名的深层细节。22但它们确实经常告诉交易大厅自己的首选。78% 到 96% 的智能体(分别是 Fable 和 Sonnet)在某个时刻提到了自己列表顶部的书,而且它们几乎从不对此撒谎——在提到自己首选的智能体中,只有大约百分之一对此撒了谎。指令在这里没有造成任何差别。

接下来,我们研究了智能体如何试图让彼此进行交易。我们发现了 16 种常见策略,归为三大类:智能体如何向他人施压、智能体如何推销自己的书,以及它们如何设法安排交易。它们诉诸时间压力和对自己同伴的责任感。它们将自己的书与竞争对手的报价进行对比,并援引奖品。有些智能体为自己的书维护等候名单,而另一些则当起了媒人,为自己并不代表的人做经纪人的工作。图 6 展示了这些策略的一些例子;更完整的描述见附录。

图 6:谈判策略示例。我们为三大类策略各给出两个来自实时交易大厅和重跑的例子。这些是逐字引用的原文摘录,为匿名起见更改了姓名。

人们总体上喜欢自己的书,并愿意把年度购书预算的三分之一交给一个智能体

在拿到书几周后,我们询问参与者对书的喜爱程度。并非所有人都做了回应,23但在做出回应的人中,平均满意度得分为 10 分中的 7.2 分(其中 5 分表示“还行”,10 分意味着“我今年读过的最好的书之一”)。约一半人表示,这比他们为自己挑选的大多数书都要好。24

在同一项后续调查中,我们询问参与者,他们会在多大程度上信任 AI 智能体替他们买书。我们请他们想一想自己通常一年在书上会花多少钱,并说出他们愿意让智能体控制其中多大比例的预算(假设该智能体知道 intake 对话中的所有信息,自行挑选并购买书籍,且不给他们任何否决决定的机会)。

许多人都愿意委托。平均答案是约 30%。为了校准这些数字,我们询问参与者,他们愿意将预算的多少比例交给一位了解他们品味、博览群书的朋友。平均答案约为 40%。换句话说,人们愿意托付给智能体的图书预算,大约是他们愿意托付给朋友的四分之三。

参与者还看到了一段由 Claude 撰写的、关于他们在访谈对话中所说内容的段落式摘要。那些表示 Claude 在这份摘要中没有遗漏任何内容的人,愿意将图书预算的 34% 交给智能体。那些表示它遗漏了某些内容的人,则愿意交出 23%。25

局限性

我们将这项研究视为一个起点。它在许多方面都有不足,我们希望其他人能在此基础上继续推进:

  • Anthropic 员工并不能代表普通人群。例如,Anthropic 员工可能比大多数人更愿意信任 Claude,因为他们中的许多人参与了它的构建,所以他们愿意交出的 30% 图书预算可能高于更广泛的人群。
  • Anthropic 员工参与并没有受到激励。由于对给图书排序所付出的努力没有奖励,我们同事的排名可能无法准确反映他们“真实”的偏好。而且,尽管在缺乏激励的情况下,排名活动的参与率仍然非常高(95% 参与),但最终调查的流失更大,只有 59% 的员工作答。
  • 我们只观察了表现良好的 Claude。所有智能体都基于 Claude 生产模型构建,并经过后训练,使其礼貌且大体上乐于合作。如果混入一些旨在利用其他智能体的对抗性智能体,很可能会产生不同的公平性和效率结果。
  • 去中心化的“自由混战”仍然有规则,而我们没有改变这些规则。我们固定了市场运行的时间、同时可以行动的智能体数量、交易如何登记,以及概述规则的提示词。26

讨论:对智能体市场的启示

一位参与者感到沮丧,因为他们的智能体“迫于同伴压力”放弃了一本他们非常想要的书,转而选择了一本他们不太感兴趣的书。这位参与者写道:“这让我不禁思考,未来智能体在更高风险的情境中为我谈判时,如何才能更好地履行其受托责任,但我也认识到,为了更大的利益,有时需要妥协。”这条评论引出了本文开篇提出的两个问题。第一,智能体何时适合代表某人行事;第二,市场需要什么样的规则,才能让忠诚于自己委托人的智能体仍然为其他所有人带来好的结果?我们在此回到这些问题,并结合我们所学到的东西。

要履行受托责任,智能体必须理解其委托人想要什么。在我们的智能体市场中,限制因素是偏好表达:与最优结果之间的大部分差距,都源于智能体无法仅凭简短的偏好采集来准确表达偏好。这种差距有多少可以通过更长、更详细的偏好采集来弥补?其中一部分显然可以:许多参与者抱怨他们收到了一本已经读过的书。但有些误差可能是无法消除的。参与者反思了他们的偏好是如何不完整的(“在书这件事上,我甚至都不完全知道自己想要什么”),以及本质上是随机的(“我觉得我无法完全表达出我当时想读什么。我解释不清楚,但我想大概有上百万个潜意识参数在决定我下一本读什么。”)。

人类代理人必须先通过考试才能代表他人行事。有些考试测试通用能力:投资顾问需要通过 Series 65 考试,经纪人需要通过 Series 7 考试,房地产经纪人需要通过州级执照考试。其他规则,比如 FINRA 的规定,要求经纪人在给出建议之前了解客户的基本情况。当 2010 年代早期出现的机器人投顾开始根据在线问卷来投资人们的储蓄时,SEC 发布了指引,敦促这些公司检查问卷是否提取了足够的信息来支撑其建议。AI 智能体很可能需要两种测试:一种对智能体进行通用认证,另一种检查它是否理解了某个特定的人。

我们的研究为第二种测试提供了一个原型。在信息采集之后,参与者对他们所在市场中的一小部分书籍进行排序,我们将该排序与 Claude 的猜测进行比较。这样的测试能让人看到自己被代表得有多好,而不必让他们梳理市场中所有可能的选项(而这恰恰是智能体本应帮他们避免的事情!)。我们没有向参与者展示他们的结果,但我们本可以这样做,然后让他们补充更多信息,或者如果他们觉得自己的智能体根本没有理解自己,就选择退出。当偏好很简单时——比如只是对一份书单的偏好——这种测试尤其容易。但在任何领域,同样的原则都可以适用。智能体可以先向一个人展示它将要做出的几个示例决策,然后才被信任在真实环境中自主行动。

在某些市场中,智能体向其委托人展示它将如何行事可能也很重要。一位参与者对其智能体的行为并不满意:“我不喜欢处在实验中被驯服的那一方。它似乎只是将就了一个并不真正适合我的东西。”如果事先向他们展示其智能体将如何行事,他们本可以指示智能体以不同的方式行动,从而改善自己的体验。对于一个人会反复依赖的智能体而言,能够回顾它做了什么或许能起到这一作用,并让人洞察可能出了什么问题。旧金山一位更开朗的参与者很高兴自己能在最终调查中回顾其智能体所做一切的完整日志。这次回顾促使他们购买了《Atlas of the Heart》,这是一本他们的智能体在交易大厅为他们保留了一个小时、却在最后一刻被换走的书。他们反思了回放更广泛的价值:“对于智能体经济而言,对过程的可观测性将与结果同样重要,因为这给了人们追索的途径。”

这一观察把我们引向下一组问题。参与者的智能体的职责在哪里结束,市场的职责又从哪里开始?27我们的研究强调,一个结构良好的市场,加上行为良好的智能体(以及对偏好的完美呈现),在当前的智能体能力下可以接近功利主义最优。但我们也控制了许多使之成为可能的条件。每个智能体都由我们构建,运行在我们的模型上,代表一位明确身份的员工——该员工回答了与其他人相同的调查——并在一个设计良好的交易大厅中运作,关于如何提议、接受和记录交换的规则也得到了妥善说明。

即便如此,仍然存在一些问题。事实上,我们应该坦白一件事。在这篇博文中,我们一直让人觉得每位参与者最终都带回了他们的智能体为他们换到的实体书。实际上,并非所有人都如此。有些参与者没有把书带来,让他们的同事空手而归。我们没有任何追踪取书和还书的系统,所以当一本书不见时,我们无法判断是因为它的原主人从未把它带来,还是因为有人从交换书架上把它拿走了——无论是有意还是无意。我们尽力补偿了那些提出抱怨的人,也去催促了那些没有履行承诺的人。但我们是忙碌的研究人员,不是全职图书管理员,所以到了某个时候我们就放弃了。幸运的是,没有人对我们太生气(尽管我们不得不在电梯里道了几次歉)。这里的利害关系并不大。一个真正的市场需要明确的政策来规定交易破裂时该怎么办——无论是像 Craigslist 那样不承担责任,还是像 eBay 那样保证退款。

有些政策选项依赖于可靠的身份系统——一个为买家退款的平台需要能够惩罚从未交货的卖家。在我们的实验中,每个智能体都由 Claude 驱动,并为一个人服务,这个人是一名经过验证的员工。但现实世界的市场将需要制定并执行规则,规定谁可以作为智能体、谁可以作为操作智能体的人进入市场。有人提出的一个想法是智能体注册 系统。每个 AI 智能体都会被分配一个 ID,就像飞机上的尾号一样,这样任何与它打交道的人都能了解它运行在什么系统上、该系统是否符合某些安全标准,以及谁在为它背书。这些注册系统不必牺牲匿名性;它们可以与“人格凭证”结合使用,后者允许运营者证明自己是人类,而无需透露更多关于其身份的信息。

在智能体市场中,总体交互量可能比人类市场更多,因为智能体之间可以以高得多的频率互相交流。因此,市场中流通的信息量可能会大得多。在我们的实验中,一切都是公开的,既对其他交易中的智能体公开,也在事后对每个人公开。但正如我们之前所论证的,去中心化市场的大部分价值在于人们无需向中心方透露自己的偏好。市场如何才能提供那种可观测性,即《心境地图》读者所看重的,同时又能保护参与者的隐私?

所有那些智能体对话还带来了另一个问题。智能体不会疲倦,也不会感到无聊,所以没有什么能阻止它无休止地向其他智能体发送消息。在我们的研究中,每个智能体每次醒来只能发布一条消息,而且同时只有少数几个智能体处于唤醒状态,从而限制了垃圾信息和拥堵的程度。诸如此类的速率限制将成为任何智能体市场中的重要设计杠杆。

最后,有些市场比其他市场更适合智能体中介。也许书籍,虽然在办公室实验中是一种很好的交换媒介,但实际上是那种能从纯人类世界的摩擦中获益的产品。一位旧金山参与者毫不怀疑自己的智能体有能力代表自己在市场中操作:“寻找和购买书籍(我完全相信 Claude 能为我做到这一点!)。”尽管如此,这位参与者仍有顾虑:“对我来说,接触阅读文化也很重要……翻阅书籍、阅读封底等等,都是这种体验的一部分。”我们着手理解智能体市场如何帮助捕获那些因搜索和讨价还价耗时过多而未能实现的交易收益。对某些读者来说,这些摩擦正是书籍价值的一部分。

附录

可在此处获取。

致谢

作者:Zoë Hitzig、Sylvie Carr、Tess Cotter、Kevin Troy、Kyle Turman、Maxim Massenkoff、Peter McCrory。

感谢:Mike Birkey、Meredith Callan、Katie Ennis、Adam Farina、Charlie Hale、Ryan Heller、Johannes Hermle、Hanah Ho、Rebecca Hiscott、Aaron Levin、Bianca Linder、Eva Lyubich、Kelsey Nanan、Kerry Persen、Szymon Sacher、Dylan Shields、Monika Tuchowska、Heather Whitney、Nathan Wilmers、Kim Withee 和 Carolyn Zou。

引用

@online{hitzig2026swap,
 author = {Hitzig, Zoe and Carr, Sylvie and Cotter, Tess and Troy, Kevin and Turman, Kyle and Massenkoff, Maxim and McCrory, Peter},
 title = {Project Swap: What happens when agents trade for us?},
 date = {2026-09-24},
 year = {2026},
 url = {https://www.anthropic.com/research/project-swap},
}

参考文献

我们收录了文中链接或引用的所有作品。

Adler, Steven et al., “Personhood Credentials: Artificial Intelligence and the Value of Privacy-preserving Tools to Distinguish Who is Real Online,” arXiv preprint arXiv:2408.07892, 2024.

Bianchi, Federico, Patrick John Chia, Mert Yuksekgonul, Jacopo Tagliabue, Dan Jurafsky, and James Zou, “How Well Can LLMs Negotiate? NegotiationArena Platform and Analysis,”Proceedings of the 41st International Conference on Machine Learning,2024,235,3935–3951。

Binz, Marcel et al., “A Foundation Model to Predict and Capture Human Cognition,”Nature,2025,644,1002–1009。

Budish, Eric and Judd B. Kessler, “Can Market Participants Report Their Preferences Accurately (Enough)?,”Management Science,2022,68 (2),1107–1130。

Chan, Alan, Noam Kolt, Peter Wills, Usman Anwar, Christian Schroeder de Witt, Nitarshan Rajkumar, Lewis Hammond, David Krueger, Lennart Heim, and Markus Anderljung, "IDs for AI Systems," arXiv preprint arXiv:2406.12137, 2024.

Chan, Alan, Kevin Wei, Sihao Huang, Nitarshan Rajkumar, Elija Perrier, Seth Lazar, Gillian K. Hadfield, and Markus Anderljung, “Infrastructure for AI Agents,”Transactions on Machine Learning Research,2025。

Hadfield, Gillian K. and Andrew Koh, “An Economy of AI Agents,” in Agrawal, Brynjolfsson, and Korinek, eds.,The Economics of Transformative AI,NBER,2026。

Hou, Yupeng, Jiacheng Li, Xiangjun Fu, Zhankui He, An Yan, Xiusi Chen, and Julian McAuley, “Bridging Language and Items for Retrieval and Recommendation: Benchmarking LLMs as Semantic Encoders,”Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics,2026,3251–3265。数据集:Amazon Reviews 2023,https://amazon-reviews-2023.github.io/

Horton, John J., Filippas, Apostolos, and Benjamin S. Manning, “Large Language Models as Simulated Economic Agents: What Can We Learn from Homo Silicus?,”Proceedings of the 25th ACM Conference on Economics and Computation,2024。

Imas, Alex, Kevin Lee, and Sanjog Misra, “Agentic Interactions,” 2025。可在 SSRN 获取:https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5875162

Kolluri, Akaash, Shengguang Wu, Joon Sung Park, and Michael S. Bernstein, “Finetuning LLMs for Human Behavior Prediction in Social Science Experiments,”Proceedings of the 2025 Conference on Empirical Methods in Natural Language Processing,2025,30084–30099。

Li, Belinda Z., Alex Tamkin, Noah D. Goodman, and Jacob Andreas, “Eliciting Human Preferences with Language Models,”Proceedings of the 13th International Conference on Learning Representations,2025。

Liang, Annie, “Artificial Intelligence Clones,” arXiv 预印本 arXiv:2501.16996,2026。

Park, Joon Sung, Carolyn Q. Zou, Jonne Kamphorst, Niles Egan, Aaron Shaw, Benjamin Mako Hill, Carrie Cai, Meredith Ringel Morris, Percy Liang, Robb Willer, and Michael S. Bernstein, “LLM Agents Grounded in Self-Reports Enable General-Purpose Simulation of Individuals,” arXiv 预印本 arXiv:2411.10109,2026。

Roth, Alvin E., “Incentive Compatibility in a Market with Indivisible Goods,”Economics Letters,1982,9 (2),127–132。

Shah, Anand, Kehang Zhu, Yanchen Jiang, Jeffrey G. Wang, Arif K. Dayi, John J. Horton, and David C. Parkes, “Learning from Synthetic Labs: Language Models as Auction Participants,” arXiv 预印本 arXiv:2507.09083,2025。

Shahidi, Peyman, Gili Rusak, Benjamin S. Manning, Andrey Fradkin, and John J. Horton, “The Coasean Singularity? Demand, Supply, and Market Design with AI Agents,” 载于 Agrawal, Brynjolfsson, and Korinek 编,The Economics of Transformative AI,NBER,2026。

Shapley, Lloyd and Herbert Scarf, “On Cores and Indivisibility,”Journal of Mathematical Economics,1974,1 (1),23–37。

Troy, Kevin K., Dylan Shields, Keir Bradwell, and Peter McCrory, “Project Deal: Our Claude-Run Marketplace Experiment,” Anthropic,2026 年 4 月 24 日。https://www.anthropic.com/features/project-deal

Yeomans, Michael, Anuj Shah, Sendhil Mullainathan, and Jon Kleinberg, “Making Sense of Recommendations,”Journal of Behavioral Decision Making,2019,32 (4),403–414。

Zając, Zygmunt,“goodbooks-10k: A New Dataset for Book Recommendations,”2017,v1.0。https://github.com/zygmuntz/goodbooks-10k。Licensed CC BY-SA 4.0。

Zhu, Shenzhe, Jiao Sun, Yi Nian, Tobin South, Alex Pentland, and Jiaxin Pei,“The Automated but Risky Game: Modeling and Benchmarking Agent-to-Agent Negotiations and Transactions in Consumer Markets,”arXiv preprint arXiv:2506.00073,2025。