Anthropic 研究了 Claude 如何跨会话保留知识。其测试表明,选择性笔记优于详尽归档,而让 Claude 事后回顾自己的记忆可以纠正错误。

任何与 AI 智能体在某个项目上合作数天的人都会很快撞墙,因为每个新会话都从零开始。在一篇研究文章中,Anthropic 描述了 Claude 应如何在模型保持不变的情况下跨会话保留知识。Claude 将笔记写入一个文件夹,之后可以再读回来。

核心问题,根据 Anthropic 的说法,在于选择。在知道接下来会发生什么之前,智能体必须在当下决定什么可能以后重要,因此每条笔记都是对未来的一个赌注。

Two Pokémon Red map segments showing the player character at a ledge near Mt. Moon. On the left, it walks toward the next city with a wrong note; on the right, it heads back to the cave entrance with the corrected note.
一条关于宝可梦中心位置的错误笔记导致 Claude 反复从悬崖上掉下去。| 图片:Anthropic

保存一切的智能体会迷失方向

在 Anthropic 用《宝可梦 红》进行的一项测试中,较旧的Claude Sonnet 3.7把所有内容都视为可能重要,在大约 10,000 个游戏步骤中,于 225 个文件夹里创建了 413 个文件,通常每场战斗和每件发现的物品都单独建一个。由于游戏状态不断变化,归档很快就会过时。有时,模型除了重新整理笔记之外什么也没做,而不是在玩游戏,最终只获得了一枚徽章。

较新的Claude Fable 5将记忆限制在几个文件内,并获得了四枚徽章。Fable 5 不记录屏幕上已经可见的信息,而是写下计划、策略和它测试过的规则。不过,Anthropic 的对比仅涵盖每个模型的一次游玩过程。

Two treemaps at the same scale compare the memory folders of Claude Sonnet 3.7 with 413 files and about 978,000 characters against Claude Fable 5 with 10 files and about 43,000 characters.
Sonnet 3.7 在玩宝可梦时几乎保存了一切,而 Fable 5 只保存策略和已验证的规则,却走得远得多。| 图片:Anthropic

Anthropic 建议向 Claude 解释记忆的目的,并让模型决定如何使用它。据 Anthropic 称,在一项基准测试中,诸如“只记录错误”这样的僵化指令消除了更强模型的大部分优势。相比之下,较旧的模型则受益于明确的指令,例如被告知在每次回复前真正阅读自己的笔记。

Left, a bar chart for Sonnet 4.6 showing 0.330 without memory, 0.364 with memory, and 0.641 with memory plus refined instructions. Right, the drop in memory gains when models are told to record only failures.
具体的记忆规则对较老的模型有帮助,而更强的模型在僵化指令下表现更差。| 图片:Anthropic

Dreaming 旨在修复错误记忆

更大的风险来自智能体之后盲目信任的有缺陷笔记。Dreaming,这一想法基于 Letta 和 UC Berkeley 的研究,旨在解决这一问题。就像人脑在睡眠中处理经历一样,Claude 会在休息期间回顾早前会话的记录,并对照这些记录检查自己的笔记。

Diagram of the memory hierarchy between two sessions, showing transcripts, memory notes, memory representations like wikis, and injected context, all framed by a region labeled "Dreaming."
在“Dreaming”期间,Claude 在空闲时段处理旧记录,并据此构建其记忆的上层。| 图片:Anthropic

在 Pokémon 测试中,Claude 错误地记录了某地标位于山的哪一侧。由于依赖那条错误笔记,Claude 三次落入同一个陷阱,最终想要放弃,并未达成目标。经过一次 Dreaming 处理后,Claude 通过对照记录检查笔记发现了错误,并找到了正确的路径。

Line chart tracking progress toward Cerulean City over 3,000 actions. The run with memory and Dreaming reaches the city after 1,935 actions; the runs without memory and without correction never do.
Claude 只有在 Dreaming 修正了笔记之后,才越过月见山到达华蓝市。| 图片:Anthropic

据 Anthropic 称,Dreaming 还能整理更大的知识库。Claude 基于 Anthropic 收购的软件公司 Stainless 约 35 万份内部文档构建了一个相互链接的 wiki。Dreaming 应当能在修复缺口、重复内容和失效链接的同时生成新页面。当 Claude 能将 wiki 与搜索结合使用时,收益最大,因此 wiki 起到的是补充而非替代作用。

Line chart showing the share of graded criteria met across 25 questions about a document corpus. Wiki plus search rises from 54 to 61 percent, the wiki alone from 13 to 48 percent, and search alone stays at 53 percent. Two network graphs show the wiki after 2 and after 128 sessions.
Claude 在 Stainless 文档 wiki 上工作的时间越长,回答问题的表现就越好,最佳结果来自将 wiki 与搜索结合使用。| 图片:Anthropic

在 Anthropic 进行的另一项法律测试中,wiki 对答案分散在多个文档中的问题帮助最大。Claude 使用 wiki 时得分为 87%,而仅使用搜索时为 73%。对于简单的查找任务,wiki 的表现与搜索大致相当,而在一个案例中,它甚至变得比源文档还要大。

记忆仍是一项进行中的工作

Anthropic 承认一些关键问题仍未解决。在任务进行中记笔记会分散智能体对工作的注意力,Dreaming 会消耗额外的算力,而且其结果要延迟一段时间才能得到。Wiki 和笔记也需要定期维护,否则错误和幻觉会不断累积。Anthropic 还警告不要自动把过多记忆加载到每个会话中,因为它们会占用上下文,并把任何错误的笔记传递给未来的每一个会话。

所有这些测试都来自 Anthropic。总体结论是,一个有用的智能体记忆,与其说取决于尽可能多地存储,不如说取决于保留正确的信息并在之后纠正错误。

Anthropic 于 5 月推出 Dreaming,作为Claude Managed Agents 的研究预览版,这是该公司面向 AI 智能体的云平台。该服务会读取现有的记忆存储以及最多 100 个过往会话,删除重复和过时的条目,并创建一个重新整理过的存储,同时保持原始存储不变。发布时,Dreaming 仅支持 Claude Opus 4.7 和 Sonnet 4.6。

OpenAI 也把 ChatGPT 的记忆功能称为“Dreaming”,该功能在 6 月进行了全面改造。该系统在后台维护用户画像,并自动纠正过时的信息。据 OpenAI 称,这将时间准确性从 52.2% 提升到了 75.1%。

Google 和 Google DeepMind 的研究人员也让 AI 智能体做梦,但他们用做梦来改进智能体的搜索策略。他们的智能体利用已经存储的结果来尝试各种替代解决方案,而无需再次调用模型。Google 还构建了WikiSkill,一个面向智能体的 wiki。与 Anthropic 的系统一样,WikiSkill 将原始记录、提炼后的知识和具体指令分层存放。

没有炒作的 AI 新闻——由人类精选

订阅 THE DECODER,享受无广告阅读、每周 AI 新闻简报、每年六期独家“AI Radar”前沿报告、完整档案访问权限以及评论区访问权限。

立即订阅