摘要：记忆使大型语言模型（LLM）能够使用其参数之外的信息，例如过往的用户对话、长文档或智能体先前的动作。对于冻结的 LLM 而言，获取这些累积知识仅限于记忆系统放入其上下文窗口的内容。然而，现有系统仍难以在保持模型上下文简短的同时，为每个查询收集并组合所需的相关信息。在此我们介绍 Memorilla，一种记忆系统，它将整个文档集合中的信息汇集为固定数量的、依赖于查询的“记忆 token”，供冻结的 LLM 使用。Memorilla 将文档（如用户聊天、书籍章节）一次性编码为可复用的嵌入，然后学习在 LLM 的输入嵌入空间中检索并放置查询特定的信息。仅使用 16 个记忆 token，Memorilla 在涵盖个性化、长文档和知识密集型问答的八项基准测试中的五项上，取得了优于包括 Mem0 和 MemoRAG 在内的基线的最佳性能。值得注意的是，在 FactKG 上，它达到 84.33% 的准确率，而全上下文推理为 80.43%，同时用于表示源文档的 token 数量减少了 108 倍。此外，Memorilla 可以促进智能体系统中的持续学习，其中文档数量（智能体过去的轮次）在整个轨迹中不断增加。在 TextWorld 环境中，我们表明 Memorilla 减少了智能体在已探索过的房间之间徘徊的倾向，并将其平均成功率从全历史上下文学习的 18.6% 提升至 24.2%。总体而言，Memorilla 帮助冻结的 LLM 在长上下文交互中有效地积累和使用知识，并朝着构建持续学习的 AI 系统迈出了一步。
| 评论： | 网站：此 https URL |
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21375[cs.LG] |
| （或 arXiv:2610.21375v3[cs.LG]为此版本） | |
| https://doi.org/10.48550/arXiv.2610.21375 arXiv 颁发的 DOI 经由 DataCite |