Memorilla：用 16 个记忆 token 为冻结 LLM 提供长期记忆
研究者提出 Memorilla 记忆系统，将文档集合一次性编码为可复用向量，再学习把与查询相关的信息放入冻结 LLM 的输入嵌入空间，仅用 16 个 memory token。在个性化、长文档、知识密集问答等 8 个基准中，有 5 个优于 Mem0 和 MemoRAG。在 FactKG 上准确率 84.33%，高于全上下文推理的 80.43%，而表示源文档所用 token 少 108 倍。在 TextWorld 环境中，智能体平均成功率从全历史上下文学习的 18.6% 提升到 24.2%。
推荐理由做 Agent 长期记忆的可以直接看：16 个 token 超过全上下文推理，token 用量少 108 倍。