JitMem:让智能体在需要时决定该记住什么
导语
让大语言模型智能体拥有“记忆”,并不只是把历史对话存进数据库。更关键的问题是:哪些经历应该被保留、以什么形式保留,以及它们如何在未来任务中发挥作用。现有系统大多在任务完成后立即进行总结,把一段轨迹压缩成反思、工作流、技能或推理策略。这样的记忆便于检索,却也意味着系统必须在尚不知道未来需求时做出不可逆的取舍。
论文《Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents》提出了另一种思路:不要过早总结,而是把记忆整理推迟到真正使用它的时刻。这一方法被称为Just-in-Time Memory,简称JitMem。
核心要点
- 保留原始轨迹。 JitMem不要求每段经历在写入时就变成固定摘要,而是尽可能保存原始任务轨迹,以减少提前压缩带来的信息损失。
- 按当前任务整理。 当新任务到来后,系统先检索可能相关的历史轨迹,再让记忆整理器结合当前任务生成一份紧凑的任务适配型记忆。相同的历史经历面对不同问题时,可以被组织成不同的提示内容。
- 缩短训练反馈链路。 写入式记忆的价值可能要到许多任务之后才显现,训练因此面临长期信用分配难题。JitMem的整理结果会在当前任务中直接被使用,整理器可以根据即时任务成功率获得反馈,也不需要人为把多个任务归为一组。
- 实验结果显示稳定收益。 在ALFWorld、WebShop和τ^2-bench三个智能体环境中,JitMem均优于无记忆系统以及启发式、学习式的写入时记忆方法。论文报告其相对最强基线的成功率绝对提升分别为16.2、16.3和3.9个百分点。即使不专门训练整理器,按任务进行读取时整理本身也已展现出竞争力;进一步训练则能继续提升表现。
意义与影响
JitMem的价值不只是提出一个新的记忆模块,更在于重新定义了“记忆应该何时形成”。写入时压缩追求存储简洁,却可能把尚未被提问的信息提前丢弃;读取时整理则把“保留什么”和“如何使用”分开处理,允许原始经验在不同任务中被重新解释。这种设计尤其适合开放式、长周期的智能体,因为未来需求通常难以预先穷举。
当然,保留原始轨迹也可能带来更高的存储、检索和上下文处理成本,整理器的质量还会受到检索结果和执行器能力影响。因此,JitMem并不意味着所有历史都应无条件保存,而是提示研究者:记忆系统可以把压缩决策推迟到信息价值更明确的时刻。对下一代智能体而言,记忆或许不应是静态档案,而应成为面向任务动态重构的上下文资源。
评论
正在确认登录状态……
正在加载评论……