让记忆变成计划：MaP-WAM如何提升机器人长程操作能力

2026年9月11日阅读约 3 分钟

导语

机器人要完成整理、装配或连续操控等任务，往往不能只看眼前一帧画面。前面已经完成了什么、某个物体曾经出现在哪里、当前步骤是否已经结束，都会影响下一步动作。这类任务具有明显的非马尔可夫特征，而许多机器人策略仍然主要围绕当前观测做决策。

MaP-WAM（Memory as Plans）针对这一问题提出了一种新的思路：不要让动作执行器始终背负完整历史，而是先把长期记忆整理成可执行的计划，再让执行器依据计划行动。

将记忆组织为情节记录：系统把已经完成的任务片段记录下来，每条记录包括语言指令和稀疏的视觉上下文。相比只保留语言摘要，这种形式能够留下部分细粒度视觉证据；相比不断扩大视觉窗口，也更容易控制计算开销。
规划与执行分离：记忆相关的世界—动作建模被拆成两个阶段。规划阶段读取长期多模态经历，生成下一段的语言级计划及相应视觉引导；执行阶段则专注于根据这段计划产生动作。
预测动作与进度：执行器采用World-Action-Progress模型，同时预测动作块和当前计划的执行进度。由于不同片段所需时间并不固定，系统不把每段计划绑定到预设时长，而是依据执行状态决定何时切换。
闭环校准：MaP-WAM通过计划与当前观测之间的对齐来校准进度。当观测显示某一阶段已经完成，规划器就能更新上下文并生成后续计划，而不是机械地继续执行旧动作。
控制上下文成本：执行器保持固定长度的上下文窗口，结构化注意力还支持规划和执行阶段的键值缓存。这意味着长期历史主要在规划时发挥作用，不必在每个动作决策时重复输入。

这项工作的关键价值不只是增加一个记忆模块，而是重新定义记忆在机器人系统中的位置：记忆不一定要作为原始历史持续陪伴执行器，也可以被压缩为带有视觉依据的中间计划。这样既保留了跨阶段决策所需的信息，又降低了长序列执行的上下文负担。

当然，计划化记忆也带来新的挑战。规划器如果遗漏关键视觉细节，后续执行仍可能受到影响；进度判断和计划—观测对齐的可靠性，也会直接决定分段切换是否及时。因而，MaP-WAM代表的是一种值得探索的系统设计方向，而不是对长期记忆问题的一劳永逸解决方案。

论文报告称，MaP-WAM在RMBench上取得了当时的最佳表现。更重要的是，它展示了机器人策略从“记住全部历史”转向“把历史转化为行动计划”的可能路径，为长时程、多阶段操作任务提供了新的建模视角。