DAGR：让目标表示看见当前状态，但提升并不普适

导语

目标条件强化学习的关键问题之一，是如何把“目标”编码成策略可用的表示。现有方法可以基于对比学习、度量学习、时间距离或信息论目标来训练编码器，但很多方案有一个共同限制：目标嵌入通常是状态无关的。也就是说，无论智能体当前在哪里、已经完成了哪些步骤，目标表示本身并不会主动指出“还需要改变哪一部分”。

DAGR 这篇论文针对的正是这一点。作者提出，不应只把目标当作一个静态向量交给策略，而应让目标表示根据当前状态进行细化，从而更直接地表达状态与目标之间的差距。

核心要点

• 问题定位：目标编码缺少状态感知。 传统目标编码器虽然训练目标不同，但往往只看目标本身。策略需要自己从当前状态和目标嵌入中推断差异，这会增加学习难度。
• 方法思路：在后融合编码器上做结构化增强。 DAGR 并不要求重写整个目标编码体系，而是面向 late-fusion 类型编码器，将其静态目标嵌入进一步加工成状态条件表示。
• 关键模块：多尺度门控交叉注意力。 方法使用状态与目标之间的交叉注意力，让目标 token 能参考当前状态；同时加入门控残差，使新模块在初始阶段接近恒等映射，尽量不破坏已有基础表示。
• 差异感知注意力：名称中的亮点未必是主要贡献。 DAGR 还用逐 token 的状态-目标差异图来偏置注意力分数，希望让模型更关注尚未达成的部分。但消融结果显示，性能增益主要来自门控残差结构，而不是这个差异偏置本身。
• 实验结论较克制。 在 OGBench 上，DAGR 对导航任务有帮助；但在操控和 puzzle 任务上，它只是与基线相当，甚至可能落后。

意义与影响

这篇工作的价值不在于宣称一个全面碾压基线的新模块，而在于把目标表示中的“状态条件化”问题说清楚了。对于导航这类状态与目标差距较直观、空间结构较强的任务，让目标嵌入显式参考当前状态，确实可能降低策略推断负担。

但论文也给出了一个重要提醒：更复杂的注意力设计并不必然带来稳定收益。尤其当任务需要精细操控、组合推理或不同形式的状态转换时，简单地引入状态-目标差异偏置未必足够。DAGR 更像是一种有明确适用边界的结构化 refinement，而不是目标条件强化学习的通用解法。

从研究角度看，它提示后续工作需要更仔细地区分“目标表示是否状态相关”“状态相关性通过什么机制引入”以及“哪类任务真正受益”。这比单纯堆叠更大的编码器或更复杂的注意力模块更有启发性。

来源：arXiv