DAGR：目標表現を状態条件付きにするが、効果はタスク依存

導入

目標条件付き強化学習では、エージェントに与える「目標」をどのように表現するかが性能に大きく影響する。既存の目標エンコーダには、対比学習、距離学習、時間距離、情報理論的な目的など、さまざまな設計がある。しかし多くの場合、目標埋め込みは現在状態とは独立に計算される。

この設計では、エージェントがすでにどこまで進んだのか、目標に対して何がまだ足りないのかが、目標表現そのものには反映されない。結局、方策側が現在状態と目標表現を突き合わせ、必要な差分を自力で推定しなければならない。

DAGR は、この静的な目標表現を状態条件付きに精製するための手法として提案されている。

主なポイント

• 課題は状態非依存な目標埋め込み。 既存の目標エンコーダは、目標だけを見て表現を作ることが多く、現在状態から見て何を達成すべきかを明示しにくい。
• 既存エンコーダを置き換えるのではなく補強する。 DAGR は late-fusion 型のエンコーダに対する refinement として設計され、静的な目標埋め込みを後段で調整する。
• 多尺度ゲート付きクロスアテンションを利用。 目標 token が状態情報を参照することで、状態と目標の関係を表現に取り込む。
• 近似恒等のゲート付き残差が重要。 新しいモジュールが基盤表現を過度に壊さないよう、残差経路によって元の表現を保ちやすくしている。
• 名称にある差分感知バイアスは主因ではない。 DAGR は状態と目標の token 単位の差分マップで注意スコアを補正するが、消融実験では性能向上の主な理由はゲート付き残差にあると報告されている。
• 効果はナビゲーションに偏る。 OGBench ではナビゲーション課題で改善が見られる一方、操作や puzzle 系の課題では基盤手法と同程度、または下回る場合がある。

意義と影響

DAGR の意義は、目標表現を「固定された到達点の記述」ではなく、「現在状態から見た未達成部分を含む表現」として扱おうとした点にある。ナビゲーションのように状態と目標の差が比較的明確なタスクでは、この考え方は方策の学習負担を下げる可能性がある。

一方で、論文は結果を過度に一般化していない。より複雑な操作タスクや puzzle 的な環境では、状態と目標の単純な差分だけでは十分でない可能性がある。また、魅力的に見える注意機構のバイアスが、実際の性能向上に直結するとは限らないことも示している。

そのため DAGR は、目標条件付き強化学習の万能な解決策というより、既存表現を壊さずに状態依存性を加えるための慎重な構造提案と見るべきだろう。今後は、どの種類のタスクで状態条件付き目標表現が本当に有効なのかをさらに切り分ける必要がある。

出典：arXiv