行動が苦手でも教えられる:長期エージェントの決定モデル
導入
長期的なタスクを実行するエージェントには、次の行動を選ぶ能力だけでなく、すでに実行した行動が役に立ったかを判断する能力も必要になる。さらに、その判断を別の方策の学習に使うこともできる。これらは同じ決定モデルの異なる使い方だが、新しい研究は、実行が苦手なモデルでも優れた教師になり得ると示している。
研究では、モデルを三つの役割で評価した。Actorは現在の状態から行動を選択する。Judgeはタスク全体の軌跡を見た後で、各行動を評価する。Teacherは候補行動を採点し、強化学習に使うステップ単位の信号を作る。ActorとJudgeの比較にはALFWorldを使い、Teacherの評価にはALFWorldとWebShopを用いた。
主な発見
- 実行時には短期的な目標へ流される。 三つの決定モデルと三つの一般LLMは、ALFWorldでActorとして動くと、より簡単なサブゴールを選び、先に達成すべき前提サブゴールを飛ばした。目先の実行しやすさが、タスクの依存関係を上回ることが示された。
- 全軌跡を見れば評価は改善する。 Judgeとして完全なエピソードを確認した場合、モデルは前提サブゴールを進めた行動を評価できた。行動後に現れた結果が、オンライン実行中には得られなかった情報を補っている。
- 成功予測より進展の判定が有効。 タスク全体が成功するかを尋ねるより、「この行動は役に立ったか」と問う方が、有用なステップと無駄なステップを区別しやすかった。中間目標に結びついた局所的な評価が、学習信号として扱いやすい。
- 教師としての価値は実行性能を超え得る。 JEVによるステップ単位のフィードバックでQwen2.5-1.5B方策を学習すると、GRPOと比べてALFWorldの成功率は72.8%から82.9%へ、WebShopでは56.8%から71.4%へ向上した。
意義
Actorは不完全な情報から将来の結果を予測しなければならない。一方、Judgeは実際に起きた結果を利用できる。この情報条件の違いを考えると、実行者として弱いモデルが教師としても弱いとは限らない。
長期エージェントの訓練では、最も高い単独成功率を持つモデルを教師にするのではなく、中間ステップへの評価が安定しているモデルを選ぶという設計が可能になる。最終報酬だけに頼らず、行動ごとの信号を与えられる点も重要だ。
ただし、事後評価が常に正しいとは限らず、より複雑な環境へどこまで一般化するかは追加検証が必要である。それでも、実行・評価・教師という三つの能力を分けて考える枠組みは、エージェントの性能を分析するうえで有用だ。
コメント
ログイン状態を確認中…
コメントを読み込み中…