記事一覧へ戻る
AIエージェント

行動が苦手でも教えられる:長期エージェントの決定モデル

読了目安 3 分

導入

長期的なタスクを実行するエージェントには、次の行動を選ぶ能力だけでなく、すでに実行した行動が役に立ったかを判断する能力も必要になる。さらに、その判断を別の方策の学習に使うこともできる。これらは同じ決定モデルの異なる使い方だが、新しい研究は、実行が苦手なモデルでも優れた教師になり得ると示している。

研究では、モデルを三つの役割で評価した。Actorは現在の状態から行動を選択する。Judgeはタスク全体の軌跡を見た後で、各行動を評価する。Teacherは候補行動を採点し、強化学習に使うステップ単位の信号を作る。ActorとJudgeの比較にはALFWorldを使い、Teacherの評価にはALFWorldとWebShopを用いた。

主な発見

  • 実行時には短期的な目標へ流される。 三つの決定モデルと三つの一般LLMは、ALFWorldでActorとして動くと、より簡単なサブゴールを選び、先に達成すべき前提サブゴールを飛ばした。目先の実行しやすさが、タスクの依存関係を上回ることが示された。
  • 全軌跡を見れば評価は改善する。 Judgeとして完全なエピソードを確認した場合、モデルは前提サブゴールを進めた行動を評価できた。行動後に現れた結果が、オンライン実行中には得られなかった情報を補っている。
  • 成功予測より進展の判定が有効。 タスク全体が成功するかを尋ねるより、「この行動は役に立ったか」と問う方が、有用なステップと無駄なステップを区別しやすかった。中間目標に結びついた局所的な評価が、学習信号として扱いやすい。
  • 教師としての価値は実行性能を超え得る。 JEVによるステップ単位のフィードバックでQwen2.5-1.5B方策を学習すると、GRPOと比べてALFWorldの成功率は72.8%から82.9%へ、WebShopでは56.8%から71.4%へ向上した。

意義

Actorは不完全な情報から将来の結果を予測しなければならない。一方、Judgeは実際に起きた結果を利用できる。この情報条件の違いを考えると、実行者として弱いモデルが教師としても弱いとは限らない。

長期エージェントの訓練では、最も高い単独成功率を持つモデルを教師にするのではなく、中間ステップへの評価が安定しているモデルを選ぶという設計が可能になる。最終報酬だけに頼らず、行動ごとの信号を与えられる点も重要だ。

ただし、事後評価が常に正しいとは限らず、より複雑な環境へどこまで一般化するかは追加検証が必要である。それでも、実行・評価・教師という三つの能力を分けて考える枠組みは、エージェントの性能を分析するうえで有用だ。

出典:Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
GitLab 19.5、外部エージェントをDevOpsの統治対象に
AIエージェント
cctest.ai
AIエージェント

GitLab 19.5、外部エージェントをDevOpsの統治対象に

GitLab 19.5ではMCPサーバーが正式提供され、Claude CodeやCursor、Codexなどの外部エージェントをAIガバナンスの対象にできるようになった。自律的な開発作業を、監査可能なソフトウェア工程の一部として扱うアップデートだ。

続きを読む
CCTest · Blog
Agent-R²、実ファイルで生産性エージェントを訓練
AIエージェント
cctest.ai
AIエージェント

Agent-R²、実ファイルで生産性エージェントを訓練

Agent-R²は、実際の職業活動や公開ファイルを基盤に、生産性業務向けの訓練データを合成する枠組みです。約4000件のタスクで訓練した4Bモデルが、GDPvalとOfficeQAの両方で大型モデルのベースラインを上回りました。

続きを読む
CCTest · Blog
マルチモーダルエージェントの自己進化はなぜ場面を越えて移植しにくいのか
AIエージェント
cctest.ai
AIエージェント

マルチモーダルエージェントの自己進化はなぜ場面を越えて移植しにくいのか

新しいサーベイは、マルチモーダル推論、生成、GUI・Webナビゲーション、身体操作という四つの領域で、自己進化するエージェントを比較する。結果の検証可能性、フィードバックの精度、経験生成の規模といったタスク固有の条件が、手法の移植性を左右すると分析している。

続きを読む