Agentic ESOpt：進化戦略で長期タスク型LLMエージェントを微調整

概要

大規模言語モデルのエージェントは、単発の回答から、計画、ツール利用、環境との反復的な対話を伴うタスクへと広がっている。タスクのホライズンが長くなるほど、途中の行動や分岐は増える一方、報酬は最終結果でしか得られないことがある。この状況では、逆伝播を中心とする従来のエージェント強化学習に、二つの課題が現れる。訓練時のメモリ負荷が大きいこと、そして長い軌跡のどの判断が結果に貢献したのかを特定しにくいことである。論文「Agentic ESOpt」は、この問題に進化戦略（ES）から取り組む。

核心となる考え方

• 勾配だけに依存せず、パラメータ空間を探索する。 通常の強化学習では、中間状態や勾配に関する情報を保持しながらモデルを更新する。Agentic ESOptは、現在のLLMパラメータの周辺から複数の摂動をサンプリングし、それぞれのモデルをエージェントとして推論実行する。
• 完全な軌跡の報酬で更新する。 候補エージェントのタスク結果を評価し、報酬の高い摂動を重く扱うオンライン更新を行う。各ステップへ報酬を細かく分解するのではなく、軌跡全体とパラメータ摂動の関係を見ることで、ホライズンの拡大に伴う信用割り当ての複雑化を抑えようとする。
• 全パラメータ微調整のメモリ障壁を下げる。 論文は、ESが推論時に近いGPUメモリで全パラメータ最適化を行える点を利点として挙げる。これは大規模モデルの適応を容易にする可能性がある。ただし、候補モデルを何度も実行する必要があるため、計算量や推論時間がなくなるわけではない。
• パラメータとコンテキストを共進化させる。 ESはブラックボックスの報酬インターフェースを利用するため、プロンプト、スキル記述、テスト時計算などの最適化と組み合わせやすい。Agentic ESOptは重みだけでなく、エージェントの振る舞いを導くコンテキストも同時に探索する枠組みとして設計されている。

意義と留意点

この手法の重要性は、長い軌跡のすべての行動へ報酬を割り当てる問題を、より単純な問いに置き換える点にある。つまり、「どのパラメータ摂動が、タスク全体の結果を改善したか」を調べる。外部評価器、ツール、ソフトウェア環境など、勾配を直接取得できない設定でも利用しやすい可能性がある。

一方で、ESには候補の反復評価というコストがある。タスク自体が長ければ、必要な推論回数は大きくなり得る。また、軌跡レベルの帰属は信用割り当てを簡略化する反面、更新信号が粗くなる可能性もある。提供素材にはベンチマーク、メモリ削減量、強化学習との詳細な比較結果が示されていないため、優位性を断定することはできない。現段階では、Agentic ESOptは、疎な報酬と長い相互作用を扱うエージェント訓練において、強化学習を補完し得る選択肢と捉えるのが妥当だろう。

出典：Hugging Face Daily Papers