CoPE、行動と予測を同時に学ぶ言語エージェント訓練法

背景

ウェブ操作、ツール利用、シミュレーション環境での作業など、言語エージェントの多くのタスクは長い相互作用の連続で構成されます。しかし標準的なエージェント強化学習では、タスク終了時に成功・失敗を表す単一のスカラー報酬しか与えられない場合が多くあります。最終結果は分かっても、途中のどの行動が成功に貢献したかを直接学ぶのは困難です。CoPEは、この長い軌跡に含まれる中間情報を別の形で利用します。

CoPEの仕組み

CoPEは、価値推定器を追加するのではなく、複数ステップの行動目標を導入します。成功したオンポリシー軌跡について、ある履歴を見たとき、その後に実際に選ばれた行動列をポリシーの共有バックボーンに予測させます。これにより、1本の軌跡を複数の時点から監督に使えます。

• 中間ステップを直接学習：成功軌跡の後続行動を、終端報酬を介さない学習目標として利用します。
• 行動と予測を共同進化：モデルは次の行動を選ぶだけでなく、過去の履歴から将来の行動も予測します。
• 推論時の構成は変えない：実際の利用時には従来どおり1回に1つの行動を実行し、追加の予測モデルや処理は必要ありません。

この考え方は、既存の補助的な学習目標とは異なります。ステップごとの価値目標は、同じ終端信号から作られることが多く、ウェブページや端末ログを予測する観測目標は長くノイズを含み、通常は次の環境応答までしか扱いません。CoPEは、エージェントの意思決定に直接関係する行動列を予測対象にします。

評価と意義

論文ではALFWorld、ScienceWorld、WebShop、τ²-bench、AppWorldの5つで評価しています。GRPOや予測補助目標を用いる強化学習ベースラインと比較した結果、シミュレーション環境でより強い総合性能を示し、現実的なアプリケーション課題でも全体性能を改善しました。サンプル効率は、一部の比較手法に対して最大でおよそ2倍です。

重要なのは、長期タスクの学習に必要なのは必ずしもロールアウト数の単純な増加だけではない、という点です。成功した軌跡には、各履歴の後に何をすべきかという複数の教師信号がすでに含まれています。CoPEはそれを明示化し、信用割り当てを改善する方向を示します。

一方、成功したオンポリシー軌跡に依存するため、データの多様性や品質は学習結果に影響する可能性があります。提供された素材には詳細なアブレーションや失敗分析が含まれていないため、タスク分布が変わった場合の限界は今後の検証課題です。

Hugging Face Daily Papers