Mosaic：マルチセッション型エージェント強化学習の信用配分

大規模言語モデルを使ったエージェントの実行は、もはや一つの長いコンテキストだけで完結するとは限らない。古い履歴を圧縮して新しいセッションで処理を続けたり、サブエージェントを分岐させて複数の調査方針を試したりするためである。このような実行では、1本のロールアウトが可変数のセッションから構成される。しかし、多くのエージェント強化学習手法は、単一セッションの軌跡を前提としている。

一律の報酬配布が抱える問題

マルチセッション軌跡に対する単純な対応は、最終的な成功・失敗に基づくアドバンテージを全セッションに配布することだ。タスクが成功すればすべてのセッションに正の信号を与え、失敗すればすべてに負の信号を与える。ただし、この方法では、結果に大きく貢献したセッションと、ほとんど役に立たなかったセッションを区別できない。また、追加のセッションをどこまで割り当てるべきかという資源配分の問題も扱いにくい。

論文はこの問題を Multi-Session Agentic Reinforcement Learning として定式化し、Mosaic というクリティック不要の階層的最適化手法を提案する。主な仕組みは次の通りだ。

• 軌跡レベルの調整：成功・失敗グループ内での相対的なセッション数を使い、結果ベースのアドバンテージを補正する。
• セッションレベルの信用配分：正解答案の対数尤度がどの程度変化したかから、各セッションの限界的な情報利得を推定する。
• 条件付き正規化：セッションの種類ごとに信号を正規化し、異なる役割の比較による偏りを抑える。
• 階層信号の統合：軌跡全体の結果とセッション単位の貢献度を組み合わせ、各学習セグメントに細かなアドバンテージを与える。

実験と意義

評価には難度の高いウェブ調査ベンチマーク BrowseComp を用い、Qwen3.5-4B の ReAct 型エージェントループで検証した。コンテキスト圧縮とサブエージェント分岐の両方で、Mosaic は全セッションへのブロードキャストを行うベースラインを上回り、平均使用セッション数も少なかった。分析では、セッションの効用と割り当て方の改善が結果に関係していると示されている。

この研究の重要性は、エージェント強化学習における行動単位を見直した点にある。セッションを圧縮、再開、分岐できるなら、学習側は「タスクは成功したか」だけでなく、「どのセッションが役立ったか」「そのセッションを使う価値があったか」も扱わなければならない。Mosaic はこれらを一つの枠組みで扱う方向を示す。一方で、結論は特定のベンチマーク、モデル、実行構成に基づくため、他のタスクやオーケストレーション方式での検証は今後の課題である。

出典：Hugging Face Daily Papers