TreeOPSD、木構造と事後蒸留で長期エージェント強化学習を改善

導入

検索、推論、ツール利用を何度も繰り返す言語モデル・エージェントでは、最終的な正解だけでなく、そこへ至る途中の判断をどう学習させるかが重要になります。しかし、検証可能な報酬がタスク終了時にしか与えられない場合、どのターンが成功に貢献したのかを特定するのは困難です。さらに、同じロールアウトを使って複数回の mini-batch 更新を行うと、学習中の方策がデータを生成した行動方策から離れていきます。

TreeOPSD（Tree-Aware Posterior Distillation）は、この二つの課題を一つの、批評家モデルを必要としない枠組みで扱います。追加の価値ネットワークやターンごとのラベル、外部の強力な教師に依存せず、軌跡の分岐そのものから学習信号を組み立てます。

手法の要点

• ターンを木のノードとして表現。 共通する接頭辞から複数の継続をサンプリングし、同じ文脈で異なる行動を比較します。単一の完全軌跡だけを見るより、各判断の相対的な価値を捉えやすくなります。
• 終端報酬を再帰的に伝播。 木の葉にある最終結果を上流へ戻し、ターン単位の暗黙的な信用を作ります。終端報酬しかない設定でも、初期の行動により密な信号を与えられます。
• 有界な教師分布を構成。 各ターンの信用と、凍結した行動方策に対する尤度比を使い、閉形式の教師分布を定義します。高い報酬につながる行動を強調しながら、確率を無制限に押し上げない点が特徴です。
• 前向き KL で蒸留。 学生方策を教師分布へ近づけます。行動方策の近傍では、蒸留目的の接線方向が木構造の方策勾配と一致し、連続更新では有限の目標へ向かうことで過剰な更新を抑える設計です。

結果と意義

評価対象は多段推論 QA と深度研究ベンチマークで、1.7B から 30B-A3B までのモデルが含まれます。ロールアウト予算を揃えた比較では、TreeOPSD は GRPO、GSPO、固定信用を用いる木構造方策勾配ベースラインを一貫して上回ったと報告されています。深度研究設定では、Qwen3-30B-A3B-Thinking-2507 の平均スコアが 4.97 ポイント向上しました。

この研究の意義は、信用割り当てと方策ドリフトを別々の補助機構で処理せず、教師分布の設計に統合した点にあります。重要度サンプリングや比率クリッピングは更新幅を制限できますが、連続更新がどこで止まるべきかという有限の目標を直接定めるものではありません。TreeOPSDは有界な教師を置くことで、その到達先を明示しようとします。

一方、分岐ロールアウトには計算コストがあり、共有接頭辞の再利用や分岐数の設定が実用性を左右します。また、手法は検証可能な終端報酬を前提とします。それでも、エージェントの軌跡を単なるサンプルではなく、構造化された自己蒸留の教師として活用する方向性は、長期エージェント学習における有力な設計案といえます。

出典：Hugging Face Daily Papers