DRACO、長期エージェント学習の信用割り当てを細粒度化

長期タスクで起きる報酬の問題

プログラムによるチェッカーがあるタスクでは、最終結果が正しいかどうかを直接報酬に変換できる。しかし、ツール呼び出し、計画、環境との対話が何十ステップも続くエージェントの領域では、実行可能な成功判定器が存在しない場合が多い。こうした状況では、軌跡が完了した時点で一つのスコアを与える方法がよく使われる。

ただし、単一のスカラーを全ステップに適用すると、学習信号は粗くなる。良い結果につながった行動と、ほとんど影響しなかった行動を区別できず、方策更新が長い軌跡全体に均等に広がってしまうためだ。

DRACO（Distributing Rubric-based Advantage for Credit Optimization）は、この信用割り当ての問題に取り組む手法である。論文が想定するのは、訓練時に正解の成功信号やプログラム検証器を利用できない「結果非可視」の設定だ。

手法のポイント

• 評価基準を動的に生成：固定した rubric を使い続けるのではなく、訓練中に複数の観点からなる基準を生成する。これにより、方策の能力変化を評価に反映できる。
• まず軌跡全体を採点：タスクが完了した後、生成された基準に沿って軌跡を評価する。
• 関連ステップへ信用を再配分：各基準に対応する行動やステップへ評価を割り当て、GRPOで使う advantage に差を持たせる。
• 追加の帰属モデルを不要にする：再配分は閉形式で計算され、別の信用推定モデルを訓練する必要がない。

重要なのは、報酬の数を増やすことではない。評価項目と、それを実現した行動を結び付けることである。これにより、長い軌跡を一つの塊として扱うのではなく、結果に関係した判断へより直接的な学習信号を送れる。

実験結果と意義

AppWorldでは、DRACOはベースモデルを15.9ポイント上回り、疎な正解報酬で学習したGRPOに対しても5.3ポイント高い結果を示した。この手法自体は検証器を利用していない。分布外のTau-Benchでは、フロンティアモデルの判定器がない条件でもベースモデルから5.3ポイント向上し、正解報酬を使う設定や、他の rubric ベースの学習設定を上回ったと報告されている。

これらの結果は、長期エージェント強化学習の課題が、報酬の有無だけではないことを示唆する。報酬が、結果を生み出したステップに適切に届く必要がある。動的な評価基準は、検証器のない領域で行動を構造化して評価する手段となり、信用の再配分はその評価を方策最適化に適した形へ変換する。

一方で、評価基準の品質や判定の一貫性、ステップとの対応付けは依然として重要である。DRACOは主観的評価の問題を消すものではないが、学習型の帰属モジュールを追加せず、粗い軌跡評価と細粒度の方策学習をつなぐ実用的な設計を示している。

出典：Hugging Face Daily Papers