TRACE：長期タスクをこなすエージェントにターン単位の信用を割り当てる

導入

複雑な検索やブラウジング課題を解くエージェントは、最終回答に到達するまでに多数のツール呼び出しを行うことがある。こうした長期タスクでは、「最後に正解したかどうか」だけを報酬にする強化学習は粗すぎる。失敗した軌跡の中にも有用な探索行動は含まれ得るし、成功した軌跡にも冗長な操作が混ざる可能性がある。

arXiv 論文「TRACE: Turn-level Reward Assignment via Credit Estimation for Long-Horizon Agents」は、この長期エージェント訓練における信用割当の問題を扱う。TRACE は、追加の critic やプロセスラベルを使わず、各ターンにより密な報酬を与えることを狙う手法である。

核心となる考え方

• 最終結果だけの報酬には限界がある。 短い推論タスクでは結果報酬が有効でも、ツール呼び出しが何十回にも及ぶと信号は疎になり、分散も大きくなる。失敗軌跡のすべての行動を同じように罰するのは適切とは限らない。
• 軌跡を状態遷移として扱う。 TRACE は、ツール呼び出しの境界で rollout を区切り、各操作によって文脈がどう変化したかを比較できる形にする。
• 凍結参照モデルから状態価値を作る。 各状態で、参照モデルが正解をどれだけ生成しやすいかを対数確率で評価し、それを log-ratio の状態価値へ変換する。
• 価値の差分を行動報酬にする。 あるツール呼び出しの後に正解が生成されやすくなれば、その行動には正の信用が与えられる。逆に、答えから遠ざかる操作は低い評価になる。
• 追加の価値モデルを訓練しない。 手法は critic の学習や人手によるステップ単位ラベルを必要としないため、スケールしやすい後学習手法として位置づけられる。

報告された結果

論文では、TRACE を長期の複雑検索タスクに適用している。要旨によれば、冷却開始用の教師あり微調整、agentic mid-training、ライブ Web データでの訓練を使わず、純粋な強化学習設定でベースモデルのツール利用能力を改善したという。

closed-web の BrowseComp-Plus ベンチマークでは、Qwen3-4B が 7.2 から 35.6 に、Qwen3-30B-A3B が 8.4 から 42.6 に向上したと報告されている。また、学習された検索行動は open-web ベンチマークにも転移し、学習曲線ではより早い改善と速い収束が見られたとしている。

意義と影響

TRACE の重要性は、新しいエージェント UI を提案した点ではなく、長い行動列の中で「どの一手が役に立ったのか」を評価しようとしている点にある。検索型エージェントやブラウザ操作エージェントでは、最終回答だけでは訓練信号として粗すぎる場面が増えている。

もし論文の結果が他のタスクやモデルでも再現されるなら、TRACE はエージェント強化学習の実用的な方向性を示す。既存の参照モデルを利用して、最終回答データからより細かな報酬を引き出すことで、人手のプロセス注釈や追加 critic への依存を減らせる可能性がある。

出典：arXiv