MPO、長期LLMエージェントの学習単位をトークンからターンへ

長期的に環境とやり取りするLLMエージェントでは、最終回答だけに報酬を与えればよいわけではありません。軌跡には複数のアシスタントターン、ツール呼び出し、観測、リカバリーが含まれます。成功や失敗を生んだ行動を特定し、その行動の内部でどのトークンに責任を割り当てるかが、強化学習の重要な課題になります。

従来の方策最適化は、トークンを基本単位としてアドバンテージを計算することが多くあります。細かな制御が可能である一方、エージェントの実際の行動単位とは一致しない場合があります。1回のターンには計画の説明、構造化された引数、ツールの実行が含まれることがあります。たとえば引数の一部が不正だった場合、ターン内の全トークンに同じような罰を与えると、正しく生成された部分まで過度に評価を下げる可能性があります。

この問題に対し、論文はMultiscale Policy Optimization（MPO）を提案します。出発点は、批評家の価値がターン内部よりもアシスタントターンの間で大きく変化するという観察です。そこでMPOはターンを最適化の基準にしながら、必要な範囲ではターン内部のトークンにも細かな信用を配分します。

主な構成は次の2つです。

• 多尺度アドバンテージ推定（MAE）：行動全体が将来の結果に与える影響をターン単位で捉え、内部のトークン差も保持します。
• ターン単位の重要度サンプリング：すべてのトークンを独立した更新単位として扱うのではなく、ターンの更新に合う形で方策比率を計算します。

重要なのは、トークン学習を単純にターン単位のラベルへ置き換えることではありません。どの行動全体に信用や責任があるのか、そしてその行動内部のどの部分が結果に寄与したのかを分けて扱う設計です。検索やツール利用、自動化では、1ターンが意味のある操作に対応しやすいため、この考え方は実行構造とも整合します。

提供された素材によれば、MPOは検索、ツール利用、自動化タスクで強力な強化学習ベースラインに対して一貫した改善を示し、4Bと30B-A3Bの両モデルで評価されています。一方、安定性を判断するには、複数シード、異なるターン長、チェックポイント選択の影響を含む追加検証が必要です。

MPOの意義は、エージェントの実際の行動境界を学習の尺度に取り込んだ点にあります。今後は、極端に長いターンでの比率クリッピング、方策変化後の批評家の校正、推論時の失敗検知への応用が課題になります。ターン価値を再試行や人手確認に使える可能性はありますが、現時点の素材だけで実運用上の有効性を断定することはできません。

出典：Hugging Face Daily Papers