ActionOPD：トークンではなくエージェントの意思決定を蒸留する

導入

高性能な言語モデルのエージェント能力を小型モデルへ移すとき、単に教師が生成した文章を似せればよいとは限らない。ツール利用や環境との対話では、重要なのは特定の状態で何を選ぶかである。どのツールを呼ぶのか、どの引数を渡すのか、追加情報を取得するのか、それともタスクを終えるのか。ActionOPDは、このような意思決定をトークン列よりも適切な蒸留単位と位置づける。

トークン単位の限界

従来のオフライン模倣学習は、各トークンに対する密な教師信号を提供できる。しかし、訓練データに現れる状態は主に教師の軌跡から得られる。学生が異なる行動を取り始めると、学習時には十分見ていない状態に到達し、状態分布のずれが問題になる可能性がある。

トークンレベルのオンポリシー蒸留は、学生自身が訪れた状態で学習することで、この問題を緩和する。ただし、教師のトークン確率へのアクセスや、教師と学生のトークナイザーの互換性を必要とすることが多い。API経由の教師や、異なるモデル系列を組み合わせる場面では、これは大きな制約になる。

ActionOPDは、整合の対象を意味的なアクションへ移す。学生が訪れた各状態で、学生とブラックボックス教師の双方からアクションをサンプリングし、その意味的な一致度に応じて学生のアクションを評価する。その信号を方策最適化に利用するため、学生は教師の文章表現や推論の書き方を再現せずに、教師と整合した判断を学習できる。

手法の要点

• 学生が作る状態を利用：教師だけの軌跡に依存せず、学生が実際に遭遇する状態で訓練する。
• 意思決定を監督：個々のトークンではなく、実行可能な選択を学習対象にする。
• ブラックボックス教師に対応：教師のトークン確率を必要とせず、モデル系列やトークナイザーも共通でなくてよい。
• エージェントに自然な粒度：ツール呼び出しや環境操作、多ターンの判断と相性がよい。

実験と意義

著者らは、2つの教師を使い、Qwen3-4BとQwen3-8Bを多様なツール利用タスクで訓練した。4つの分布外ベンチマークでは、平均3.3〜6.9ポイントの改善が報告されている。また、学生の規模と教師の能力が高まるほど、手法が好ましく拡張する傾向も示された。

この研究が示す方向性は、エージェント蒸留で何を保存すべきかを問い直すものだ。通常の文章生成ではトークン単位の一致が有用な場合もある。しかし環境と繰り返し対話するエージェントでは、教師の表面的な言い回しは本質ではない。異なる表現や推論経路でも、同じ有効なツール選択に到達できるからだ。

一方で、アクションの意味をどう定義するか、異なるアクションの近さをどう測るか、ブラックボックス教師のサンプリングノイズをどう抑えるかは今後の課題である。それでもActionOPDは、エージェントには教師の発話を暗記させるのではなく、重要な状態で適切な選択を学習させるべきだという原則を示している。

出典：Hugging Face Daily Papers