CAST、行動批評の学習で長期ツール利用エージェントの信頼性を高める

導入

大規模言語モデルのエージェントが、複数のツールを順番に呼び出す業務へ広がるにつれ、評価の焦点は一回の回答精度から、長い対話全体を安定して完了できるかへ移っている。例えば購入履歴を確認してから返金する処理では、対象を取り違える一回の操作が、後から簡単に取り消せない失敗になる可能性がある。しかも、その誤りは毎回発生するとは限らず、複数回の試行で初めて見えることもある。

論文「CAST: Critique-Aware Supervision for Training Reliable Long-Horizon Tool-Calling Agents」は、この問題に対し、批評をプロンプト上の一時的なチェックではなく、訓練に使える監督信号として扱う方法を提案する。

CASTの仕組み

CASTは、タスクの成否だけを学習材料にするのではなく、軌跡を分析して行動単位の情報を作る。

• 軌跡の文脈化：ツール呼び出し、途中の環境状態、最終結果を関連付ける。
• 構造化された理由の生成：部分観測の状況でも、行動が妥当か、危険か、ポリシーに反するかを説明する。
• 批評モデルの訓練：軌跡全体への成功・失敗ラベルではなく、個々の行動を検証する能力を学ばせる。
• 方策モデルの改善：批評モデルから得た情報を含むデータを使い、状態とルールを考慮して行動する方策を最適化する。

この構成は、既存手法の隔たりを埋めようとするものだ。プロンプトで動く批評エージェントは説明を生成できる一方、それを安定した訓練データに変換できるとは限らない。反対に、結果だけを使う最適化手法では、なぜ行動が誤っていたのかという細かな検証理由が不足しやすい。CASTは、両者を行動レベルの監督で接続する。

報告された評価

論文では、動的なツール利用ベンチマーク上でQwen3系列モデルを微調整している。概要によれば、Retailタスクのpass^4指標でGPT-OSS-120Bを10ポイント以上上回り、域外設定のTelehealthではさらに9ポイントの改善を得た。これは単発の正答率だけでなく、状態が変化する環境で複数回実行しても安定するかを重視した結果として示されている。

意義と残る論点

エージェント訓練では、最終的な失敗ラベルだけでは情報が粗すぎる。どのステップが問題だったのか、どの状態を見落としたのか、どのルールを誤解したのかが分からなければ、モデルの改善は難しい。行動ごとの理由を学習できれば、失敗後の拒否から、実行前の自己検証へと設計を変えられる可能性がある。

一方、今回の素材だけでは、理由生成の計算コスト、批評モデル自身の誤判定、より多様なツールやポリシーへの転移性までは判断できない。実運用では、批評による追加遅延と、新たな誤りの入口も検証する必要がある。

出典：Hugging Face Daily Papers