ポストトレーニング前にLLMのエージェント能力をどう評価するか

はじめに

大規模言語モデルの能力は、もっともらしい回答を生成できるかだけでは測れない。実用的なコーディングエージェントや調査エージェントには、目標の理解、ツールの利用、複数ステップの実行、結果の検証、失敗からの復旧が求められる。ところが、事前学習中の基盤モデルは通常、チャット形式の指示追従やエージェント用の行動手順をまだ学んでいない。そのため、完成した対話エージェント向けの評価環境をそのまま適用すると、モデル本来の能力とインターフェースの不一致を区別しにくい。

論文は、この課題に対して ASAP（Agent Scaffold Adaptation for Pretraining Evaluation）を提案している。目的は、基盤モデルを大きく作り替えることなく、実際のタスク遂行に近い形でエージェント的な行動を観察することだ。

ASAPの仕組み

ASAPは、基盤モデルをチャットモデルへ変換するのではなく、補完型のインターフェースを維持したまま既存のエージェント・スキャフォールドを適応させる。中心となる考え方は次の通りだ。

• 構造化された軌跡の継続：進行中の実行軌跡をモデルに提示し、その続きを生成させる。空のプロンプトから完全なエージェント行動を要求するより、タスクの流れに入りやすい。
• 短い参照プレフィックス：期待される行動やツールとのやり取りを理解するための短い手がかりを与える。大規模な専用適応を前提にしない点が特徴だ。
• 最小限の復旧機構：出力が実行形式に合わない場合でも評価を継続できるようにする。ただし、ルールベースの外部処理がモデルの振る舞いを覆い隠さないよう、復旧は限定的に設計される。

研究では、ソフトウェア工学と深層調査のベンチマークを用い、複数の基盤モデルや事前学習チェックポイントを比較した。提示された概要によれば、ASAPはモデル間および学習段階間の違いを識別できる端到端の結果を示す。また、最終スコアだけでなく、モデルが生成した実行軌跡も取得できる。

なぜ軌跡の分析が重要なのか

尤度や静的タスクの正解率は、言語モデリング能力を測るうえで有用だ。しかし、長いタスクの途中でモデルがどう振る舞うかまでは十分に示さない。環境を探索するのか、試した内容を編集するのか、結果をテストするのか、失敗したときに復旧できるのか。これらはエージェントの信頼性に直結する。

軌跡を確認すれば、最終結果が同じモデルでも、そこへ至る経路の違いを把握できる。タスクに失敗した場合も、計画不足なのか、検証不足なのか、編集が不十分なのか、復旧が機能しなかったのかを切り分けられる。これは、事前学習の進行に伴ってエージェント関連能力がどう変化するか、またポストトレーニング前後で実行パターンがどう異なるかを調べるための行動面の視点になる。

意義と今後の論点

ASAPは従来の事前学習ベンチマークを置き換えるものではない。静的指標や尤度ベースの代理評価を補い、モデルが実際に行動する場面を早い段階から診断する枠組みと位置づけられる。特に、ポストトレーニングを始める前に基盤モデルの適性を確認したり、調整前後の行動差を比較したりする用途が考えられる。

一方、概要には詳細な数値や、スキャフォールドと復旧機構それぞれの効果までは示されていない。したがって、ASAPはエージェント能力の唯一の尺度というより、実行過程を可視化する実用的な診断手法として読むのが適切だろう。

出典：Hugging Face Daily Papers