エージェントはなぜ遅くなるのか：Elo-per-tokenで見る推論時戦略

導入

大規模言語モデルが一度だけ回答するシステムから、解答を何度も修正し、ツールを呼び出し、複数の案を試し、停止時点まで判断するエージェントへ変わると、推論時の計算量をどう評価するかが難しくなる。最終スコアだけを比較しても、途中でどれだけ効率よく改善したのか、追加のTokenが本当に役立ったのかは分からない。

Hugging Face Daily Papersで紹介された研究は、この問題を Elo-per-token分析 として整理する。長い実行軌跡の各段階を追跡し、エージェントが最初の優位性を失っていく地点を捉えることが目的だ。

中間成果をElo曲線に変換

研究対象は、中間提出に対して連続的なスコアを返すオープンエンド課題である。各Token予算の時点で、それまでに発見された最良の解を記録する。これにより、修正、ツール利用、別解の探索によって生まれた改善を、最終結果だけでなく過程として観測できる。

課題ごとに元のスコア尺度は異なるため、単純な平均や直接比較は難しい。そこで研究者はBradley-Terryモデルを使い、各課題内の解の順位関係をまとめ、課題をまたいで比較できるEloレーティングを作成した。得られるのは単一の正解率ではなく、計算予算に対するEloの推移である。

主な観察結果は次の通りだ。

• 独立サンプリングは理論的に特徴づけられる基準となり、Eloは計算量の対数に対しておおむね線形に伸びる。
• エージェントは初期段階では、独立サンプリングよりもTokenを効率よくEloへ変換できる。
• セッション予算を増やすと限界利益は低下し、最終的に独立サンプリングの基準を下回ることがある。
• エージェントの限界Elo向上が独立サンプリングと一致する予算を、研究ではスケーリングの変曲点と定義している。

実験と人間との比較

分析は、4つの汎用エージェントと4つのオープンエンドベンチマークに適用され、セッションは最大1億Tokenに及ぶ。また、フィードバックを利用する3つのLLM最適化ハーネスを、制御された単一課題の介入で調べている。汎用システムと比較的制御しやすい最適化手法の双方を含む点が特徴だ。

さらに、共通するAtCoder Heuristic Contest課題における過去の強力な人間参加者とも比較した。人間参加者はコンテスト時間に対して超線形に改善し続けた。これは人間がフィードバックから学び、戦略そのものを変えられることを示すもので、エージェントの初期の伸びが鈍化することは問題の上限ではない可能性を示唆する。

意義と影響

この研究の意義は、推論時スケーリングを「より多くのTokenを与える」だけの議論から、追加計算あたりの効率を測る議論へ移した点にある。今後の評価では、最終成功率だけでなく、追加Tokenごとの改善量や、現在の探索戦略がいつ機能しにくくなるかも見る必要がある。

開発者にとって変曲点は、停止、戦略切り替え、並列サンプリング、フィードバック最適化の判断材料になる。エージェントが遅くなるとき、単純に予算を増やすだけでは不十分かもしれない。継続的な学習、フィードバックの活用、探索方針の再編成が次の改善課題となる。

出典：Hugging Face Daily Papers