Harness進化の改善幅は、どこまで本当の汎化能力なのか

導入

モデルの重みを更新しなくても、エージェントの性能を高められる可能性がある。Harness evolutionは、固定重みの実行モデルを取り囲むプロンプト、スキル、ツール、オーケストレーションコードを自動的に調整し、検索セット上の成績を見ながら反復最適化する手法だ。

しかし、検索セットのスコアが伸びたからといって、エージェントの汎用能力が向上したとは限らない。arXiv論文「Harness-Delta Attribution: Dissecting Gains From Harness Evolution」は、この改善幅の内訳を調べるため、Harness-Delta Attribution（HDA）という評価プロトコルを提案した。

HDAは、改善を三つの要素に分けて考える。第一は、検索セットに合わせて作られたharnessの成果物による過適合。第二は、推論時の計算量を増やしたことによるテスト時スケーリングの効果。第三は、前二者では説明できない残余部分である。この残余は汎化能力の証明ではないが、残っている可能性のある汎用的な改善の上限として扱われる。

主な結果

• 11の実行モデルと3つのharness進化フレームワークを対象にした。
• 数学、コーディング、創造性、エージェント課題を評価した。
• 検索セットで統計的に有意な改善が出た21設定では、改善幅の平均54%を過適合が説明した。
• テスト時スケーリングの寄与は平均14%だった。
• 21設定のうち14設定では、両者の合計が改善幅の半分を超えた。
• 残余改善と留保課題への転移は、タスク、モデル、フレームワークによって大きく異なった。

重要なのは、harness最適化の価値を否定することではない。新しいプロンプト、追加のツール呼び出し、長い実行手順は、ベンチマークへの適応によってスコアを上げる場合もあれば、推論コストを増やして結果を改善する場合もある。これらは、実運用時の費用と信頼性に異なる意味を持つ。

研究では、検索セットでの改善が留保タスクへ移らないケースも多く、現実的な分布変化の下で効果が続くという根拠も限定的だった。さらに、検証に基づく指標だけでは過適合を防ぐのに不十分だとされている。

意義と影響

HDAは、エージェント研究の進展をより細かく報告するための視点を与える。今後は検索セットの最高スコアだけでなく、追加計算量、留保タスクでの性能、ベンチマーク適応で説明できる改善の割合も示す必要があるだろう。

この研究は、すべてのharness進化に価値がないと結論づけたものではない。むしろ、改善の出所を分解しなければ、有意なベンチマーク向上を汎用的な能力向上と誤解しやすいと示している。コスト、転移性、分布変化を同時に評価することが、実用的なエージェント開発で重要になりそうだ。

出典：arXiv