HarnessDev、大規模言語モデルによるエージェント基盤の構築と進化を検証

導入

エージェントの能力は、基盤モデルの重みだけで決まりません。プロンプトの構成、ツールの呼び出し、記憶、タスク分解、失敗からの復旧、実行順序の制御も結果を大きく左右します。こうしたモデルの外側にある実行インフラは、一般にagent harness、つまりエージェント・ハーネスと呼ばれます。

従来の評価では、ハーネスを固定したうえでモデルのタスク性能を比較することが多くありました。HarnessDevは視点を変え、モデルの重みを変更せずに、LLM自身がハーネスを作り、さらに実行フィードバックを使って改良できるかを調べます。

評価の2段階

HarnessDevには次の2段階があります。

• Creation（作成）：最小限の初期環境と少数の事例から、完全な実行システムを構築する。
• Evolution（進化）：自分で作成したハーネスを出発点に、下流タスクの実行結果を見ながら繰り返し修正する。

作成されたハーネスは、開発時には公開されていない保留タスクで評価されます。指標は、タスク成功率で表す能力と、実行時に消費するToken数で表す効率です。報告された作成実験は、6つの作成LLM、4分野、5つの下流ベンチマーク、合計2,207件の固有インスタンスを対象にしています。

分野によって結果が大きく異なる

生成ハーネスは、すべての領域で成熟した人手設計システムに追いついたわけではありません。コード、検索、研究では大きな差が残りました。これらの課題では、ツールの連携、情報の検証、長期的な計画、失敗時の復旧を安定して実行する必要があり、一度の生成だけで高品質な仕組みを得るのは難しいと考えられます。

一方、文章作成と機械学習実験では、生成ハーネスが比較対象のシステムに匹敵、あるいは上回りました。自然言語による計画や実験結果からの調整が有効なワークフローほど、現在のモデルでも基盤を設計しやすい可能性があります。

効率にも大きな差がありました。成功率を高めるシステムが、長い推論、頻繁なツール呼び出し、繰り返し実行に依存することもあります。そのため、エージェント基盤は正答率だけでなく、運用コストと合わせて評価する必要があります。

自動進化には安定性の課題

進化段階の改善は常に安定するわけではなく、実行時に使うモデルにも左右されました。あるモデルやタスク分布で有効だった変更が、別の環境でも再現するとは限りません。

本当に有用な自己改善には、コードやプロンプトを増やすだけでは不十分です。性能のボトルネックを特定し、意味のある実験を設計し、偶然の改善と一般的な改善を区別しながら、能力とコストのバランスを再現可能な形で調整する必要があります。

意義

HarnessDevは、これまで見えにくかったエージェントの工学的な層を評価対象にしました。今後は、より大きなモデルだけでなく、安定性、低コスト、適応性に優れた実行基盤も競争力になるでしょう。同時に、LLMによる自律的な進化を過大評価しないための基準も提供します。現状では一部の領域で有望ですが、複雑な分野では人手設計の基盤との差が明確に残っています。

出典：Hugging Face Daily Papers