Harness²、正解のない環境でエージェントを再帰的に改善

概要

エージェントの能力は、基盤となる大規模言語モデルだけで決まらない。タスクをどう分解するか、どのツールを選ぶか、途中結果をどう確認するか、失敗からどう復帰するかといった実行プロセスも重要になる。このモデル周辺の仕組みは、一般に実行ハーネスと呼ばれる。Googleの研究チームが発表したHarness²は、このハーネス自体を再帰的に改善する方法を、オープンワールドのタスクに適用しようとしている。

二つの再帰レベル

既存の再帰的自己改善は、報酬、テスト、正解ラベルなどに依存することが多い。しかし、現実の仕事では設計時に未知のタスクが登場し、テスト時にも信頼できる検証器がない場合がある。Harness²は、この問題を二つの再帰に分けて扱う。

• タスクレベルの再帰：現在のタスクに対するハーネスの変更案を複数提案し、それらを探査・比較したうえで、より有望な変更を組み合わせる。中心となる手順はPropose-Probe-Composeである。
• ハーネスレベルの再帰：現在の調整から再利用可能な経験を取り出し、継続的改善ハーネスを更新する。次のタスクは、毎回ゼロから調整する必要がなくなる。
• 拡張可能な探索：タスクレベルの再帰は並列にも逐次にも実行でき、追加の予算を候補探索へ振り向けられる。

評価結果

論文は三つの専門ベンチマークと四つのモデル・ハーネス構成で評価した。GLM-5とGemini 3.5 Flashでは、単一ステップの適用がベースハーネスを一貫して上回った。報告された最大の改善幅は、WorkBuddy-Benchで11.5ポイント、JobBenchで4.5ポイント、LABで11.8パーセントポイントである。また、タスクレベルの再帰予算を増やすと、追加の改善が得られる結果も示されている。

意義と課題

この研究の意義は、エージェントの改善対象をモデルやプロンプトだけに限定せず、実行メカニズムそのものへ広げた点にある。一つのタスクで得た調整を次のタスクへ持ち越せれば、ツール利用が多く、手順が固定されない業務環境で有効な可能性がある。

一方、候補を探査して比較するには追加の推論・実行コストがかかる。また、正解のない環境で候補を選ぶ信号は、実際の成果を保証する検証結果とは異なる。経験が異なる分野でも安定して移転するのか、再帰を重ねた際に誤った方策まで蓄積しないかは、今後の検証課題となる。

出典：Hugging Face Daily Papers