エージェント進化はスコア上昇だけではない：信頼性・コスト・転移に潜む代償

導入：スコアが上がれば、本当に良くなったのか

エージェントのハーネスを進化させれば、基盤モデルの重みを更新しなくても、プロンプト、ツールの使い方、制御フロー、外側の実行環境を変更しながら再帰的な自己改善を目指せる。しかし、ベンチマークのスコアが上昇しただけで、エージェントがより信頼でき、効率的で、新しい課題にも適応できるようになったと判断してよいのだろうか。

中国科学技術大学などの研究者による今回の研究は、この単純な見方を検証した。最終スコアだけでなく、進化の過程で何を獲得し、何を失い、変更がどの条件で機能するのかを追跡している。

研究のアプローチ

研究では、エージェント進化を現象、汎化、メカニズムの三つの観点から調べた。複数のハーネス、一般タスク、コーディングタスクを対象に、四つの手法を比較している。さらに、反復評価、エージェント拡張の制御、構成要素への介入、採用判断の再生を組み合わせ、進化を単なる前後比較ではなく、連続する意思決定として分析した。

対象となる段階は次の四つだ。

• Select：どの候補変更を残すかを選ぶ
• Analyze：成功や失敗の原因を分析する
• Mutate：プロンプトや戦略、ハーネスを変更する
• Gate：次の世代に進める変更を決める

重要な発見：能力は増えるのではなく、組み替わる

16の進化エージェントはすべて、従来は解けなかった課題を新たに解けるようになった。一方で、以前は対応できていた課題も失っている。ある一般タスクのケースでは、信頼性が5.2ポイント向上したにもかかわらず、既にカバーしていた10個の課題を失った。

この結果は、平均スコアの上昇が能力の一方向的な拡大を意味しないことを示す。進化によって、能力が特定の課題群へ再配分される可能性がある。さらに、信頼性の改善の多くは、デプロイ時のコスト増加も伴った。性能だけでなく、運用上の負担を見る必要がある。

具体的な変更は、一般的な注意喚起よりも有効なことが多い。ただし、単独で効果のある変更が、別の変更と組み合わされた場合にも同じ効果を示すとは限らない。また、最も高いスコアを得たエージェントは、四つの評価プールのいずれでも最大の平均改善を実現しなかった。採用条件を厳しくしすぎると、有用な代替案まで排除する可能性もある。

転移は条件依存

進化の成果が別の課題へ移るかどうかも一様ではない。一般タスクの対象では、二種類のハーネスと異なる進化パラダイムの双方で、カバレッジが低下する傾向が見られた。一方、コーディングタスクでは、外側の層だけを変更するハーネスを使った場合にカバレッジが上昇した。

したがって、ある進化戦略を「汎用的に有効」とみなすことはできない。タスクの種類、ハーネスの設計、変更が作用する位置を明示する必要がある。

研究が示す評価の方向性

今後の評価では、新たに解けた課題だけでなく、以前の能力が維持されたか、繰り返し実行して安定しているか、コストが許容範囲か、目的の環境へ転移できるかを確認すべきだ。研究では、こうした診断をもとに Select、Analyze、Mutate、Gate を見直す EvoAudit を提案し、最良の性能を達成した。

この研究の意義は、自己改善を無条件の能力増強として扱わない点にある。エージェント進化は、上昇した数字だけでなく、得失、費用、適用条件まで監査して初めて評価できる。

出典：Hugging Face Daily Papers