モデルの重みを変えずに進化するエージェント：Harness RSI の設計思想

導入

経験から学ぶエージェントというと、通常はモデルの重みを更新する仕組みが想定される。しかし実際の動作は、プロンプト、メモリ、ワークフロー、ツール、実行時コード、アクセス権限など、モデルの周囲にあるソフトウェアにも大きく左右される。論文「Self-Evolving Agent Harness」は、基盤モデルを固定したまま、この周辺部分を改善する Harness RSI という考え方を体系化している。

主なポイント

• 進化の対象はプロンプトだけではない。 固定されたコンポーネントが解釈する指示、メモリ、ワークフロー仕様に加え、実行可能なツール、ランタイムのロジック、リポジトリ単位の制御、プラグイン構成も対象になる。対象ごとに検証方法と失敗リスクは異なる。
• 提案と採用を分ける。 実行フィードバックから候補変更を作ることと、その変更を将来の実行に残すことは別の処理として扱う。この分離により、探索の柔軟性と、独立評価、ロールバック、権限審査を組み合わせられる。
• 性能向上には複数の証拠が要る。 論文は、評価値が探索と独立しているか、変更が実際に利用されたか、差分の原因が変更にあるか、生成元のタスク以外にも効果があるかを区別する。テストスコアの上昇だけでは、これらすべてを確認できない。
• 継続学習として理論化する。 ハーネスの進化を進化的最適化と継続的 PAC 学習の観点から分析し、明示的な仮定の下で、期待汎化、過去の回帰予算を条件とした性能保持、新しい独立検証データを用いた採用規則を論じている。

意義と課題

この枠組みは、エージェントを改善するたびに大規模モデルを再学習する必要がないという別の道を示す。個人支援、企業自動化、科学研究、ロボティクス、公共サービスでは、モデル全体を変更するより、ワークフローやツールを交換する方が運用しやすい場合がある。永続的な変更は、タスクやチーム、プラグインをまたいだ手順の共有にもつながり得る。

一方で、変更対象が実行可能なコードや外部サービスへの接続に及ぶと、リスクも広がる。過去のタスクで有効だった変更が、環境やタスク分布の変化後に回帰を起こす可能性がある。また、候補探索に使ったデータで評価すれば、汎化性能を過大評価しかねない。そのため、学習、ランタイム権限、重大な行動について、継続的な検証と独立した安全策を設ける必要がある。

本研究は、自律的な自己改善が解決済みだと示すものではなく、設計と評価のための地図に近い。エージェントが自分のハーネスを書き換えるなら、バージョン管理、観測可能性、回帰テスト、権限分離、責任追跡は、アルゴリズムと同じく学習システムの一部になる。

出典：Hugging Face Daily Papers