Agent最適化の効果は積み上がるのか：Terminal-Bench 2.0で継続学習を検証

導入

Agent 最適化の成果は、多くの場合「固定されたベンチマークで一度最適化し、どれだけスコアが上がったか」で語られる。しかし実運用の Agent は、固定された試験環境に閉じ込められているわけではない。新しい失敗例、新しい作業フロー、新しいタスクが次々に現れ、それらを取り込んで再び最適化することになる。

この arXiv 論文が問うのは、まさにその現実的な問題だ。最初の最適化で得た改善は、次の最適化でも維持され、さらに積み上がるのか。それとも、新しいタスクに合わせた調整が過去の改善を壊してしまうのか。

著者らは Terminal-Bench 2.0 の難しいタスクをもとに、二段階の継続学習評価を構成した。同じ最適化予算のもとで、Agent ハーネス最適化の三手法、GEPA、Meta Harness、RELAI の Verifiable Continual Learning（RELAI-VCL）を比較している。

主要ポイント

• 一回限りの評価には限界がある。 固定タスクでの改善は、その手法が将来の再最適化でも安定して有効であることを意味しない。
• 静的設定では三手法とも改善する。 通常の単一フェーズ評価では、GEPA、Meta Harness、RELAI-VCL のいずれもベースライン Agent を上回った。
• 新タスク投入後に差が出る。 第二段階で新しいタスクを導入すると、GEPA の最適化済み Agent は未最適化ベースラインを下回る転移性能を示した。Meta Harness は未見タスクへの転移は良いが、二回目の最適化予算を与えても追加改善できなかった。
• RELAI-VCL は両方を満たした。 RELAI-VCL だけが、未見タスクへの正の転移と、新タスクを目的に組み込んだ後の継続的な改善を同時に実現した。
• 終身平均でも優位。 報告された終身平均パス率は RELAI-VCL が 76.4%で、GEPA の 66.0%、Meta Harness の 64.6%、ベースラインの 58.7%を上回った。

意義と影響

この結果は、Agent 最適化を見る視点を変える。重要なのは「今回のベンチマークで何点上がったか」だけではなく、「次のタスク群が来たときに、その改善を保ったままさらに伸ばせるか」だ。特にコーディング Agent、ターミナル操作 Agent、自動化ワークフローでは、継続的な更新が前提になる。

著者らの中心的な観察は、最適化の効果が積み上がったのは、回帰を制御する仕組みが最適化ループに組み込まれていた場合だけだったという点にある。これは、現在のタスクだけに効く近道的な解を避け、古い能力を守りながら新しい能力を獲得するための重要な帰納バイアスになる。

もちろん、この研究は Terminal-Bench 2.0 の特定の難課題と二段階設定に基づくものであり、より多様な領域や長期の検証は今後の課題だ。それでも、Agent 最適化をライフサイクル全体で評価すべきだという問題提起は重要である。

出典：arXiv