PILOT、長期タスク型エージェントに実行中の修正と進化を導入

導入

長期にわたるタスクでエージェントが失敗する原因は、個々の操作をまったく実行できないことだけではない。初期の判断ミスが、その後の多数の手順に連鎖し、誤った前提の上で実行が続いてしまうことがある。従来の自己改善手法は、実行終了後に軌跡を分析し、その教訓を次回の実行へ反映するのが一般的だった。しかし、この方法では、経験を生んだ現在の実行そのものを救うことはできない。

PILOTは、自己改善を実行中に行うべきだと考える。提案するのは、監督者（supervisor）とワーカー（worker）を分けたハーネスである。ワーカーがタスクを進める一方、独立した監督者が軌跡を観察し、必要に応じて実行途中で介入する。さらに、実行中に明らかになった手順や失敗パターンを、再利用可能なスキルと永続的な記憶へ整理する。

主要な仕組み

• ライブ・ステアリング：監督者は、ワーカーが目的から外れたり、効果の薄い経路に入り込んだりした場合、実行中の方針を変更できる。必要なら実行を中止することも可能だ。
• ライブ・セルフエボリューション：最終結果だけでなく、実行中に得られた手続き的な知識や失敗要因を抽出し、将来利用できる能力として保存する。
• 役割の分離：単一コンテキスト内で実行と自己評価を行う方式とは異なり、PILOTは実行と監督を分担させる。また、一般的なサブエージェント委譲と違い、動作中のワーカーに介入する点を重視する。

実験結果

PILOTは、GLM-5.1とKimi-K2.6という2つの凍結バックボーンを使い、3つのベンチマークで評価された。6構成のうち5構成で首位となり、Terminal-Bench 2.0では比較対象のハーネスを最大9.8ポイント上回った。

自己改善設定では、GLM-5.1で14.6ポイント、Kimi-K2.6で12.4ポイントの向上が報告されている。平均出力Tokenはそれぞれ42.9%、47.4%減少し、100万出力Tokenあたりの成功評価数は110.3%、134.0%増加した。つまり、リアルタイム介入は成功率だけでなく、非効率な探索の長期化も抑えられる可能性がある。

意義と課題

PILOTは、エージェント用ハーネスを単なる実行ラッパーではなく、現在の軌跡を制御しながら将来の能力も更新するループとして捉え直す。ターミナル操作のように、初期ミスの影響が後半で大きくなるタスクでは特に有用な考え方だ。

一方で、実時間の自己改善には難しさもある。監督者は、一時的な失敗と本質的な方針ミスを区別しなければならず、誤った介入によって本来成功する経路を壊す可能性もある。提供された素材では、ロールバックの詳細、介入による遅延、監督処理のコストは明らかにされていない。これらは、ベンチマーク外でも安定して機能するかを判断するうえで重要になる。論文ではコードをGitHubで公開予定としている。

出典：Hugging Face Daily Papers