AutoSaddler、失敗軌跡からLLMエージェントの実行基盤を自動改善

導入

LLMエージェントの性能は、基盤モデルだけで決まりません。プロンプトの組み立て方、ツールの呼び出し方、再試行の条件、コンテキストの保持方法など、モデルを取り巻く実行ハーネスも結果を大きく左右します。数十ステップに及ぶタスクでは、初期の小さな判断ミスが後続の処理に連鎖し、全体の失敗へ発展することがあります。

一方、ハーネスの設計と改善は依然として人手中心です。開発者は実行ログを読み、指示文やツール設定、制御フローを個別に調整しなければなりません。AutoSaddlerは、こうした改善を失敗データから反復的に行う枠組みとして提案されています。

手法の要点

AutoSaddlerは主に三つの要素で構成されます。

• 失敗軌跡の診断：最終的な成否だけでなく、実行のどの段階で問題が起き、どの構成要素が関係したのかを調べます。
• 構造化パッチの生成：ハーネスをコードとして扱い、プロンプト、ツール構成、制御ロジックなどに対して、原因に対応した変更を作ります。
• 検証に基づく更新選択：一つの軌跡を直しただけで変更を採用せず、より広いタスクや軌跡で有効かを確認します。

この処理はオフラインの反復ループとして実行されます。小さなバッチから失敗信号を集め、診断結果をもとに候補パッチを生成し、検証後に新しいハーネスへ反映します。つまり、実行時の一時的な反省ではなく、次回以降にも残るシステム改善を目指す設計です。

実験から見えること

GAIA2、SWE-Bench Pro、Terminal-Bench 2.0では、対応するベースハーネスに対して、それぞれ9.0、9.6、10.0ポイントの性能向上が報告されています。モデルを変更しなくても、実行基盤の改善だけで大きな余地が残されていることを示す結果です。

アブレーションでは、三つの設計判断が重要だと示されました。浅い振り返りよりも、失敗の原因を掘り下げるデバッグが有効です。また、ハーネス全体を無制約に編集するより、問題箇所を狙った変更の方が安定します。さらに、更新は元になった軌跡だけでなく、別の軌跡にも一般化しなければなりません。

意義と課題

この研究は、ハーネスをモデルの固定的な付属品ではなく、テストと改修を続けるソフトウェアとして捉え直します。エージェントの改善対象は、モデルの規模や推論量だけではなく、ツール利用、コンテキスト管理、エラー回復、実行制御にも広がります。

ただし、自動生成パッチの安全性を確認する回帰テストや、十分な評価範囲は不可欠です。軌跡の品質が低ければ診断も不安定になり、狭い評価セットでは過適合を見逃す可能性があります。それでも、コーディングやターミナル操作のような長期タスクで、失敗を再利用可能な改善へ変換する方向性は、エージェント運用の現実的な進展になり得ます。

出典：Hugging Face Daily Papers