BELIEFWEAVERが長期タスクエージェントの失敗復旧を改善

導入

長期タスクを実行するエージェントの問題は、特定のコマンドを知らないことだけではない。画面上で現れた失敗が、実際には数ステップ前の判断から生じている場合がある。直近の観測だけで反省するエージェントは、原因ではなく症状に対応し、同じ経路を繰り返したり、根拠のない巻き戻しを行ったりしやすい。

IntelligenceLabの研究チームは、この失敗復旧を一時的な反省処理ではなく、継続的な状態管理と将来予測の問題として扱うBELIEFWEAVERを提案した。論文ページの情報によると、対象はターミナル上の長期エージェントタスクであり、3つのベンチマークで評価されている。

仕組みのポイント

• 試行をまたいで証拠を保持する。 BELIEFWEAVERは、タスクのフロンティア、試行、観測、チェックポイントを関係的な信念状態にまとめる。ある試行で得られた実行証拠は、ロールバックや再試行の後も、関連するフロンティアの優先順位を更新するために使われる。
• 診断と実行を分ける。 異常を検出したからといって、すぐに次のコマンドを実行するわけではない。診断情報を使い、どの修復方向が妥当かを確認してから実行を進める。
• 修復案を先読みする。 暗黙的世界モデル（IWM）は、次のアクションだけでなく、複数の修復仮説がどの程度進展を生むかを評価する。また、フロンティア間の関係を推定し、探索の優先順位を導く。
• 小型モデルへ推論を移植する。 研究チームは教師ありファインチューニングとオンポリシー蒸留を使い、繰り返し現れるIWMの推論要素を9Bの学生モデルに移した。これにより、教師モデルへの依存を抑えながら復旧能力を維持することを狙っている。

結果と意義

論文の報告では、BELIEFWEAVERは3つのターミナルベンチマークにおいて、ネイティブなTerminus-2 continuationより集約最終スコアを5.1ポイント改善し、探索効率にも良い傾向を示した。蒸留された9Bモデルは、報告されたネイティブベースラインを9.8ポイント上回り、対応する教師モデルとの比較では推定教師APIコストを54.8%削減した。ベンチマークの名称や詳細な実験条件は、提供された素材だけでは確認できない。

この研究が示す重要な点は、エージェントの記憶を単なる長い履歴として扱っていないことだ。復旧に必要なのは、どの証拠がどの分岐に関係するか、どのチェックポイントが信頼できるか、修復案が将来の進行を変えられるかを保持することである。ターミナル操作やコード実行のように、小さな初期ミスが後続の手順全体に影響する環境では特に有用な考え方だ。

現時点の評価はターミナルタスクが中心であり、視覚環境やロボットなどへの一般化は今後の課題である。それでも、何が起きたかだけでなく、なぜ失敗したのか、どの分岐が有望か、次に何を試すべきかを継続的に管理するという方向性は、長期エージェント設計に明確な示唆を与えている。

出典：Hugging Face Daily Papers