AIエージェントに失敗を記憶させるSelf-Direction、経験を再利用可能な知識へ

導入

一度だけ失敗から復旧できても、それは必ずしも「学習した」ことを意味しません。現在のAIエージェントは、実行履歴を振り返って計画を修正し、同じセッション内で再試行できます。しかし、その反省はセッションをまたぐと失われやすく、長期的な改善にはつながりにくいという課題があります。一方、モデル全体をファインチューニングすれば経験を残せますが、計算コストが高く、既存能力を損なう可能性もあります。

Self-Directionの仕組み

Self-Directionは、この二つの方法の中間を狙います。エージェントがタスクに失敗すると、まず自分の実行軌跡を分析し、失敗の原因や次回に使える教訓を抽出します。その教訓を、基盤モデル全体ではなく、軽量な低ランクアダプターへ蒸留します。

作成されたアダプターは、永続的な「教訓ライブラリ」に保存されます。後で似たタスクに遭遇すると、システムが関連するアダプターを自動的に選び、エージェントの処理に適用します。基盤モデルの重みは凍結されるため、個別の教訓を学習しても元のパラメーターを直接上書きしません。論文によれば、1つのアダプターに追加される学習パラメーターは、基盤モデル全体の約0.02％に相当します。

評価で示されたこと

研究チームは、Qwenファミリーのオープンウェイトモデルを基盤とするエージェントを使い、オープンエンドな調査タスクのGAIA、ツール利用ワークフローのClaw-Eval、ターミナル操作のTerminal-Bench 2.1で評価しました。報告された全体の成功率向上幅は8.9〜17.0ポイントで、フロンティアシステムとも競合できる結果になっています。

また、関連タスクに再び取り組む際の同じ失敗が減り、修正の信頼性はほぼ2倍になったとされています。さらに、少数のアダプターが、追加学習なしで数十の新しいタスクへ一般化しました。これは、保存された教訓が特定事例の単純な記憶ではなく、再利用可能な手順を含む可能性を示します。

意義と残る課題

Self-Directionの意義は、反省を一度きりのプロンプト操作から、管理・呼び出し可能な経験資産へ変えた点にあります。長時間稼働する調査支援、ツール操作、ターミナル自動化のエージェントでは、同種のミスを減らしながら、毎回の全パラメータ更新を避けられる可能性があります。

ただし、教訓ライブラリが大規模化した場合の検索コスト、誤った教訓の検出、アダプター同士の衝突については、提示された素材だけでは判断できません。持続的な学習を実運用するには、経験の評価や削除、更新の仕組みも重要になります。

出典：arXiv