EMG：エージェントの自己修正をグラフ照合問題として扱う新手法

導入

LLM エージェントは、観測を受け取り、状態を判断し、次の行動を選ぶことで複数ステップのタスクを進める。しかし長いタスクでは、一度の誤判断が後続の行動に連鎖し、失敗から戻れなくなることが多い。既存の自己修正手法では、モデルに失敗理由を反省させ、再試行させる方法がよく使われるが、反復回数が増えるほど時間と API コストがかさみ、安定性にも課題が残る。

arXiv 論文「Experience Memory Graph: One-Shot Error Correction for Agents」は、この問題に対して EMG という枠組みを提案している。狙いは、失敗回復を自然言語の反省ループではなく、構造化されたグラフ照合の問題として扱うことだ。

主要ポイント

• 軌跡をグラフ化する：訓練時に、失敗した探索軌跡と専門家の成功軌跡を、有向の行動決定グラフへ変換する。観測、状態、行動の関係を明示することで、異なる軌跡を比較しやすくする。
• 成功との差分から修正を得る：失敗グラフと成功グラフを照合し、共通部分から成功ワークフローを抽出する。同時に、どの行動を追加、削除、またはラベル変更すべきかを示すグラフ編集経路を得る。
• 経験を記憶グラフに保存する：抽出された知識は、タスク内のノードとタスク間のエッジを持つ記憶グラフに蓄積される。これにより、新しい場面でも関連する修正知識を検索できる。
• テスト時は一度だけ実行する：EMG はテスト時に関連経験を取り出し、エージェントの行動を直接導く。反省と再試行を繰り返す設計ではない。

意義と影響

EMG の意義は、エージェントの記憶を単なる文章メモではなく、「何が失敗で、どう直すべきか」を示す構造化データとして扱う点にある。修正内容がグラフ編集として表現されるため、プロンプトだけに依存する反省よりも明示的で、再利用しやすい可能性がある。

論文では、ALFWorld と ScienceWorld において、成功率と平均報酬の面で反省型の強力なベースラインを一貫して上回ったと報告している。ただし、結果はベンチマーク環境に基づくものであり、より開かれた実世界タスクでの汎化、グラフ構築の負荷、曖昧な観測下での検索精度は今後の検証課題だ。

それでも EMG は、将来のエージェント記憶が単なる履歴ログから、ワークフロー、失敗、修復手順を結び付ける経験グラフへ進化する可能性を示している。

出典：arXiv