CaSKG、反実仮想でLLMエージェントのスキル検索を改善

導入

LLMエージェントに行動能力を持たせるには、成功例を保存するだけでは不十分です。新しいタスクに直面したとき、必要なスキルを検索し、実行可能な順序で組み合わせなければなりません。スキルライブラリを大きくすればカバー範囲は広がりますが、検索の難しさとコンテキスト消費も増えます。CaSKG（Counterfactual-Causal Skill Graphs）は、二つのスキルが文章上で似ているかではなく、実際の手順の中で有用な関係を持つかを調べる手法です。

仕組みの要点

全ライブラリをプロンプトに入れる方法は網羅性を保てますが、コンテキストコストが高くなります。ベクトル検索は候補を絞れますが、スキルを独立したテキストとして扱いがちです。グラフ検索はワークフローの文脈を復元できる一方、エッジが不正確なら誤った関係まで広げてしまいます。CaSKGは、このエッジの信頼度を検索前に調整します。

• 高再現率の候補グラフを作る。 意味的・語彙的な手掛かりに加え、スキルの入力と出力、構造的な情報を組み合わせ、有向の候補関係を生成します。修復に関する証拠や、任意で使えるLLM判定器によりスコアを補正できます。
• 反実仮想プローブで関係を検査する。 スキルの組を削除、置換、順序変更したテキストを作り、どちら向きの依存関係が手順を支えるかを調べます。複数の証拠はベイズ平滑化によって統合されます。
• 状態を考慮した重み付きグラフを利用する。 グラフはオフラインで構築し、実行時にはタスクと現在の状態に応じて検索を拡張します。下流エージェントの方策やタスクインターフェースを変更する必要はありません。

この設計が狙うのは、「関連して見えるスキル」と「実行順序を支えるスキル」を区別することです。前提条件、環境状態を変える行動、検証、完了処理をグラフ上で適切に表現できれば、検索結果から重要な手順が抜ける可能性を抑えられます。

実験と意義

論文はALFWorld ID-140とScienceWorld U211で、6種類のLLMバックボーンを評価しました。著者らによれば、CaSKGはモデルとベンチマークの12通りすべてで最高のタスクスコアを達成しました。Graph-of-Skillsとの比較では、6モデルのScienceWorldマクロ平均スコアが72.62から80.50へ、ALFWorldの成功率が80.01%から86.79%へ向上し、両ベンチマークで平均環境ステップ数も減少しました。定性的分析とアブレーションでは、校正されたエッジが前提、状態変化、検証、最終完了の手順を保持するのに役立つとされています。

この研究の重要な点は、スキルの数ではなく、スキル同士を結ぶ関係の質を検索性能の中心に置いたことです。家事タスク、科学実験、ツール呼び出しのような多段階処理では、前提を飛ばしたり順番を逆にしたりすると、関連するスキルを取得できても実行に失敗します。

一方、今回の評価は二つのベンチマークとオフライン構築に基づくものです。テキストによる反実仮想が実環境の因果依存をどこまで安定して捉えられるか、スキルが変化し続ける環境でグラフをどう更新するかは今後の課題です。それでもCaSKGは、エージェントの方策を変更せず、記憶の整理方法から実行可能な検索を改善する方向を示しています。

出典：Hugging Face Daily Papers