StepGuard、LLMエージェントのツール実行を一手ごとに監査

背景

LLMエージェントがファイル操作、情報取得、メッセージ送信などのツールを呼び出せるようになると、自然言語による応答を超えて外部環境に影響を与えられるようになる。その一方で、ファイルの改変、情報漏えい、権限のない操作といったセキュリティリスクも増える。特に問題となるのは、危険なツール呼び出しが実際に実行された後では、ガードモデルが正しく判定しても被害を防げない可能性があることだ。

既存のガードレールの多くは、エージェントの一連の軌跡が完了してから安全性を評価する。StepGuardはこの空白に着目し、実行前の個別アクションを監査すると同時に、完了済みの軌跡も確認できるモデルを提案する。

提案のポイント

• 判断単位を細かくする。 完成した軌跡全体だけでなく、その時点の文脈に対して現在のツールアクションが適切かを調べる。これにより、ツールが呼び出される直前に安全性判断を挿入できる。
• StepGenで対照的なデータを作る。 自動データエンジンStepGenは、同じ文脈を保ったまま、リスクのあるステップのアクションを変えた安全な軌跡と危険な軌跡を生成する。安全性の違いをアクションに結び付けて学習しやすくする設計である。
• Balance-GRPOで偏りを抑える。 防御モデルは危険な操作を見逃すだけでなく、正常な操作まで止めることがある。Balance-GRPOは安全なアクションと危険なアクションの観測正解率に応じて学習の比重を動的に調整し、過剰防御と防御不足の両方を抑えることを狙う。

結果と意味

報告によれば、StepGuardは評価されたオープンウェイトのガードモデルの中で最高の平均精度を示し、GPT-5.4と同程度の性能だった。AgentDojoとAgentDynでエージェントを保護した場合、ガードなしと比べて平均攻撃成功率は77.3%低下し、平均有用性の低下は2.8ポイントにとどまった。

この結果が示すのは、単に多くの操作を拒否することではなく、実行前に危険なアクションを選別しながら通常のタスクを残すことの重要性である。ステップ単位のガードは、権限管理、サンドボックス、人間による承認と組み合わせられる追加の防御層になり得る。

ただし、提示された素材だけでは、未知の攻撃への一般化、実運用時の遅延、誤検知のコストまでは判断できない。StepGuardはエージェント安全性を単独で解決するものではなく、行動を実行する直前にモデルベースの監査を置くための有力な方向性と見るのが適切だろう。

出典：Hugging Face Daily Papers