HazardAuditor、コンピュータ利用エージェントの実行時安全監督を提案

導入

AIエージェントが文章を生成するだけなら、安全性の確認は主に入力プロンプトと最終回答を調べればよい。しかし、ブラウザを開き、端末コマンドを実行し、ファイルを読み書きし、外部サービスを呼び出すコンピュータ利用エージェントでは、リスクが実行過程の中で現れる。最初の指示や最後の回答だけを見ても、危険な操作の原因や連鎖を捉えきれない場合がある。

HazardAuditorは、この実行時の振る舞いを安全監督の中心に置くフレームワークである。静的なテキスト分類だけではなく、エージェントが環境内で何を行ったかを記録し、学習可能な監督信号として扱うことを目指している。

主なポイント

• 評価対象を実行軌跡へ拡張。 既存のguardモデルは、入力と出力の安全性を中心に判断することが多い。HazardAuditorは、ツール呼び出し、コマンド、環境との相互作用など、実行中のイベントを評価に含める。
• 異なるエージェントを共通形式で扱う。 Claude Code、Codex、Hermes、OpenClawを管理された環境で実行し、それぞれの相互作用をcanonical event representationへ正規化する。これにより、実装の異なるシステム間で監督データを比較しやすくする。
• 生成型guardの学習上のずれを修正。 token単位の事後学習では、長い推論文ほど勾配更新への寄与が大きくなり、肝心の安全判定が相対的に弱くなる可能性がある。Guard Policy Optimization（GuardPO）は、決定的な安全結果を系列レベルのadvantageへ変換し、推論部分と判定部分を正規化する。
• 異種環境での評価を重視。 論文によると、複数のベンチマークとコンピュータ利用システムで、従来最強のguardを最大16.5ポイント上回る精度が得られた。コード、モデル、評価資料はプロジェクトページで公開予定とされている。

意義と限界

この研究が示す重要な視点は、エージェントの安全性を「何を言ったか」だけで判断できないということだ。ツールを使えるシステムでは、「何をしたか」「どの順番で行ったか」「環境にどのような変化を与えたか」も監視しなければならない。共通イベント表現は、異なるオーケストレーション基盤を横断する観察層として機能し得る。

GuardPOは、推論の長さと判断の正確さを混同しないための提案でもある。説明が長いこと自体は、安全な判定を意味しない。系列レベルの結果を重視することで、モデルが形式的な説明の生成ではなく、実際のリスク判定を改善する方向へ学習されることを狙う。

一方、提供された情報にはベンチマークごとの詳細な内訳がない。そのため、16.5ポイントという値は論文の評価条件における最大値として解釈すべきで、あらゆるエージェントや本番環境にそのまま一般化できるとは限らない。今後は、より多様なツール、攻撃パターン、実運用ワークフローでの検証が重要になる。

出典：Hugging Face Daily Papers