SecOPD、トークン単位の蒸留で適応型プロンプトインジェクションに対抗

エージェントに入り込む外部指示

AIエージェントがウェブページ、ファイル、メールを読み取りながら動作する場合、外部データは単なる情報源ではありません。その中に、攻撃者が埋め込んだ指示が含まれる可能性があります。たとえば、元の指示を無視して別の作業を実行するようモデルを誘導する文章です。正規のデータに悪意ある指示が混ざるため、単純なキーワード検出だけで全てのパターンを防ぐのは困難です。

既存の学習信号が粗い理由

防御モデルの訓練では、DPOやGRPOのような手法が使われます。しかし、そのフィードバックは回答全体の単位で与えられることが多く、回答の大部分が安全でも、一部に危険な判断があれば同じように扱われます。逆に、モデルはどのトークンや局所的な選択が失敗を招いたのかを把握しにくくなります。

論文は、この信用割り当ての粗さが、適応型プロンプトインジェクションへの弱さにつながると説明しています。攻撃者が表現を変え続けると、モデルは一般的な拒否パターンを覚えていても、注入が行動を乗っ取る具体的な生成経路を抑えられない可能性があります。

SecOPDの仕組み

Secure On-Policy Distillation（SecOPD）は、学習信号をトークン単位に細分化します。

• まず、注入を含むサンプルをモデルに与え、実際のrolloutを生成させます。
• 次に、対応するクリーンな入力を受けた初期モデルが、そのrolloutの各トークンを評価します。
• 得られた細粒度のスコアを使い、防御的ファインチューニングを行います。
• 攻撃を含む文脈からモデル自身が生成したrolloutを対象にすることで、静的な例だけでなく、攻撃時に現れうる挙動を学習対象にします。

つまり、回答全体に「誤り」というラベルを付けるのではなく、注入に関係する局所的な意思決定を抑制・調整しようとする方法です。

論文が示した結果

論文の報告によると、SecOPDで防御的に訓練したQwen3.6-27Bは、PISmithの適応型プロンプトインジェクションに対して9.0%の攻撃成功率を示しました。比較対象として示された従来の最先端手法Meta-SecAlignは94.0%でした。また、訓練時には完全に未知だったエージェントのツール呼び出し領域では、SecOPDが4.7%、Meta-SecAlignが5.5%でした。

この結果は、トークン単位の信号が、拒否文の暗記だけではなく、未知の実行環境への一般化にも役立つ可能性を示します。ツール呼び出しでは、モデルの出力が外部操作に直結しうるため、テキスト生成だけの失敗よりも防御の重要性が高くなります。

意義と注意点

SecOPDの要点は、プロンプトインジェクション防御を信用割り当ての問題として捉え直したことです。どの局所的な生成判断が攻撃を通したのかを学べれば、防御訓練をより狙いの定まったものにできる可能性があります。

一方、報告された数値は、特定のモデル、ベンチマーク、攻撃条件に基づく結果です。実運用での安全性を保証するものではありません。攻撃者の能力、ツール権限、コンテキスト設計、成功率の定義によって結果は変わり得ます。実際のエージェントでは、最小権限、実行前確認、外部データと命令の分離、ランタイム監視などを併用すべきです。コードとモデルが公開されているため、今後の再現実験と異なる環境での検証が重要になります。

出典：Hugging Face Daily Papers