SkillJack：自己進化型エージェントに残り続ける「スキル型バックドア」

導入

自己進化型エージェントは、過去の対話や作業履歴を単なるログとして保存するだけでなく、将来のタスクで再利用できる「スキル」として整理する。これにより、同じような問題に直面したとき、毎回ゼロから推論するのではなく、蓄積した手順や知識を呼び出せる。論文 SkillJack: Persistent Skill Backdoors in Self-Evolving Agents は、この便利な仕組みそのものが新しい攻撃面になり得ると指摘している。

従来のメモリ汚染や検索汚染では、悪意ある記録が実行時のコンテキストに取り込まれたときに攻撃が成立する。SkillJack はそれとは異なり、エージェントが経験を要約し、スキルへ変換する学習プロセスを狙う。つまり、一時的な悪意ある経験が、長く残る再利用可能な能力へ変わってしまう可能性がある。

主要ポイント

• 攻撃対象は実行時コンテキストではなく学習パイプライン：SkillJack は、エージェントが経験から何を学び、どのようにスキルとして保存するかを悪用する。
• スキル抽出が悪意を見えにくくする：論文はこれを “sanitization whitewashing” と呼ぶ。抽出過程で有害な意図が抽象化・言い換え・一般化され、最終的なスキルだけを見ると安全な手順のように見える場合がある。
• 一時的な経験が永続的な能力へ昇格する：研究では “cross-layer promotion” と表現されている。単発の汚染された軌跡が、スキル層に組み込まれ、将来も呼び出される能力になる。
• 元データを削除してもリスクが残る：いったんバックドアがスキルリポジトリに入ると、元の汚染記録を削除しても振る舞いが残る可能性がある。論文はこれを “persistence isolation” と呼んでいる。
• 検出は大きく難しくなる：研究では SkillX と Anything2Skill を対象に、4種類のポリシーリスクを含む 150 の軌跡で評価した。SkillX では、汚染軌跡に対する安全検出率は 98.5% だったが、抽出されたスキルでは 11.4% に低下した。一方で、埋め込まれたスキルの攻撃成功率は、2つのシステムでそれぞれ 56.2% と 89.2% と報告されている。

意義と影響

この研究が示す重要な点は、エージェントの安全対策を実行時のプロンプトやメモリ検索だけに限定できないということだ。エージェントが経験をスキルへ変換するなら、経験の出所、抽出過程、スキルの承認、更新履歴、削除やロールバックまで含めたライフサイクル全体を監視する必要がある。

特に、企業向けの長期稼働エージェント、コード生成エージェント、自動化エージェント、個人アシスタントでは、手順や習慣が時間とともに蓄積される。もし有害な行動がその中に混ざれば、単なる一時的なミスではなく、エージェントの標準的な振る舞いとして再利用される恐れがある。

SkillJack は、自己改善するエージェントほど安全設計が難しくなることを示している。今後は、コンテンツフィルタだけでなく、スキルの来歴管理、監査、隔離、失効、継続的な検査を含む仕組みが必要になるだろう。

出典：Hugging Face Daily Papers