AI時代のペネトレーションテストは「侵害」から「行動の失敗」へ

導入

従来のペネトレーションテストは、攻撃者がソフトウェアの脆弱性、インフラ、設定ミス、運用上の弱点を悪用し、権限取得やデータ窃取などのセキュリティ上の侵害を達成できるかを調べるものだった。しかし、AI 搭載システムではそれだけでは不十分だと、arXiv の論文 Rethinking Penetration Testing for AI-Enabled Systems は指摘する。

AI が業務上の判断や行動に実質的な影響を持つ場合、攻撃者はサーバーを乗っ取らなくても、プロンプト、検索結果、センサー入力、訓練データ、メモリ、ツール、人間との対話ループを通じてシステムの振る舞いを変えられる可能性がある。つまり、問題は「侵害されたか」だけではなく、「AI による行動が運用目標を破ったか」になる。

主なポイント

• 攻撃面はインフラの外にも広がる。 論文は、プロンプトインジェクション、間接プロンプトインジェクション、データポイズニング、検索汚染、センサー操作、ツール誤用、エージェント的なミスアラインメントを評価対象に含めるべきだとする。
• 成功条件は運用目標で定義される。 著者らは AI 搭載システムを、学習モデルが運用上の結果に影響する行動を実質的に左右するシステムと定義する。そのうえで、AI 搭載システムへの侵入を、明示的な脅威モデルの下で AI に統治された行動を誘導し、1つ以上の運用目標を違反させることと捉える。
• 従来型テストは残る。 脆弱性検査、設定確認、アクセス制御の検証は引き続き重要である。ただし、それだけでは AI 固有の行動リスクを十分に評価できない。
• 証拠に基づくシナリオテストが必要。 提案された手順は、運用目標の特定、AI が支配する行動のマッピング、攻撃者が影響を与えられる面の分析、行動失敗基準の定義、シナリオベースの実行、そして攻撃から目標違反までの証拠提示で構成される。

意義と影響

この考え方は、RAG システム、AI アシスタント、セキュリティ運用支援、業務自動化エージェントが実環境に導入されるほど重要になる。攻撃者は必ずしも認証情報を盗んだり、サーバーを支配したりする必要はない。汚染された文書を検索結果に混ぜる、間接的な指示を埋め込む、入力を操作する、あるいは不適切なツール呼び出しを誘発するだけで、システムを目的から外れた行動へ導けるかもしれない。

企業にとっての示唆は明確だ。AI のペネトレーションテストは、単なる脆弱性リストではなく、攻撃者の行為、AI の行動変化、そしてそれがどの運用目標に反したのかを説明できなければならない。AI の安全性評価は、モデル単体の出力検査から、実際の業務文脈における行動評価へ移りつつある。

出典：arXiv