OpenAIのGPT-Redとは何か：自動レッドチームでAIの堅牢性を高める試み

導入

OpenAIは、安全性研究として GPT-Red を発表した。これは一般ユーザー向けの製品ではなく、モデルを公開する前に脆弱性を探すための内部向け自動レッドチームモデルである。特に重視されているのは、外部データに埋め込まれた悪意ある指示でモデルの挙動を変えるプロンプトインジェクションだ。

主要ポイント

• 人手のレッドチームには限界がある。 OpenAIは、人間による検証は重要だとしつつも、設計と実行に時間がかかり、訓練に必要な大量かつ多様な攻撃例を継続的に作るには不足すると説明している。
• GPT-Redは自己対戦で訓練される。 攻撃側のGPT-Redは有効な失敗を引き出すと報酬を得る。一方、防御側モデルは攻撃を拒みながら本来のタスクを完了することで報酬を得る。防御側が強くなるほど、GPT-Redもより高度な攻撃を探す必要がある。
• 現実的な利用環境を想定している。 Webページ、メール、ローカルファイル、ツール出力、接続アプリなど、AIが第三者データを読む場面は増えている。そこに隠れた命令が含まれると、機密情報の送信や不適切な操作につながる可能性がある。
• GPT-5.6の訓練にも使われた。 OpenAIによれば、GPT-RedはGPT-5.5までの複数の内部モデルや本番モデルを攻撃できた。その後、GPT-Redが生成したプロンプトインジェクションをGPT-5.6の対抗訓練に使い、GPT-5.6 Solは同社の最も難しい直接プロンプトインジェクション基準で、4か月前の最良本番モデルより失敗回数を6分の1に減らしたという。
• 攻撃能力は公開しない。 OpenAIは、GPT-Redを展開モデルから分離し、意図的に訓練された悪用可能な能力が外部に出ないようにするとしている。

意味と影響

GPT-Redが示しているのは、AI安全性の検証が一度きりのリリース前チェックから、継続的な訓練ループへ移りつつあるということだ。特に、ブラウザ操作、ファイル検索、ツール呼び出し、業務アプリ連携を行うエージェント型AIでは、プロンプトインジェクションは実運用上の大きなリスクになる。

同時に、この手法には慎重な管理が必要だ。強力な自動攻撃モデルは防御訓練を改善するが、外部に流出すれば攻撃者にも有用になり得る。そのためOpenAIは、GPT-Redを内部利用に限定し、人間のレッドチーム、第三者評価、多層防御、リアルタイム監視と組み合わせる方針を示している。

業界全体で見れば、今後の安全なAIエージェント開発では、攻撃シミュレーションと防御訓練をどれだけ高速に回せるかが重要な競争軸になりそうだ。

出典：OpenAI