OpenAI 披露 GPT-Red:用自动红队推动模型抗攻击自我改进
导语
OpenAI 在最新安全文章中披露了 GPT-Red,一个用于自动化红队测试的内部模型。它的目标不是服务普通用户,而是像“攻击者模拟器”一样,在模型部署前尽可能发现提示注入等安全漏洞,再把这些攻击样本用于训练更稳健的生产模型。
核心要点
- 红队测试正在成为扩展瓶颈。 随着模型能力提升,人工红队虽然仍然关键,但组织、执行和覆盖范围都有限,难以持续产出足够多、足够多样的对抗样本。
- GPT-Red 采用自博弈强化学习。 在训练中,红队模型尝试诱导防守模型失效;防守模型则需要抵抗攻击并完成原始任务。防守者越强,GPT-Red 就必须寻找更隐蔽、更复杂的攻击方式。
- 重点场景是提示注入。 OpenAI 特别强调,现代 AI 经常读取网页、邮件、文件、工具返回结果等第三方数据,这些位置都可能被嵌入恶意指令,诱导模型泄露数据或执行不该执行的操作。
- GPT-Red 已用于训练 GPT-5.6。 OpenAI 称,GPT-Red 能攻击包括 GPT-5.5 在内的多个内部和生产模型;随后其生成的攻击被用于 GPT-5.6 的对抗训练,使 GPT-5.6 Sol 成为目前最抗提示注入的模型之一。在最难的直接提示注入基准上,相比四个月前最好的生产模型,失败次数减少到约六分之一。
- 能力不会直接开放。 OpenAI 表示 GPT-Red 会与对外部署模型分离,以避免把专门训练出的攻击能力交到潜在滥用者手中。
意义与影响
GPT-Red 的重要性在于,它把安全红队从“上线前的一轮人工检查”推向了持续、自动化、可训练的流程。对于具备浏览器、文件系统、企业应用和工具调用能力的智能体来说,提示注入不再是边缘问题,而是实际部署中的核心风险。
不过,这种路线也带来新的治理问题:更强的自动攻击模型能显著提升防御训练质量,但如果泄露或被复现,也可能放大攻击者能力。因此,OpenAI 选择将 GPT-Red 保持为内部系统,并与人工红队、第三方测试、分层防护和实时监控并行使用。
从行业角度看,GPT-Red 代表了一种趋势:未来模型安全不只依赖规则过滤和上线审核,而会越来越多地依赖模型之间的对抗训练。谁能更快构建“强攻击者—强防守者”的闭环,谁就更有可能在智能体时代获得可靠性优势。
来源:OpenAI
评论
正在确认登录状态……
正在加载评论……