返回文章列表
AI 安全

OpenAI 披露 GPT-Red:用自动红队推动模型抗攻击自我改进

阅读约 2 分钟

导语

OpenAI 在最新安全文章中披露了 GPT-Red,一个用于自动化红队测试的内部模型。它的目标不是服务普通用户,而是像“攻击者模拟器”一样,在模型部署前尽可能发现提示注入等安全漏洞,再把这些攻击样本用于训练更稳健的生产模型。

核心要点

  • 红队测试正在成为扩展瓶颈。 随着模型能力提升,人工红队虽然仍然关键,但组织、执行和覆盖范围都有限,难以持续产出足够多、足够多样的对抗样本。
  • GPT-Red 采用自博弈强化学习。 在训练中,红队模型尝试诱导防守模型失效;防守模型则需要抵抗攻击并完成原始任务。防守者越强,GPT-Red 就必须寻找更隐蔽、更复杂的攻击方式。
  • 重点场景是提示注入。 OpenAI 特别强调,现代 AI 经常读取网页、邮件、文件、工具返回结果等第三方数据,这些位置都可能被嵌入恶意指令,诱导模型泄露数据或执行不该执行的操作。
  • GPT-Red 已用于训练 GPT-5.6。 OpenAI 称,GPT-Red 能攻击包括 GPT-5.5 在内的多个内部和生产模型;随后其生成的攻击被用于 GPT-5.6 的对抗训练,使 GPT-5.6 Sol 成为目前最抗提示注入的模型之一。在最难的直接提示注入基准上,相比四个月前最好的生产模型,失败次数减少到约六分之一。
  • 能力不会直接开放。 OpenAI 表示 GPT-Red 会与对外部署模型分离,以避免把专门训练出的攻击能力交到潜在滥用者手中。

意义与影响

GPT-Red 的重要性在于,它把安全红队从“上线前的一轮人工检查”推向了持续、自动化、可训练的流程。对于具备浏览器、文件系统、企业应用和工具调用能力的智能体来说,提示注入不再是边缘问题,而是实际部署中的核心风险。

不过,这种路线也带来新的治理问题:更强的自动攻击模型能显著提升防御训练质量,但如果泄露或被复现,也可能放大攻击者能力。因此,OpenAI 选择将 GPT-Red 保持为内部系统,并与人工红队、第三方测试、分层防护和实时监控并行使用。

从行业角度看,GPT-Red 代表了一种趋势:未来模型安全不只依赖规则过滤和上线审核,而会越来越多地依赖模型之间的对抗训练。谁能更快构建“强攻击者—强防守者”的闭环,谁就更有可能在智能体时代获得可靠性优势。

来源:OpenAI

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
当智能体学会“像你一样说话”:Persona Skills 的隐私与冒充风险
AI 安全
cctest.ai
AI 安全

当智能体学会“像你一样说话”:Persona Skills 的隐私与冒充风险

这篇论文提出 AntiSkillBench,用于评估个人化技能在蒸馏、复用和部署过程中可能带来的隐私泄露与行为冒充风险。研究显示,风险不只来自显性个人信息,还会延伸到沟通风格、性格特征等更难界定的身份信号。

阅读全文