返回文章列表
AI 安全

OpenAI 披露 GPT-Red:用自动红队推动模型抗攻击自我改进

阅读约 2 分钟

导语

OpenAI 在最新安全文章中披露了 GPT-Red,一个用于自动化红队测试的内部模型。它的目标不是服务普通用户,而是像“攻击者模拟器”一样,在模型部署前尽可能发现提示注入等安全漏洞,再把这些攻击样本用于训练更稳健的生产模型。

核心要点

  • 红队测试正在成为扩展瓶颈。 随着模型能力提升,人工红队虽然仍然关键,但组织、执行和覆盖范围都有限,难以持续产出足够多、足够多样的对抗样本。
  • GPT-Red 采用自博弈强化学习。 在训练中,红队模型尝试诱导防守模型失效;防守模型则需要抵抗攻击并完成原始任务。防守者越强,GPT-Red 就必须寻找更隐蔽、更复杂的攻击方式。
  • 重点场景是提示注入。 OpenAI 特别强调,现代 AI 经常读取网页、邮件、文件、工具返回结果等第三方数据,这些位置都可能被嵌入恶意指令,诱导模型泄露数据或执行不该执行的操作。
  • GPT-Red 已用于训练 GPT-5.6。 OpenAI 称,GPT-Red 能攻击包括 GPT-5.5 在内的多个内部和生产模型;随后其生成的攻击被用于 GPT-5.6 的对抗训练,使 GPT-5.6 Sol 成为目前最抗提示注入的模型之一。在最难的直接提示注入基准上,相比四个月前最好的生产模型,失败次数减少到约六分之一。
  • 能力不会直接开放。 OpenAI 表示 GPT-Red 会与对外部署模型分离,以避免把专门训练出的攻击能力交到潜在滥用者手中。

意义与影响

GPT-Red 的重要性在于,它把安全红队从“上线前的一轮人工检查”推向了持续、自动化、可训练的流程。对于具备浏览器、文件系统、企业应用和工具调用能力的智能体来说,提示注入不再是边缘问题,而是实际部署中的核心风险。

不过,这种路线也带来新的治理问题:更强的自动攻击模型能显著提升防御训练质量,但如果泄露或被复现,也可能放大攻击者能力。因此,OpenAI 选择将 GPT-Red 保持为内部系统,并与人工红队、第三方测试、分层防护和实时监控并行使用。

从行业角度看,GPT-Red 代表了一种趋势:未来模型安全不只依赖规则过滤和上线审核,而会越来越多地依赖模型之间的对抗训练。谁能更快构建“强攻击者—强防守者”的闭环,谁就更有可能在智能体时代获得可靠性优势。

来源:OpenAI

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
Hugging Face 披露 AI 代理驱动入侵:防守方也必须进入“机器速度”
AI 安全
cctest.ai
AI 安全

Hugging Face 披露 AI 代理驱动入侵:防守方也必须进入“机器速度”

Hugging Face 披露一起生产基础设施入侵事件,称攻击由自主 AI 代理系统端到端执行,并利用数据处理链路中的代码执行路径取得初始立足点。事件凸显 AI 平台的数据与模型表面已成为关键攻击面,防守也需要可控的本地 AI 能力。

阅读全文
CCTest · Blog
AI 系统渗透测试需要从“攻破资源”转向“诱导行为失效”
AI 安全
cctest.ai
AI 安全

AI 系统渗透测试需要从“攻破资源”转向“诱导行为失效”

一篇 arXiv 论文提出,AI 赋能系统的渗透测试不能只看服务器、配置或权限是否被攻破,还要评估攻击者能否通过提示、检索内容、传感器输入或工具调用影响系统行为。其核心是把测试目标从资源 compromise 扩展到运营目标被违反。

阅读全文