返回文章列表

OpenAI披露防范对抗性蒸馏的多层防线

阅读约 2 分钟

导语

模型蒸馏通常是让一个模型从另一个模型生成的数据中学习,但当能力被未经授权地转移、而安全措施没有一同迁移时,它就可能成为安全问题。OpenAI近日介绍了针对这类“对抗性蒸馏”的防护思路,特别关注模型内部推理轨迹被提取后用于训练其他系统的风险。

核心要点

  • 推理轨迹比最终答案更敏感。 用户可见的回答往往省略了解题过程中的细节;精确的内部推理记录则可能让学生模型获得更完整的技能。OpenAI的内部网络安全实验显示,使用精确推理轨迹进行监督微调的学生模型,整体上优于使用推理摘要训练的模型。经过一轮轻量强化学习后,结果会随推理预算而变化:在测试的较高预算下,精确轨迹组仍领先;较低预算时,摘要组得分更高。
  • 安全措施应覆盖一次请求的完整链路。 OpenAI称,防御包括针对诱导泄露的对抗训练、检查输入和输出的分类器,以及覆盖工具调用参数的输出检测。也就是说,模型最终回答没有泄露内容,并不代表中间的工具调用也安全。
  • 还要识别有组织的提取活动。 除单次交互外,公司会结合请求和账户层面的信号调查协同尝试,并将调查及自动化红队测试发现的攻击方式用于改进防护。API层控制则限制推理内容跨对话、账户、组织和模型系列复用。

OpenAI还报告了一项内部自适应测试:针对 GPT-6 Astra 原有防护的攻击成功率平均为54.0%,针对 GPT-6.2 Astra 更新防护时降至0.2%。这是公司披露的内部评估结果,不等同于独立第三方验证;素材也未提供完整测试方法和全部边界条件,因此不宜将这一数字直接外推到所有模型或攻击场景。

意义与影响

这套思路强调,防止能力被抽取不能只靠拒答规则。训练数据、推理过程、工具接口、账户行为和模型版本之间的关系都可能成为防护环节。尤其在网络安全和生物学等双重用途领域,能力迁移而安全控制未迁移,可能改变模型被使用的风险边界。

对行业而言,值得关注的是把模型层、接口层和活动调查连成闭环,并在保护内部推理的同时保留正常解释与协助能力。OpenAI的披露提供了一个防御框架,但其实际效果仍需结合更多独立评估和持续测试来判断。

OpenAI

评论

正在确认登录状态……

正在加载评论……

相关文章