导语
模型蒸馏常用于让较小模型从强模型的回答或判断中学习,但如果训练数据未经授权地集中收集,能力转移也可能绕过原模型的安全边界。OpenAI近日公布一组防护措施,重点是阻止外部请求套取模型的受保护推理内容,并识别有组织的提取活动。
核心要点
- 风险不只涉及知识产权。 OpenAI担心,学生模型可能从教师模型的输出中学会网络安全或生物领域的能力,却没有继承同等强度的限制。原模型拒绝提供的帮助,可能在防护较弱的模型上重新出现。
- 推理轨迹可能带来额外能力转移。 公司内部研究比较了以最终回答、推理摘要等内容训练的模型,与使用精确推理轨迹训练的模型。披露称,在相关网络安全与编程测试中,使用精确轨迹的学生模型在部分评估阶段表现更强。这说明仅隐藏最终答案未必足够,过程信息也可能成为高价值训练数据。
- 防护覆盖多个环节。 OpenAI称,模型经过对抗训练,以识别套取推理的请求;输入分类器用于发现可疑提示,输出分类器则检查回答及工具调用参数,必要时在内容送达调用方前拦截。相关检查也覆盖流式和非流式响应。
- API机制限制跨对话复用。 公司表示,已加强用户、工作区、组织和模型家族之间的隔离,并将受保护推理与生成它的对话历史绑定。若历史内容被改写,后续推理会被丢弃;防护较弱的旧模型家族也不能读取新模型的受保护推理。
- 从单次请求扩展到攻击活动。 除了逐条请求的检测,OpenAI还会结合请求与账户层面的信号调查协同提取行为,并把调查和自动化红队发现的问题用于改进防护。
公司称,在针对GPT-6.2 Astra的内部自适应评估中,提取模型此前回答所用受保护推理的攻击成功率,从原有防护下的54.0%降至更新防护后的0.2%。这是一项由OpenAI披露的内部测试结果,并非独立验证的行业基准;它也不能单独说明所有蒸馏攻击都已被阻止。
意义与影响
这项披露把模型蒸馏从商业与知识产权议题进一步推向安全治理:即使原始任务属于允许范围,海量过程数据也可能帮助学生模型泛化出更敏感的能力。对行业而言,防护不能只依赖模型拒答,还需要输出审查、工具调用检查、API隔离和对异常活动的调查相互补位。与此同时,如何在阻止推理提取的同时保留正常解释与开发者工作流,仍是实际部署中的平衡问题。OpenAI也表示将继续研究不同学生模型和训练方法下的能力转移幅度。
来源:Web Search
评论
正在确认登录状态……
正在加载评论……