返回文章列表

训练数据被删掉,模型能力就不会出现吗?研究给出警示

阅读约 2 分钟

如果开发者从训练语料中删去某类内容,模型是否就不会掌握相关能力?这项研究给出的答案更谨慎:移除特定训练信号可以拖慢能力形成,但模型从其他数据中获得的整体进步,可能会补上部分缺口。因而,“没有见过这类数据”不等于“永远学不会”。

核心发现

研究者在多种任务中隐藏了特定技能的训练信号,覆盖棋类、奥赛罗、分子字符串、括号语言和网页文本。研究观察到,较大模型中某项技能被延迟的程度,可以由较小模型的表现预测。这意味着,规模扩展并不必然消除延迟,但延迟本身可能具有可预测性。

更值得注意的是,模型有时会在没有直接训练目标的情况下表现出接近相关技能的行为。例如,一个从未被明确训练去应对“将军”的棋类模型,对合法应对着法的排序能力几乎接近接受过相应训练的模型。这并不意味着它完整掌握了该技能,而是说明其他训练可能已经提供了有用的基础。

当研究者之后补入被扣留的数据,模型用远少于从头训练所需的数据就学会了相关技能;模型在其他数据上进步越多,重新获得技能所需的数据比例越低。作为对照,研究还测试了一条难度相当、但与已有知识无关的规则,模型学习它的速度明显更慢。类似现象也出现在规模更大的语言模型中:一款7B参数模型的训练文本中曾排除一种编程语言,后来接触相关数据后,模型以相似方式恢复了能力。

对安全治理的意义

这些结果为“能力延迟”提供了证据,却不能直接证明任何被过滤的能力都会自行出现,也不能据此断言所有模型和任务都遵循相同规律。研究涉及多种受控任务,现有材料没有提供完整实验细节,因此结论应理解为一种值得关注的风险,而不是普遍定律。

对模型开发者而言,过滤数据仍可能有价值:它可以降低特定能力在训练过程中的形成速度,或减少模型直接接触相关内容的机会。但若治理目标是避免某种能力被滥用,仅删除数据可能不足以构成可靠保障。还需要在不同模型规模和训练阶段持续评测相关能力,并关注模型从其他知识中迁移、组合出技能的可能性。核心提醒是,训练数据管理影响能力发展的路径,却未必能单独决定能力的最终边界。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章