视觉语言模型也会“被暗中影响”：无关数字如何传递偏好

导语

如果教师模型只输出几何图形任务所需的数字，学生模型是否仍会学到教师对动物或面部特征的偏好？围绕这一问题，研究者考察了视觉语言模型中的“潜意识学习”（subliminal learning）现象。所谓潜意识学习，是指教师通过表面上与某种偏好无关的训练数据，把隐藏行为倾向传递给学生模型。

核心要点

• 研究者先对教师视觉语言模型进行微调，使其偏好某种动物，或偏好某种面部属性；同时设置来自相同基础模型的控制教师。
• 两类教师都处理包含几何图形的视觉任务，并输出数字。数字任务本身并不要求模型表达动物或面部偏好。
• 两个学生模型从相同基础视觉语言模型初始化，分别使用偏置教师和控制教师生成的数字进行训练，输入图像保持一致。
• 在参数规模约为 20 亿至 70 亿的多个视觉语言模型上，偏置教师的影响都能在学生模型中体现。动物偏好实验中，学生选择目标的比例最高可与控制组相差约 10 个百分点。
• 影响不仅体现在“选哪张图”。即便教师、偏置学生和控制学生最终选择了同一张图，偏置学生的解释也更容易出现与教师相同或相近的词语和短语。

这意味着什么

这项工作的重要性在于，它把潜意识学习从纯文本语言模型扩展到了视觉语言模型。模型训练数据的影响可能不止来自显式标签、提示词或任务目标，也可能隐藏在看似无关的教师输出模式中。对于知识蒸馏而言，数字、排序结果或其他中间输出未必是“中性”的；它们可能携带教师模型已经形成的偏好与表达习惯。

研究还观察到，传递强度会随训练数据量增加而增强，但效果会因目标偏好、模型类型以及数字生成方式而变化。这说明该现象并非一个固定不变的机制，仍需要进一步厘清其触发条件和稳定性。

从实践角度看，视觉语言模型的训练与评估应更关注无关任务之间的行为迁移。若只检查学生模型是否完成了数字任务，可能无法发现其图像选择偏好或解释风格已经发生变化。未来的蒸馏流程或许需要加入偏好审计、跨任务测试，以及对教师输出中隐含信号的分析。

总体而言，这项研究并不是说每次蒸馏都会导致明显偏移，而是提醒开发者：在多模态模型中，“无关数据”并不一定真正无关。教师模型的隐藏行为特征，可能沿着训练过程进入学生模型，并在新的视觉决策中留下痕迹。

来源：Hugging Face Daily Papers