返回文章列表

探测与操控,语言模型内部该用同一个方向吗?

阅读约 2 分钟

在语言模型的隐藏状态中找到一个“方向”,研究者既可以用它判断某个概念是否存在,也可以把它加回模型状态,试图让模型更倾向于某种行为。但这两种用途常被视作一回事:既然某方向能识别概念,似乎也该能有效推动模型表现出该概念。新研究指出,这种直觉并不可靠。

研究团队在三个不同模型家族的指令微调模型上,考察了真实性与情感两类概念。他们构造了一组连续变化的方向:一端是经过协方差调整的判别方向,另一端是两类样本的均值差方向。随后,研究分别衡量这些方向的探测能力,以及在固定副作用水平下,通过向隐藏状态加方向实现的操控效果。

核心发现有三点:

  • 在所有模型中,探测表现最好的方向都不是操控表现最好的方向。操控更偏好靠近均值差的一侧,说明“区分两类状态”与“推动状态改变”并非同一个优化目标。
  • 这一差别并非只出现在少数层:研究报告的层级扫描中,60个“层—模型—概念”组合有59个呈现探测与操控方向分离;在六个模型—概念组合中,使用匹配的探测文本和操控文本后,差异仍然存在。换用基于旋转的操控算子,结论也保持成立。
  • 操控的精确最优点并不稳定。情感任务中,某个中间方向一度比均值差方向带来高出27%至56%的操控效果;但换成匹配文本后,这一优势会缩小或消失,并且受层位置与操控算子影响。

跨模型迁移也呈现出不对称性。通过中性文本拟合线性映射后,迁移过去的探测方向保留了目标模型高于随机水平探测表现的81%至91%;相比之下,均值差方向迁移后的操控效果保留较少。现有摘要没有给出这部分更完整的量化细节,因此不宜据此推断具体迁移幅度。

这项工作提醒研究者,不应把可解释性探测器直接当作行为控制器。探测关注的是信息是否可读,操控关注的是干预能否造成目标变化,还要考虑副作用、层位置、文本选择和操作方式。对模型编辑与机制研究而言,向量的用途需要分别验证;一个方向“看得准”,并不意味着它“推得动”。

Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章