不依赖多模态有害数据，MARS尝试用文本拒答方向守护视觉语言模型

多模态大语言模型能够理解图片和视频，也因此面临比纯文本模型更复杂的安全挑战。现有安全对齐通常需要收集包含图像、视频等模态的有害样本，再通过后训练或激活控制让模型学会拒绝。这类数据不仅昂贵、难以覆盖所有模态，也涉及收集、分发和使用上的伦理与法律问题。

一篇发表于 Hugging Face Daily Papers 的研究《Harnessing Textual Refusal Directions for Multimodal Safety》提出了一个不同的思路：如果拒答并非只存在于文字表面，而是对应语言模型内部较稳定的表示方向，那么从文本数据中提取的拒答方向，是否也能迁移到图像和视频输入上？研究的初步结果给出了肯定答案，但也指出这种迁移并不是自动成立的。

核心要点

• 文本拒答方向可以跨模态使用。 研究者直接从多模态模型所依赖的语言模型骨干中提取拒答相关方向，再将其注入模型激活，而不是为每种模态重新准备一套有害安全数据。
• 迁移效果取决于多个条件。 干预层的位置、 steering 强度以及不同模态表示之间的对齐程度，都会影响最终表现。跨模态表示错位尤其可能让安全输入被错误地推向拒答。
• MARS试图减少误伤。 Modality-Agnostic Refusal Steering 通过激活居中修正模态偏移，在几何定义的信任区域内自适应调整引导强度，并选择更合适的干预层。它在模型生成第一个 token 时执行控制，因此无需额外训练。
• 安全与可用性需要同时衡量。 研究在五个先进多模态大模型上，从安全、效用和视频越狱等维度进行评估。结果显示，MARS总体带来稳定的安全收益，并在出现过度拒答之前较好地保持了模型效用。

为什么值得关注

MARS的价值不只是提出一种轻量级技巧。它支持一个更值得继续验证的假设：不同模态的安全相关结构，可能已经部分共享于多模态模型的语言骨干中。如果这一假设在更多架构、任务和风险类型上成立，安全对齐就不一定需要为文本、图像、视频分别建立完整的数据管线。

不过，研究也清楚表明，拒答方向并不等于完整的安全理解。过强的引导可能损害正常任务表现，模态之间的表示错位也会造成误拒答；而在视频场景中，风险还涉及时间变化和上下文组合。因而，MARS更适合作为一种训练外的安全增强机制，而不是替代数据驱动的安全评测与对齐。

从工程角度看，这种方法的吸引力在于部署成本较低，并且可以在不改动模型参数的前提下进行干预。未来需要进一步观察它在不同模型家族、更多真实场景以及细粒度安全策略中的稳定性，尤其是如何从简单拒答走向更准确的风险判断和建设性回应。

来源：Hugging Face Daily Papers