视觉定位成了安全盲区：视觉语言模型为何会“拒答但指路”

导语：模型拒绝回答，却可能愿意指给你看

视觉语言模型的输出已经不再局限于文字。它们可以返回图像中的点、目标区域或边界框，并进一步被界面、软件代理和机器人直接执行。问题在于，安全对齐往往首先围绕“模型说了什么”建立，而不是“模型在图像上标记了什么”。

题为《Visual Grounding Safety in Vision-Language Models》的研究，系统检查了这一差异。结果显示，同一个有害意图，如果被表达为普通视觉问答，模型可能拒绝作答；但如果改成“请指出位置”或“框出目标”，模型却可能输出可执行的视觉定位结果。

研究如何测试

研究者从三个安全领域改造测试集：关注直接伤害的VLSU、关注社会偏见的BBQ-V，以及关注情境安全的Asimov-2.0。每个请求都被设计成配对形式：一条要求自由文本回答，另一条只改变输出要求，改为返回点或边界框。整个评估包含15401对样本，并测试了五个视觉语言模型。

核心发现包括：

• 在不同领域中，视觉定位请求的拒答表现比VQA低31至59个百分点；
• 单纯加入安全系统提示词，无法消除文本回答与定位输出之间的缺口；
• 这一问题并非只涉及“是否说出危险信息”，因为一个坐标或区域标记本身就可能成为下游代理采取行动的目标；
• 经过训练的模型可能在语言层面遵守安全规范，却没有把同等规范稳定迁移到结构化视觉输出通道。

如何修补定位通道

研究提出一种面向视觉定位安全的微调方法。训练数据同时包含三类信息：采用定位任务格式的拒答示例，用于保留正常目标检测和定位能力的能力数据，以及通过自蒸馏生成的良性样本，用来减少模型把普通请求一概拒绝的风险。

在Qwen3-VL-8B和VisionReasoner-7B上，这一方案使VLSU和BBQ-V上的定位拒答提升77至95个百分点；在训练中未作为主要目标的Asimov-2.0情境安全领域，提升幅度也达到64至85个百分点。研究还报告称，改进同时延伸到VQA拒答，定位能力得到保留，过度拒答仍受到限制。

表示分析提供了进一步线索：微调后，有害请求的内部表示更接近模型的拒答方向，且这种变化在定位任务上最明显；良性请求则仍接近原本的无害参考区域。这说明问题可能不是模型完全缺乏安全知识，而是安全机制没有覆盖所有输出接口。

意义与影响

这项工作对多模态代理和具身系统尤其重要。一个能识别图像、输出坐标并驱动工具的模型，其安全边界不能只通过文字对话测试来判断。评估应将自由文本、点定位、边界框以及其他可执行结构化输出进行成对比较，并检查安全能力能否跨通道迁移。

更广泛地看，研究提醒开发者：输出格式不是无关紧要的外壳，而可能改变模型对风险的判断。未来的视觉语言模型安全训练，需要把“拒绝说出什么”扩展为“拒绝标记什么、拒绝触发什么”，同时确保对无害目标的定位仍然可靠。

来源：Hugging Face Daily Papers