多视角自验证：视觉语言模型何时该相信自己，何时需要重想

导语

视觉语言模型（VLM）已经能够处理图像问答、视觉推理等复杂任务，但“说得像真的”并不等于“答案正确”。当模型缺少外部评审者时，它通常只能依赖自身判断答案是否可靠；问题在于，单一验证标准或固定提示词很容易遗漏错误，也可能让验证结果随任务变化而波动。

论文《When to Rethink》提出了 MOTIVE，核心目标不是让模型无休止地反思，而是帮助它判断：当前答案是否值得直接采用，还是应该重新思考。

方法：从回答到决策

MOTIVE采用“回答—验证—接受或重想”的流程：

• 回答：模型根据图像和问题生成候选答案。
• 验证：同一个骨干视觉语言模型从五种互补视角检查候选答案。
• 决策：模型根据学习得到的可靠性分数，选择直接接受，或结合验证反馈与交互历史重新推理。

与依赖外部裁判模型的方案不同，MOTIVE在推理阶段让回答和验证使用同一骨干VLM。它的关键不只是增加验证次数，而是通过带有正确性标注的多视角验证学习，让验证结果形成更贴近答案正确性的可靠性估计。

为什么需要多视角验证

作者的分析指出，验证器能力越强，判断通常越可靠；但验证提示词对结果影响同样明显，不存在一个能够在所有任务上稳定占优的固定提示词。这意味着，单一检查角度可能只覆盖图像理解、逻辑一致性或答案表达中的某一部分。

MOTIVE因此将多个互补视角结合起来，并把最终分数用于“是否重想”的门控。高可靠答案可以直接返回，低可靠答案则触发有针对性的再推理，从而避免对每个问题都进行成本更高的反思。

实验结果与意义

论文在五个多模态基准和三个VLM骨干上进行评估。素材披露的结果表显示，Qwen2.5-VL-3B的平均准确率从55.11%提升至63.13%，提高8.02个百分点；Qwen2.5-VL-7B则从60.49%提升至68.63%，提高8.14个百分点。与此同时，MOTIVE相较传统自验证方法减少了平均答案生成轮次。

这项工作的价值在于，它把“自我纠错”进一步转化为“何时值得纠错”的决策问题。对于多模态系统而言，盲目增加思考轮次会带来推理成本，也可能放大原有错误；可靠性引导的选择机制则有机会在准确率与效率之间取得更好的平衡。不过，可靠性评分仍依赖训练数据、验证视角和具体任务，跨领域部署时仍需要持续检验。

来源：Hugging Face Daily Papers