SIVA-RL：让多模态强化学习更关注真实视觉证据

导语

多模态强化学习正在快速推进视觉语言模型的推理能力，但一个关键问题仍然存在：模型给出正确答案，并不代表它真的“看懂了图”。在可验证奖励强化学习（RLVR）框架中，训练信号往往来自最终答案是否正确，这对数学、逻辑或视觉问答任务很有用，却难以判断模型是否把预测建立在图像证据之上。

arXiv 新论文提出的 SIVA-RL，试图把这个问题拆得更细：不再简单假设某类图像扰动一定重要或一定无关，而是观察每个样本在干预前后的实际奖励变化，再决定该如何监督模型。

核心要点

• 问题背景：现有视觉干预方法通常会比较原图和修改图上的模型行为，但监督标签常由“用了什么干预操作”决定。论文指出，同一种操作在不同样本上可能产生完全不同的影响，因此这种做法并不稳定。
• 方法设计：SIVA-RL 使用 token 对齐、距离受限的图内 PatchSwap，构造局部视觉干预。它不是随意替换图像块，而是尽量让干预围绕与文本 token 相关的视觉区域发生。
• 审计机制：方法引入一个冻结的 audit policy，对干净图像与干预图像组成的样本对进行评分。若干预后奖励明显下降，说明该区域可能对答案关键；若奖励几乎不变，则说明干预可能不影响推理。
• 软路由监督：奖励大幅下降的样本对被用于“敏感性对齐”，鼓励模型对关键视觉证据保持敏感；奖励下降较低的样本对则进入以干净样本为锚点的“不变性对齐”；难以判断的样本会被降低权重。
• 兼容性：论文称 SIVA-RL 可以接入 GRPO 和 DAPO 两类强化学习骨干，而不是绑定到单一训练算法。

意义与影响

SIVA-RL 的主要价值在于把“构造干预”和“分配监督”解耦。过去的思路更像是先规定某个操作代表破坏或保持，再让模型按这个规则学习；SIVA-RL 则先观察干预到底造成了什么结果，再决定训练信号。这使得视觉对齐更接近样本级判断，也更适合处理复杂图像中的异质性。

论文报告称，在覆盖数学、逻辑和视觉依赖任务的九个多模态推理基准上，SIVA-RL 在 3B 与 7B 模型、GRPO 与 DAPO 配置中均超过匹配的 RL 基线；其中视觉依赖推理提升 8.79 个百分点，整体相对提升最高达到 14.9%。

如果这些结果能在更多模型和开放实现中复现，SIVA-RL 可能为多模态 RL 训练提供一个重要方向：不仅奖励“答对”，还要奖励模型以正确方式使用视觉证据。

来源：arXiv