SIVA-RL：正答だけでなく視覚証拠への依拠を促す多モーダル強化学習

導入

検証可能な報酬を用いる強化学習（RLVR）は、多モーダル推論モデルの性能向上に有効な手段として注目されています。しかし、最終回答が正しいからといって、視覚言語モデルが本当に画像の証拠を使って判断したとは限りません。テキストの手掛かりや事前知識だけで正答してしまう可能性もあります。

SIVA-RL は、この見落とされがちな問題に焦点を当てます。画像を改変したという事実だけで監督信号を決めるのではなく、各サンプルでその改変がどれだけ報酬に影響したかを見て学習方針を変えるのが特徴です。

核心ポイント

• 既存手法の課題：従来の視覚介入手法は、元画像と改変画像でのモデル挙動を比較しますが、しばしば介入オペレータの種類に基づいて監督を割り当てます。論文は、同じ操作でもサンプルごとに影響が異なるため、この前提は不十分だと指摘します。
• 局所的な介入：SIVA-RL は、token に対応し距離制約を持つ画像内 PatchSwap によって、局所的な視覚介入を構成します。テキストに関連する視覚領域の周辺で、より制御された改変を行う設計です。
• 監査ポリシー：凍結された audit policy が、クリーン画像と介入画像のペアを評価します。そこで観測された報酬低下が、学習サンプルを振り分けるソフトな重みになります。
• 感度と不変性：報酬が大きく下がるペアは、重要な視覚証拠への感度を高める訓練に使われます。報酬低下が小さいペアは、クリーンなサンプルを基準にした不変性アライメントに使われます。曖昧なペアの重みは下げられます。
• 既存 RL との接続：SIVA-RL は GRPO と DAPO の両方のバックボーンに対応するとされ、特定の単一アルゴリズムに閉じた提案ではありません。

意義と影響

SIVA-RL の重要な点は、「介入を作ること」と「その介入からどの監督信号を得るか」を切り離したことです。従来は、ある操作を行えば重要情報を壊した、あるいは意味を保った、と決め打ちしがちでした。SIVA-RL は、実際の報酬変化を観測してからサンプル単位で判断します。

論文によれば、数学、論理、視覚依存タスクを含む九つの多モーダル推論ベンチマークで、3B および 7B モデルが対応する RL ベースラインをすべての設定で上回りました。視覚依存推論では 8.79 ポイントの向上、GRPO・DAPO 構成全体では最大 14.9% の相対的な総合改善が報告されています。

今後、より広いモデルや実装で再現されれば、SIVA-RL は多モーダル RL において「正解する」だけでなく「画像証拠に基づいて正解する」ための有力な設計指針になり得ます。

出典：arXiv