Evidence-RL：VLMに「画像証拠にもとづく回答」を促す新手法

導入

視覚言語モデル（VLM）は、画像に関する質問へ自然に答えられるようになっています。しかし、答えが正しいことと、モデルが画像を正しく見ていることは同じではありません。モデルは、言語的な事前知識、データセット中の偏り、あるいは画像内の無関係な背景情報に頼って正答している可能性があります。

Evidence-RL: Towards Evidence-intensive Visual Reasoning は、この問題を正面から扱います。目的は、VLM が単に正しい答えを出すだけでなく、その答えが画像内の具体的な局所証拠に支えられている状態へ近づけることです。

核心となる考え方

提案手法の中心は Counterfactual Evidence Disentanglement（CED） です。CED は訓練時に働く証拠監査の仕組みで、モデルの回答が本当に証拠領域に依存しているかを反事実的に調べます。

• 正解だけでなく根拠を見る：モデルが答えを当てたとしても、その根拠が画像中の適切な対象にあるかを評価します。
• 対象中心の証拠領域を扱う：弱い object-level proposal を使い、回答を支えると考えられる Evidence Region を設定します。
• 証拠領域を中和する：その領域を中和したとき、モデルの元回答への支持がどれだけ下がるかを観察します。
• 非証拠領域と比較する：同様に選ばれた非証拠領域を処理した場合と比較し、単なる摂動への弱さではなく、証拠への依存を捉えようとします。
• GRPO に組み込む：回答の正しさと CED の信号を組み合わせ、正しく、かつ証拠経路に基づく回答を報酬化します。

意義と影響

この研究の重要性は、VLM の grounding をより因果的に扱おうとしている点にあります。従来の知覚重視の後訓練手法では、画像全体への摂動や attention による代理指標を用いることが多くありました。しかし、それだけでは、特定の回答が本当に局所的な証拠に支えられているとは言い切れません。

CED は、証拠領域を取り除いたときに回答の支持が大きく低下し、類似した非証拠領域では同じ低下が起きにくい、という比較を通じてモデルの根拠を監査します。これは、細粒度の画像質問応答、シーン理解、視覚的推論など、背景相関や言語的ショートカットが問題になりやすいタスクで特に意味があります。

論文によれば、Evidence-RL は 9 つの公開ベンチマークと 4 種類のバックボーンで、既存の RL ベース後訓練手法を上回ったとされています。また、対象中心の信号が有効であることも追加分析で確認されています。さらに、質問ごとの証拠アノテーションを必要とせず、推論時の追加コストも発生しない点は実用面で大きな利点です。

一方で、弱い object-level proposal に依存する以上、候補領域の品質が監査信号に影響する可能性はあります。それでも本研究は、マルチモーダルモデルの訓練目標を「正解する」から「正しい証拠に基づいて正解する」へ進める試みとして注目できます。

出典：Hugging Face Daily Papers