視覚言語モデルはいつ答えを信じ、いつ考え直すべきか

はじめに

視覚言語モデル（VLM）は、画像質問応答やマルチモーダル推論で高い性能を示しています。しかし、流暢で整った回答が正しいとは限りません。画像中の細部を見落としたり、誤った推論をもっともらしく説明したりするケースは依然として存在します。外部の判定モデルを使わない場合、モデル自身が自分の回答を信頼できるか判断しなければなりません。

論文「When to Rethink」は、この課題に対して MOTIVE を提案しました。狙いは、すべての回答を何度も考え直させることではなく、現在の回答をそのまま採用できるのか、それとも追加の推論が必要なのかを選ばせることです。

回答、検証、判断

MOTIVEの処理は「回答—検証—受け入れまたは再思考」という流れで構成されます。

• 回答：画像と質問から候補回答を生成します。
• 検証：同じ基盤VLMが、五つの相補的な視点から候補回答を確認します。
• 判断：学習された信頼性スコアに基づき、回答を返すか、検証結果と対話履歴を使って再推論します。

推論時に外部の裁判役モデルを必要としない点も特徴です。回答生成と検証には同じ基盤モデルを使います。重要なのは、検証回数を単純に増やすことではありません。正解性を教師信号として利用する多視点検証学習により、回答の正しさに近い信頼性推定を学習します。

なぜ複数の検証視点が必要なのか

著者らの分析では、検証器の能力が高いほど判断は信頼しやすくなります。一方、検証用プロンプトの選択にも大きく左右され、あらゆるタスクで一貫して最良となる単一プロンプトは確認されませんでした。

つまり、固定された一つの確認指示だけでは、視覚的な見落とし、論理の不整合、回答形式の問題などを十分に捉えられない可能性があります。MOTIVEは異なる検証視点を組み合わせ、その結果を信頼性スコアにまとめます。スコアが高ければ直接回答し、確信が低ければ履歴を参照した再思考を起動します。

結果と意義

評価は五つのマルチモーダルベンチマークと三つのVLM基盤で行われました。素材に示された結果では、Qwen2.5-VL-3Bの平均精度が55.11%から63.13%へ、8.02ポイント向上しました。Qwen2.5-VL-7Bでは60.49%から68.63%へ、8.14ポイント上昇しています。また、従来の自己検証と比べ、平均の回答生成ターン数も少なくなりました。

この研究の意義は、自己修正を「常に考え直す」仕組みから「考え直すべき時を選ぶ」仕組みへ変えた点にあります。無条件の再推論は計算コストを増やし、場合によってはモデルの誤りを強化する可能性があります。信頼性に基づく選択は、精度と効率の両立に向けた実用的な方向性です。ただし、信頼性推定は学習データや検証視点、タスク分布に依存するため、異なる領域での継続的な検証は必要です。

出典：Hugging Face Daily Papers