VLMに求められるのは、答えない部分を見極める能力

はじめに

優れた視覚言語モデル（VLM）は、どんな質問にも答えればよいわけではありません。画像に存在しない情報を推測せず、誤った前提を訂正し、現在の入力から判断できないことには不確実性を示し、実行できない操作や安全上問題のある依頼には適切に応じないことが求められます。

実際の利用で難しいのは、質問全体が回答可能か不可能かの二択ではないケースです。たとえば、画像に写っている物体について尋ねながら、画像からは分からない人物の私的情報も推測させる依頼が考えられます。この場合、理想的なモデルは質問全体を拒否するのではなく、確認できる部分に答え、残りを回答できない理由とともに切り分けます。

KoNAの設計

論文は、VLMの「選択的な非服従」を評価するKoNAベンチマークを提案しています。対象となるのは次の5分類です。

• 誤った前提：根拠のない、または事実と異なる前提を訂正する
• 視覚的アクセス不能：画像内に存在しない情報を補完しない
• 普遍的未知：与えられた視覚情報だけでは確定できない問いに断定しない
• タスクの実行可能性：モデルや入力の条件を超える操作を実行できるふりをしない
• 安全性：直接支援すべきでない依頼を拒否する

KoNAは、質問単位の非服従だけでなく、質問の構成要素単位の非服従も調べます。同じ問題のきっかけを単独の質問と、回答可能な内容を含む複合質問に組み込み、さらに完全に回答可能な対照質問も用意します。これにより、モデルが必要な部分だけを拒否したのか、それとも安全な内容まで一括して拒否したのかを見分けられます。

評価結果

複数のオープンおよびクローズドソースVLMを調べた結果、拒否、訂正、保留の判断にはまだ不安定さが残っていました。特に複合質問では、誤った前提に沿って推論を続けたり、画像から確認できない情報を作り出したりする傾向が目立ちます。反対に、問題のある構成要素が一つ含まれるだけで、答えられる部分まで拒否するケースもあります。

研究では、選択的な非服従を求めるKoNAの例と、完全に回答可能な例を使って小規模なオープンモデルを微調整しました。SFTの後にGRPOを適用した結果、非服従の正確さが大きく改善し、完全回答可能なタスクや一般ベンチマークでの性能も概ね維持されました。重要なのは拒否率を単純に上げることではなく、回答と拒否の境界を精密にすることです。

意義

この能力は、マルチモーダルアシスタント、画像質問応答、ツールを利用するエージェントにとって重要です。信頼できる応答は、直接回答、前提の訂正、根拠に基づく保留、安全上の拒否を一つの流れで組み合わせる必要があります。

KoNAは、質問全体を一つのラベルで評価する従来手法の限界も示します。複合質問を用いれば、モデルが答えすぎたのか、拒否しすぎたのかを区別できます。今後は、構成要素単位の教師データに加え、拒否の適切さ、回答可能部分のカバー率、主張と視覚的証拠の整合性を同時に測る評価が必要になりそうです。

要するに、VLMの進歩は知識量を増やすだけでは不十分です。画像、タスク、そしてモデル自身が正当化できる範囲を見極める能力も、同じように重要になります。

出典：Hugging Face Daily Papers