VLMの視覚グラウンディングが安全上の盲点になる理由

導入：答えを拒否しても、場所を示してしまう

近年の視覚言語モデルは、文章を生成するだけでなく、画像中の点や領域、バウンディングボックスを出力します。こうした結果は、ユーザーが読むだけでなく、ソフトウェアエージェントやロボット、各種インターフェースがそのまま利用する可能性があります。

一方、モデルの安全性は長く、文章による質問応答を中心に評価されてきました。そのため、モデルが有害な内容を説明することは拒否しても、同じ意図を持つ依頼に対して対象の位置を示すことは拒否しない、という抜け道が生じます。『Visual Grounding Safety in Vision-Language Models』は、この問題を体系的に調べた研究です。

対応したリクエストで比較

研究者は、直接的な危害を扱うVLSU、社会的バイアスを扱うBBQ-V、状況的安全性を扱うAsimov-2.0を再構成しました。同じ画像と有害な意図を保ったまま、一方は自由記述のVQA回答、もう一方は点またはバウンディングボックスの出力を求める対応ペアにしています。合計15401組を、五つの視覚言語モデルで評価しました。

主な結果は次の通りです。

• 分野によって、グラウンディングの拒否率はVQAより31～59ポイント低かった。
• 安全性を指示するシステムプロンプトだけでは、この差を解消できなかった。
• 座標や領域は、危険な説明文がなくても、下流システムにとって実行可能な標的になり得る。
• 文章出力で学習した拒否行動は、構造化された視覚出力へ自動的には移らない。

つまり、点や箱は単なる表示形式の違いではありません。自動化された処理系では、短い構造化出力がそのまま次の行動を指定することがあります。

専用データで安全性を学習

研究では、三種類のデータを組み合わせた微調整方法が提案されています。第一は、グラウンディング依頼と同じ形式で拒否する例です。これにより、モデルは位置を求められた場合にも拒否を選択肢として学習できます。第二は通常のグラウンディング能力データで、正当な対象の位置特定能力を維持します。第三は自己蒸留した良性データで、無害な依頼まで過剰に拒否することを抑えます。

Qwen3-VL-8BとVisionReasoner-7Bでは、VLSUおよびBBQ-Vにおけるグラウンディング拒否が77～95ポイント改善しました。学習時の主要対象ではないAsimov-2.0でも64～85ポイントの改善が報告されています。また、VQAの拒否性能も向上し、グラウンディング能力を保ちながら過剰拒否を限定できたとされています。

表現分析では、有害な依頼がモデル固有の拒否方向に近づき、とくにグラウンディングで変化が強くなりました。一方、良性の依頼は無害な参照位置の近くにとどまりました。安全性を高めるだけでなく、すべてを拒否しないことを狙った設計だと分かります。

意義と影響

マルチモーダルエージェントやロボットを評価する際、文章だけの拒否率では不十分です。点、領域、ボックスなど、モデルが世界に影響を与えられる全ての出力経路を確認する必要があります。VQAと複数のグラウンディング形式を対応比較する方法は、その不整合を見つける有効な手がかりになります。

今後の安全アライメントでは、モデルが何を言わないかだけでなく、何をマークしないか、どこを示さないか、どの行動を誘発しないかまで検討する必要があります。

出典：Hugging Face Daily Papers