See2Think：マルチモーダルモデルは本当に中間視覚状態を使っているのか

導入

近年のマルチモーダル大規模言語モデルは、推論の途中でスケッチを描いたり、画像に注釈を付けたり、ツールを呼び出して中間画像を作ったりするようになっています。こうした挙動は、一見するとモデルが「見ながら考えている」ように見えます。しかし、そこで生成された視覚状態が本当に後続の判断に使われているのか、それとも単にもっともらしい推論過程として出力されているだけなのかは、簡単には分かりません。

See2Think: Do Multimodal Models Really Use Intermediate Visual States? は、この問題を正面から扱う研究です。最終回答の正誤だけを見るのではなく、モデルがどのような視覚操作を選び、それがどのようにレンダリングされ、その後の推論がその視覚状態をどう利用したかを追跡します。

主要ポイント

• 結果ではなく過程を評価する：See2Think は See2ThinkBench と Visual Action-of-Thought（VAoT）で構成されます。VAoT はテキスト上の思考、視覚アクション、レンダリングされた状態、その後の推論を記録し、最終回答の背後にあるプロセスを分析できるようにします。
• 視覚依存性を重視したタスク：See2ThinkBench には 1200 問の自由回答形式の問題が含まれ、12 のタスクカテゴリをカバーします。対象は 2D 構造、3D シーン、現実世界の推論にまたがり、テキストだけで解けるサンプルを減らすことが意図されています。
• 万能な推論設定はない：代表的なプロプライエタリモデルとオープンソースモデルを評価した結果、視覚推論の性能はモデルと実行環境に強く依存し、すべてのタスクで一貫して最良となる設定は見られませんでした。
• 最大の課題は忠実なレンダリング：モデルはタスクに関連する視覚操作を選ぶことは比較的できる一方、その操作を正確で利用可能な中間視覚状態として描き出す点に課題が残ります。
• 介入により視覚状態への依存を確認：タスクに関係する破損フィードバックを与えると、制御された介入で精度が 10 パーセントポイント超低下しました。これは、中間視覚状態がモデルの振る舞いに影響し得ることを示しています。ただし、フィードバックを多く取り込むことが必ずしも精度向上につながるわけではありません。

意義と影響

See2Think の重要性は、マルチモーダル推論の評価を「最後に正解したか」から「どのように視覚情報を使ったか」へ移す点にあります。最終回答だけでは、モデルが視覚証拠に基づいて推論したのか、誤った途中過程にもかかわらず偶然正解したのか、あるいは視覚情報をほとんど使わなかったのかを区別できません。

モデル開発の観点では、改善すべき対象が言語推論能力だけではないことが示唆されます。中間画像を正確に生成・レンダリングし、それを後続推論に一貫して反映する仕組みが重要になります。評価設計の観点でも、視覚的思考やツール利用をうたうシステムには、アクション選択、視覚状態の品質、フィードバック利用まで含めた検証が必要です。

要するに See2Think は、中間視覚状態の可能性を否定しているのではありません。むしろ、それがモデルの振る舞いに影響することを示しつつ、現状では「適切な操作を選べること」と「正しく見て推論できること」の間にまだ大きな隔たりがあると指摘しています。

出典：Hugging Face Daily Papers