認識を超える視覚推論：HSSがマルチモーダルモデルの直感を測る

導入

人間が場面を見るとき、目に映った物体を数えているだけではありません。一瞬のうちに、何が起きたのか、次に何が起こりそうか、車が狭い隙間を通れるか、部屋の中で誰が主導権を持っているかまで推測します。こうした判断は意識的な分析をほとんど必要とせず、日常の移動、協力、対人コミュニケーションを支えています。

論文「Humanity's Sixth Sense」は、この能力を人間の「第六感」のようなものと捉え、マルチモーダル大規模言語モデルが視覚情報に含まれる明示されていない内容を復元できるか測定するベンチマーク、Humanity's Sixth Sense（HSS）を提案しました。

HSSが測るもの

既存の視覚ベンチマークは、物体認識のような低レベル知覚か、専門知識や数学を必要とする長い推論に重点を置く傾向があります。HSSが対象にするのは、その中間にある能力です。つまり、人間が一目で行う、速く、ゼロショットの状況理解です。

素材によると、HSSは画像と動画を扱い、問題を体系的な分類に整理しています。人間が作成したプロンプトは、主に次の4領域を調べます。

• 時間的構造：過去の原因や今後の展開を推測する
• 空間的構造：距離、到達可能性、行動の実行可能性を判断する
• 社会的構造：役割、相互作用、力関係を読み取る
• 抽象的構造：暗黙のルール、隠れたラベル、微妙なパターンを認識する

したがって、モデルには見えている物体の一覧ではなく、場面全体の意味を組み立てることが求められます。

人間とモデルの差

報告された結果では、人間参加者の正答率は93.1％でした。一方、最も強いモデルとして挙げられたGPT-6-astraは、最大限の推論設定でも53.6％にとどまります。高度な知覚、知識利用、明示的な推論で優れたモデルでも、人間がほぼ直感的に処理する視覚判断には大きな弱点が残ることを示しています。

研究では、システムが視覚情報を動的に操作できるエージェント型の設定も検討されました。この方法により差は縮まりましたが、完全には埋まりませんでした。観察や操作を増やすことは助けになりますが、安定した状況直感の代わりにはならないようです。

意義と影響

HSSの意義は、新しい順位表を作ることだけではありません。一般に「常識」や「マルチモーダル知能」としてまとめられがちな能力を、独立した評価軸として切り出した点にあります。人と協働するアシスタント、動画理解システム、身体を持つエージェントにとって、明示されていない空間的制約や行動の傾向、社会的な手がかりを理解することは、物体を正確に説明する以上に実運用へ直結する場合があります。

また、長い推論過程や大規模化だけで、人間のような視覚的直感が自然に生まれるとは限らないことも示唆されます。HSSが今後の研究に活用されれば、時間的因果、空間的可能性、社会的文脈、抽象的ルールのどこでモデルが失敗するのかを、より具体的に診断できるでしょう。

核心となる問いは明快です。モデルは場面が何を意味するかを理解しているのか、それとも見えている内容を言い換えているだけなのか。初期結果は、現在のマルチモーダルモデルがまだ前者に十分到達していないことを示しています。

出典：Hugging Face Daily Papers