空間認知を「描いて答える」評価へ：ProVisE の狙い

導入

空間知能は、AI エージェントが静的な画像理解を超えて、物理世界と関わるために欠かせない能力である。しかし、空間に関する問いは必ずしも文章や座標で答えるのが自然とは限らない。人間であれば、領域を指す、経路をなぞる、対象を囲むといった形で答える場面が多い。

論文「Show, Don’t Tell」は、このタスク内容と回答インターフェースのずれに焦点を当てている。既存の空間推論ベンチマークの多くは、座標、選択肢、テキストを出力として要求する。これはテキスト出力型の視覚言語モデルには適している一方、画像生成モデルには不利に働く可能性がある。画像生成モデルは空間判断をピクセル上に直接表現できるにもかかわらず、その能力を測る仕組みが十分ではなかった。

主なポイント

• ProVisE は視覚的回答を採点可能な形式へ変換する
  著者らは ProVisE（Protocolized Visual Evaluation）を提案した。これは特定のベンチマークに依存しない評価フレームワークである。タスクごとに視覚的回答のプロトコルを定め、画像生成モデルに制約付きでマークや線、領域などを出力させる。その後、ピクセル上の回答を元ベンチマークが必要とする構造化予測に変換し、既存の評価指標で採点する。

• 回答形式のミスマッチを減らす
  空間タスクの多くは連続的な視覚シーンに根ざしている。位置、領域、経路、相対関係は、離散的な文章よりも画像上の印として表す方が自然な場合がある。出力をテキストや座標だけに限定すると、モデルの空間理解ではなく、表現形式への適応力を測ってしまう恐れがある。

• SpatialGen-Bench による診断
  論文では SpatialGen-Bench も導入されている。これは 470 サンプル、14 の空間サブタスク、4 段階の能力レベル、多様な回答形式を含む診断用ベンチマークである。単なる順位付けではなく、モデルがどの種類の空間表現で強いのかを分析するための設計といえる。

• 画像回答とテキスト回答は補完的
  研究では 31 のテキスト回答システムおよび画像回答システムを統一的に評価し、さらに 6 つの外部空間ベンチマークでプロトコル構築を検証した。結果として、空間状態をピクセルで直接表せるタスクでは画像生成モデルが競争力を示す一方、複合的な推論ではテキスト出力 VLM が依然として強いことが分かった。また、GPT Image 2 は GPT-5.4 が失敗した空間ケースの 37% を正しく解いたと報告されている。

意義と影響

この研究の意義は、新しい評価セットを追加したことだけではない。空間知能の評価では、何を問うかだけでなく、どのように答えさせるかが結果を大きく左右するという点を示している。視覚的に答えるべきタスクを文章だけで評価すれば、画像生成モデルの能力を過小評価する可能性がある。

これは、具身 AI、視覚エージェント、ロボティクスに近い応用で特に重要である。現実世界での空間判断は、言葉による説明よりも、行動、軌道、領域選択として現れることが多い。ピクセル上の回答を標準的な指標に接続する ProVisE のような枠組みは、生成的な視覚能力と実世界インタラクションの間をつなぐ一歩になり得る。

ただし、論文は視覚的回答がテキスト推論を置き換えるとは主張していない。むしろ結果は、両者が異なる強みを持つことを示している。今後の空間知能評価では、モデルに「説明させる」だけでなく、「描かせる」ことも必要になるだろう。

出典：Hugging Face Daily Papers