SpatialBlock、合成ブロック課題で視覚言語モデルの空間知能を訓練

導入

大規模視覚言語モデル（LVLM）は、画像内の物体を認識し、場面を説明する能力を大きく伸ばしてきた。しかし、何が写っているかを説明できることと、物体が三次元空間でどのように配置されているかを理解することは同じではない。遮蔽、相対位置、視点の変化、複数の構造の組み合わせを扱うには、2D画像から見えない空間関係を推定する必要がある。

SpatialBlockは、この問題に対し、まず規則が明確なブロック積み課題から学習する道筋を示す。現実の画像に密な幾何ラベルを付けるのではなく、制御しやすい合成環境で空間推論の基礎を切り出す考え方だ。

主なポイント

• SpatialBlock-15kを構築。 データセットには15,000件の合成ブロック積み問題が含まれる。合成データなら、問題を体系的に生成・変更でき、実画像の幾何アノテーションに伴うコストやノイズを抑えやすい。
• 三つの基礎能力を対象にする。 3Dから2Dへの投影、視点変換、構造の組み合わせを扱う。これは、空間配置を画像と結び付けること、別の角度から同じ配置を理解すること、部品構造から全体を推論することに対応する。
• 色を空間アンカーとして利用。 制御した色の変化を加え、質問に関係するブロックを見つける手掛かりにする。複数の似た対象がある場面で、モデルが注目すべき部分を整理しやすくする設計である。
• 二つの訓練方法を比較。 すぐに答えを出す直接回答型と、推論過程を経てから回答するモデルを用意した。これにより、タスクそのものの効果と、明示的な推論形式の違いを分けて考えられる。
• 実シーンへの転移を検証。 論文によれば、両方式は実世界の空間タスクでベースラインを上回った。重要なのはブロックそのものではなく、単純化した課題から学んだ関係が別の画像にも役立つかどうかである。

意義と限界

空間理解は、視覚認識を行動につなぐ基盤になる。ロボットは物体をどこに置けるか、どの対象をつかめるかを判断しなければならない。室内を理解するアシスタントにも、物体名だけでなく相対的な位置や視点の情報が必要だ。SpatialBlockは、最初から複雑な現実環境を扱わず、基本的な空間変換を整理された課題で学ばせる可能性を示している。

また、この研究はマルチモーダル学習において、データ量だけでなく課題設計が重要であることを示唆する。合成環境では、どの要因を変え、何を正解とするかを明確にできる。色の導入も、合成データの価値が単なるサンプル数の拡大ではなく、モデルの注目先を制御できる点にあることを示す。

一方、積み木の世界は現実の画像より単純だ。実環境には、複雑な質感、照明、遮蔽、尺度の違い、不規則な形状がある。合成課題で学んだ規則が、こうした条件でも安定するとは限らない。今回の結果は有望な訓練方針を示すものだが、空間知能が解決したことを意味するわけではない。今後は構造を複雑にし、色への依存を減らし、異なる実環境への転移をより広く検証する必要がある。

出典：Hugging Face Daily Papers