MJev-Spatial、空間理解を直接的な分類判断に変える

概要

視覚言語モデルは、空間関係や距離、画像上の位置を答える際にも、通常はテキストを自回帰的に生成します。しかし、こうした課題の答えは、少数の選択肢、数値の範囲、画像内の一点など、比較的コンパクトです。回答文を一つずつ生成し、後から解析する方式は柔軟である一方、対話的な速度が求められる場面では余分な遅延になります。

MJev-Spatialは、この問題を「文章を生成する」のではなく「候補から直接選ぶ」ことで解こうとします。Qwen3.5-4Bを基盤に、空間知能向けのSystem 1型マルチモーダル意思決定モデルとして設計されています。

主な仕組み

• 三つの課題を統一。 空間質問応答では提示された選択肢をクラスとして扱います。数値推定では値を複数のビンに分け、画像指示では画像領域を候補にします。後二者は粗い候補から細かい候補へ段階的に絞り込みます。
• 既存の注意機構を活用。 候補のスコアリングには、バックボーンが事前学習で獲得したQueryとKeyの投影を使います。専用の追加パラメータを増やすのではなく、モデル内の注意表現と候補の対応関係を利用する設計です。
• トークンを生成しない推論。 各分類判断は一回のフォワードパスで実行され、回答トークンは出力されません。数値と位置については、粗視点から細視点までの段階をまとめて学習します。
• 異種データの学習を効率化。 既存の空間データセットから1230万件の質問回答ペアを作成し、教師強制によって全ての粗密段階を一回のフォワードパスで共同監督します。長さを考慮した全体バッチ処理とGPU間の負荷分散により、従来のバッチ戦略より学習スループットを30.8%高めたとしています。

意義と限界

プロジェクトの報告では、12個のベンチマークにおける平均スコアは65.64%、そのうち7個で最高成績でした。また、自回帰ベースモデルと比べて実行速度は5.6倍です。出力空間が明確に定義できる課題では、汎用的な文章生成よりも直接分類が適している可能性を示しています。

重要なのは単なる高速化だけではありません。マルチモーダルモデルの出力インターフェースを、説明文ではなく選択肢、数値ビン、画像領域として設計し直した点にあります。ロボット操作や視覚ナビゲーションのように、短い周期で判断を繰り返すシステムでは、ゼロトークンの経路が有用になり得ます。

一方で、性能は候補の設計、数値の分割、画像領域の定義に左右されます。自由形式の説明や制約のない記述には、依然として生成モデルが必要です。MJev-Spatialは、既存の自回帰推論を全面的に置き換えるものというより、構造化された空間判断を高速に処理する補助的な経路と見るのが適切です。

出典：Hugging Face Daily Papers