WOVEN：視覚状態の変化を学ぶマルチモーダルモデル

導入

マルチモーダル大規模言語モデルは、画像中の物体を認識したり動画を説明したりする能力を高めている。しかし、ある物体が移動した後にどこにあるか、行動によってシーンの何が変わるか、遮蔽後の状態が物理的に整合しているか、複数の出来事がどの順序で起きたかといった問題では、依然として不安定である。これまでの研究は、空間推論、身体性推論、物理推論、時間推論を別々の領域として扱うことが多かった。

WOVENは、これらの弱点に共通する基盤として、視覚遷移推論を提案する。これは、現在のシーンと、その間に起きた行動や出来事から、後の視覚状態を推定する能力である。研究チームはこれを単独のタスクではなく、世界モデルを構成する再利用可能な原語として位置づけ、異なる監督信号から学習できるか、さらに他の課題へ転移できるかを調べた。

主な内容

• 構造化された学習データ。 WOVENは36,076件の例からなり、20種類のシーン、5種類の行動、8種類の推論タイプを含む。データは動画事前学習済み生成モデルによる多様で現実的なロールアウトから作られ、単なる物体認識ではなく、行動後の状態変化を学習対象にする。
• モデルの不足を広く診断。 GPT-5.4やQwen3-VL-235B-A22Bを含む38の先端MLLMを評価した結果、最も強いモデルでも人間を大きく下回った。失敗はモデル系列をまたいで繰り返され、規模を拡大するだけでは解消されなかった。
• 外部タスクへの転移。 複数の規模のモデルをWOVENで学習すると、26の外部ベンチマークのうち22で改善が見られ、最大27.3ポイント向上した。およそ2,000件規模のサブセットを組み合わせた学習でも効果が得られ、タスク固有データの30〜50％をWOVENデータで置き換えても同程度の精度になったケースが報告されている。
• 学習順序に関する示唆。 物理法則の獲得順序は乳幼児の発達に似ており、カリキュラムとして利用できるという。外観の変化より幾何学的な変化の影響が大きく、表面的な見た目より空間構造が重要だと示唆される。また、同じ基盤モデルでは、数時間の生成動画による学習が大規模な実動画の中間学習を上回ったと報告された。

意義と限界

WOVENの重要性は、マルチモーダル能力の訓練をタスク別の寄せ集めから、状態変化を中心とした共通基盤へ組み替えようとした点にある。視覚遷移推論が本当に空間、時間、身体性、物理推論に共通する能力なら、動画質問応答、行動計画、ロボット操作、シーン予測へ同じ学習成果を再利用できる可能性がある。

ただし、これは世界モデルの問題が解決したことを意味しない。結果は論文が用いた外部ベンチマークでの転移を示すものであり、生成動画と現実の環境との差や、実世界での頑健性は今後の検証を要する。現時点では、状態遷移を軸に複数の視覚推論能力を比較・訓練するための具体的な枠組みとして評価するのが妥当だろう。

出典：Hugging Face Daily Papers