SolarWM、長期動画ワールドモデルのためのオープンな学習基盤を提案

導入

動画ワールドモデルに求められるのは、見た目の自然な動画を生成することだけではない。環境の状態を保ち、ユーザーやエージェントの操作に応答し、長い時間にわたって動きや視覚的な一貫性を維持する必要がある。しかし、既存の動画データセットは時間スケール、カメラの扱い、画質、運動パターン、キャプション形式が大きく異なる。さらに、動画生成モデルごとに内部表現や学習目的も違うため、単純なデータ混合では教師信号が不均一になりやすい。

SolarWMは、データ準備から学習、推論までを再利用可能な基盤として整理することで、この問題に対応する。

主なポイント

• データ契約の統一。 複数データセットの正規化された動画クリップを、フレーム整列済みの共通形式へ変換する。形式には映像観測、メトリックなカメラ幾何、キャプション、品質メタデータ、採用・除外の判断、データ来歴が含まれる。元データごとの処理と、学習時の混合設計を分離している点も特徴だ。
• バックボーン固有の表現を維持。 共通のカメラ条件付け、学習、推論インターフェースを用いながら、Wan2.2、LTX-2.5、MiniMax-H3を基盤とするモデルを扱う。5B〜33B規模の4モデルについて、すべてを同一構造に置き換えるのではなく、各モデルの表現と目的関数を維持する。
• 3段階の学習レシピ。 双方向適応、教師強制による自己回帰初期化、分布マッチング蒸留を組み合わせる。これにより、一般的な動画生成能力から、操作に応答できる因果モデルへ段階的に移行することを狙う。
• 短い学習動画から長時間推論へ。 プロジェクトの説明では、5秒の系列だけで学習したモデルが、分単位から時間単位のリアルタイムなロールアウトに対応する。長系列の追加微調整やアテンション・シンク機構を使わない点も強調されている。

意義と今後の課題

SolarWMの意義は、単一モデルの新規性だけでなく、研究を比較可能にする共通基盤を示したことにある。これまでのワールドモデル研究では、データクリーニング、カメラ条件、バックボーン別の学習コードが個別に実装され、再現実験やアブレーションのコストが高かった。データ契約と混合設計を分離できれば、データ構成やモデルを変更しながら、実験条件をより明確に管理できる。

短いクリップから長期インタラクションへ移行する設計は、インタラクティブシミュレーション、ゲーム環境、具身エージェントなどへの応用を検討する上でも興味深い。ただし、長い動画を生成できることだけで、物理的一貫性、制御性、長時間のアイデンティティ維持が保証されるわけではない。公開された重みと評価結果を含む、より詳細な検証が必要になる。

なお、提供された資料にはデータセット数について10と14の異なる記述がある。正確な数は正式論文またはリポジトリで確認すべきだ。SolarWMがデータ、学習レシピ、重み、フレームワークを十分に公開できれば、動画ワールドモデル研究の再現性と拡張性を高める共通の出発点になり得る。

Hugging Face Daily Papers