H3-World：動画生成モデルを対話型の世界モデルへ

導入

動画生成モデルは、単にプロンプトから映像を作るだけでなく、指示に応じて連続的に変化するインタラクティブなシステムへ進みつつある。H3-World は、MiniMax-H3 が大規模な動画事前学習で獲得した言語と映像の意味表現を、世界モデルの制御に転用する研究だ。

特徴は、キーボード操作を処理する専用インターフェースをゼロから学習しない点にある。操作をモデルがすでに理解できる自然言語へ変換し、既存のテキスト経路を通じて動画生成に反映させる。

「何をするか」から「いつするか」へ

MiniMax-H3 は、自然言語によってキャラクターの行動やカメラの動きを制御できる。ただし、複数の動作が時間順に現れる動画では、通常のプロンプトだけでは各指示の開始・終了時点が曖昧になり、ある動作の影響が別の区間へ漏れる可能性がある。

H3-World では、各アクションをキャラクター指示とカメラ指示の組み合わせとして表現する。そのうえで、指示を動画潜在表現の対応する時間区間に合わせる。さらに時間注意ルーティングを導入し、各指示が意図した区間を中心に作用するよう制限する。これにより、動作内容だけでなく、動作が発生するタイミングも制御しやすくなる。

主なポイント

• 言語ネイティブな制御：キーボード操作をテキスト指示に置き換え、事前学習済みのテキスト経路へ入力する。
• キャラクターとカメラの統合：主体の行動と、それを捉えるカメラの動きを一つのアクションとして扱う。
• 時間的グラウンディング：指示を異なる潜在区間へ割り当て、動作間の干渉を抑える。
• 軽量な適応：8,000 件のゲームプレイサンプル、10,000 回の LoRA 最適化ステップ、学習可能パラメータ 0.199% で構成する。
• 汎化：未見のアクション組み合わせや視覚シナリオにも対応すると報告されている。

意義と残る課題

H3-World が示すのは、動画生成モデルを世界モデルへ発展させる実用的な道筋である。新たな行動理解モジュールを大規模に追加する代わりに、既存モデルの意味理解を利用し、少量の適応でインタラクションへ接続する。自然言語を制御層にすることで、複数の行動を組み合わせる柔軟性も得られる。

一方、提示された素材には、詳細なベンチマーク数値、実行時の遅延、長時間の状態一貫性に関する評価は含まれていない。そのため本研究は、動画生成モデルに現れる言語制御能力を整理して対話的な挙動へ変換する有望な実証であり、リアルタイム世界シミュレーションの課題をすべて解決したものではない。

Hugging Face Daily Papers