Hy-Nomas、多ターンのテキスト指示とカメラ操作に対応する世界モデル

概要

インタラクティブな世界モデルに求められるのは、単に見栄えのよい動画を生成することではありません。ユーザーがシーンを説明し、登場する物体やキャラクターの行動を指定し、その後にカメラを動かしたり別の指示を追加したりしても、モデルは過去の状態と行動の結果を維持する必要があります。Hy-Nomasは、このような多ターンの操作を前提に開発された動画世界モデルです。

主なポイント

• 自由形式の対話：自然言語による指示と連続的なカメラ操作に対応します。次の動画セグメントは、現在の入力とキャッシュされた履歴を条件として生成されます。
• 可変長セグメント：出力は固定長に限定されず、操作に応じた長さのセグメントを生成できます。履歴を利用して、連続する生成結果をつなぎます。
• シーン情報と行動を分離：構造化された動画キャプションと、アクションを考慮した因果アテンションを組み合わせます。説明的なコンテキストはセグメントをまたいで参照できる一方、アクション指示は対応する時間範囲に制限されます。これにより、古い指示が後の生成へ過度に影響することを抑えます。
• Prompt Enhancer：視覚言語モデルによるPrompt Enhancerが、ユーザーの要求とマルチモーダルな操作履歴を、次のセグメント向けの構造化条件へ変換します。
• 段階的な学習：因果生成、テキスト対話、カメラ制御、モデル生成履歴を使った学習を段階的に導入し、最後に拡散蒸留を行います。

意義と課題

既存の動画生成モデルは、単一のプロンプトには強くても、多ターン操作では人物や物体の同一性が崩れたり、シーンが初期化されたり、行動がつながらなくなったりすることがあります。Hy-Nomasは、持続的な世界の文脈と、その場で実行するアクションを異なる仕組みで扱うことで、独立した短い動画の集合から、継続的に操作できるシミュレーションへ近づこうとしています。

素材によれば、Hy-Nomasは人手評価で既存の世界モデルを上回りました。ただし、具体的な評価値は示されていないため、長期的な整合性が完全に解決されたと解釈するのは避けるべきです。モデル重み、コード、ベンチマーク、軽量な適応ワークフローの公開は、履歴キャッシュや因果アテンション、カメラ制御を再現可能な形で検証できる点に価値があります。ゲームのプロトタイプ、仮想空間制作、身体性を伴う対話への応用が考えられる一方、計算コスト、応答速度、物理的な信頼性、長期記憶は今後の課題です。

出典：Hugging Face Daily Papers