Wizard、エージェントで生成ゲーム世界をリアルタイム操作

概要

映像世界モデルは、見た目のリアルな動画を生成する段階から、操作可能な仮想環境を維持する段階へ進みつつある。Wizardの特徴は、ゲームの状態管理やアクション指定をエージェントに担わせ、映像生成モデルには最終的な視覚表現を担わせる点にある。両者の間には、キャラクターの骨格やシーンの形状を使った構造化プロキシを置く。

主なポイント

• 複雑な動作を構造化して指定。 従来のシステムは歩行や走行など、あらかじめ用意した動作に依存しがちだった。Wizardは骨格表現を介して関節を含む動きを扱い、剣を振る、翼を広げる、戦闘中に変身するといった例を想定する。
• 世界の状態を明示的に更新。 直前の映像だけから次のフレームを予測するのではなく、エージェントがゲーム状態を維持・更新する。これにより、キャラクターの行動、シーンの変化、戦闘メカニクスの整合性を長いインタラクションでも保つことを狙う。
• 多様な組み合わせへ一般化。 研究チームは750シーン、178キャラクターを含む50.3時間のプロキシ—映像対応データを構築した。キャラクターを考慮した自適応マスクは、参照キャラクターの外観を保ちつつ、条件信号と生成映像の対応を改善する。
• リアルタイム性を追求。 因果適応と少ステップ蒸留を組み合わせ、24 FPSでのインタラクションと、未知のシーン、キャラクター、動作へのゼロショット一般化を報告している。

意義と限界

Wizardが示すのは、生成ゲーム世界における役割分担の再設計である。エージェントは状態、ルール、アクションを扱い、構造化プロキシは制御インターフェースとなり、映像モデルはそれを連続した画面として表現する。この分離により、プレイヤーがキャラクターを召喚したり、変身を起こしたり、シーンを変更したりする自由度を高められる可能性がある。

一方、提示された素材には、包括的なベンチマーク比較、長時間の安定性評価、公開コードは含まれていない。24 FPSで動作することだけでは、キャラクターの同一性、空間関係、衝突、ゲームルールが長時間維持されるとは限らない。したがってWizardは、汎用ゲーム制作を完成させた成果というより、プログラム可能な生成世界へ向けたアーキテクチャ上の提案として評価するのが妥当だろう。

出典：Hugging Face Daily Papers