WorldPlay2、分解型制御と圧縮メモリで対話型世界モデルを拡張

導入

対話型世界モデルに求められるのは、次のフレームを生成する能力だけではありません。ユーザーやエージェントから与えられる多様な操作にリアルタイムで反応しながら、シーンの外観、キャラクターの特徴、発生中のイベントを長い時間にわたって整合的に保つ必要があります。しかし、制御の種類が増えるほど学習は難しくなり、ロールアウトが長くなるほど過去のコンテキストが膨張します。

WorldPlay2は、この問題を制御インターフェース、履歴メモリ、教師・学生蒸留の設計をまとめて見直すことで扱います。

主な仕組み

行動制御と意味制御を分解

WorldPlay2の制御インターフェースは、フレームに対応した行動制御と、構造化された意味制御を組み合わせます。前者はインタラクション中の即時的な動きを表し、後者はシーンや登場人物、発生する出来事に関する高レベルの指定を担います。

意味情報は、シーン外観、キャラクター同一性、動的な意味イベントという三つの要素に明示的に分けられます。外観は環境の見え方、同一性は主体の特徴、イベントは時間とともに起きる変化を表します。これにより、異なる制御信号が同じ入力として混ざることを避け、各要素と生成結果の関係を学習しやすくする狙いがあります。

この分解は、シーンやキャラクターをまたいだ汎化にもつながるとされています。ただし、提供された素材には、具体的なベンチマーク数値や評価条件は記載されていません。

履歴を圧縮メモリに変換

長い動画を生成する際、過去の全フレームを毎回読み込む方法は、計算量とメモリ使用量を急速に増大させます。WorldPlay2は、過去のコンテキストをコンパクトなメモリトークンへ圧縮し、それを自己回帰型の学生モデルと双方向の教師モデルで共有します。

この構成により、長いロールアウト全体を一度に処理する代わりに、メモリを条件としたクリップ単位のスコア評価が可能になります。過去の情報を完全に再入力するのではなく、更新された状態として引き継ぐことで、長期蒸留の負荷を抑える考え方です。

Stable Forcingによる蒸留の安定化

自己回帰モデルでは、初期の小さな誤差が後続ステップへ伝播し、長い生成ほど品質低下につながる可能性があります。WorldPlay2が提案するStable Forcingは、この問題に対応するため、まず少ステップの方法で学生モデルを初期化し、その後、完全なロールアウトを再生して学習に利用します。

局所的なクリップだけでなく、長い生成全体を再び学習対象にすることで、学生モデルが長期的な品質を維持しやすくすることが狙いです。教師モデルの出力をそのまま模倣するだけでなく、自律的なロールアウトで生じる誤差にも適応させる設計といえます。

意義と今後の課題

WorldPlay2の特徴は、リアルタイム性を単なる推論高速化として扱わず、制御表現と履歴処理、蒸留安定化を一体として設計している点です。この方向性は、対話型動画生成、ゲーム環境のシミュレーション、操作可能な未来を予測するエージェントに応用できる可能性があります。

一方で、圧縮メモリが細かな状態情報をどこまで保持できるのか、分解された制御を複雑な組み合わせで安定して実行できるのか、さらに長く開放的な環境でも整合性を維持できるのかは、今後の検証課題です。素材で確認できるのは手法の概要と論文側の性能主張であり、詳細な数値については原論文の確認が必要です。

出典：Hugging Face Daily Papers