ReWorld、インタラクティブ世界モデルに長期記憶を実装

導入

インタラクティブな世界モデルには、もっともらしい動画を生成するだけでなく、ユーザーの操作に追従し、カメラの動きを保ち、以前に見せた場所を後から思い出す能力が求められます。しかし、操作制御は直近のフレームを重視する一方、長期記憶は広い履歴を必要とします。Hugging Face Daily Papersで紹介されたReWorldは、この相反する要求を学習方法と推論時のメモリ設計の両面から扱います。

主なポイント

• 注意機構に時間的な役割分担を持たせる。 多くのヘッドは直近の履歴だけを見るよう制限し、直前の操作や画面変化に集中させます。一部のグローバルヘッドは全履歴を参照できます。さらに、学習中にヘッドをランダムに振り分けることで、記憶や制御の能力が特定のヘッドに固定されることを防ぎます。履歴チャンクのランダム削除も行い、疎な履歴を通常の入力として学習します。
• 固定予算で長期記憶を扱う。 推論時にKVキャッシュを無制限に拡張するのではなく、容量を制限したキャッシュを使います。その背後にカメラ姿勢で索引付けしたランドマークバンクを置き、現在位置に近いランドマークを検索します。以前の場所へ戻った際、関連情報を現在の文脈に再投入できる仕組みです。
• 異なるデータの操作尺度を統一する。 Unreal Engineによる飛行映像、ゲーム内の移動、実世界映像など8種類のデータを、共通の物理的な操作尺度にそろえます。そのため、同じキー入力がデータ源をまたいでも近い距離のカメラ移動に対応します。往路と復路を含む回文型の軌跡は、再訪シーンを学習するための信号になります。
• 品質と速度を同じ骨格で実現する。 分布マッチング蒸留をLoRAアダプターに限定し、サンプリングを4ステップまで短縮します。高品質な多段階モードとリアルタイムのインタラクティブモードを、同じバックボーンで使い分けられます。出力は704×1280で、写実的、ゲーム風、スタイライズドな世界に対応します。

意義と限界

評価は、行動追従、長期想起、動画品質の3軸で行われました。6つの最近のインタラクティブ世界モデルとの比較で、ReWorldは11.95°の回転誤差、優れたカメラ運動の一貫性、そして最高の生成品質を報告しています。64秒、384個の潜在表現からなる往復ロールアウトでは、固定された12チャンクのキャッシュでも開始地点のビューを再生成できました。単純なスライディングウィンドウでは関連履歴が先に追い出され、完全なKVキャッシュではコストが増え続けます。

ReWorldの重要な点は、長期記憶を無限の文脈としてではなく、局所的な時間処理と空間検索の組み合わせとして捉え直したことです。ゲーム、合成環境、実映像を混ぜる際の操作意味のずれを、共通尺度で抑える点も実用的です。一方、提供された概要には完全なハードウェア構成や遅延、全ベンチマークの詳細は含まれていません。リアルタイム性や汎化性能は、論文本文と実測で確認する必要があります。

出典：Hugging Face Daily Papers