RAR、インタラクティブ世界モデルの生成レートを適応制御

導入

インタラクティブ世界モデルは、ユーザーの操作やカメラの動きに応答しながら、視覚的な環境を連続的に生成することを目指している。ここで重要なのは、単に多くのフレームを生成する速度だけではない。生成されたフレームが、世界の物理時間を一貫して表現しているかも重要になる。

既存の多くのシステムは、学習時も推論時も固定された時間レートを利用する。そのため、実行環境のスループットが学習時と異なると、生成世界の進行が意図せず速くなったり遅くなったりする。研究チームはこの問題を「時間レート結合」と呼び、Rate-Adaptive Rollout（RAR）によって解決を試みた。

主な仕組み

• 物理時間に基づく位置合わせ。 RAR の中核である Stride-RoPE は、異なる間隔でサンプリングされた潜在ビデオフレームを、単なる系列位置ではなく共通の物理時間座標に対応付ける。これにより、生成レートを変えてもフレーム間の時間的意味を保ちやすくする。
• 複数レートへの対応。 学習時に直接現れなかった中間レートを含め、複数の制御可能なレートでロールアウトできる設計になっている。ハードウェア性能や負荷、インタラクションの要求に合わせた調整につながる可能性がある。
• 履歴を保ったまま切り替え。 ロールアウトの途中でレートを変更しても、履歴をリセットしたり KV キャッシュを破棄したりする必要がない。継続する環境の状態と物理時間の流れを維持することが狙いだ。
• 細かな動きと長時間の進行を両立。 コンテキスト長が一定なら、高いレートは微細な動きを捉えやすい一方、表現できる物理時間は短くなる。RAR はマルチストライド動画サンプリングで、細粒度のダイナミクスと長期的な変化を同時に学習する。

意義と限界

RAR の意義は、単に再生速度を増やすことではない。ロールアウトのレートを、世界の物理的な進行とは分離された制御可能な要素として扱う点にある。実運用では、計算負荷や生成スループットが変動するため、レートを調整しても世界の時間が不自然に伸び縮みしないことは重要だ。

また、Stride-RoPE は「生成されたフレーム数」と「そのフレームが表す物理時間」を区別する考え方を明示する。マルチストライド学習は、限られたコンテキスト内でより広い物理時間を扱うための方法として位置付けられる。

提供された素材によれば、RAR はアクション制御環境とカメラ制御環境で評価され、複数レートのロールアウト、オンライン切り替え、高レート生成品質の維持、物理ホライズンの拡張を示した。また、事前学習済み世界モデルへの移行でも知覚品質を保つとされる。ただし、具体的なデータセット、指標、比較値は素材に含まれていない。したがって、改善幅や適用上の制約は論文本文とプロジェクト資料で確認する必要がある。RAR は、リアルタイム世界モデルの時間設計と運用柔軟性を考えるうえで注目すべき提案だ。

出典：Hugging Face Daily Papers