PrimeSim、異なるロボットの実演データから長期ロールアウト可能な世界モデルを構築

概要

ロボット向けの世界モデルは、見た目が自然な動画を生成するだけではシミュレーターとして十分ではありません。与えられた行動に応じて状態を正しく変化させ、複数のカメラに同じ世界の整合した姿を見せ、長い時間にわたって予測の破綻を抑える必要があります。PrimeSimは、動画生成モデルをこのような対話型シミュレーターへ発展させる試みです。

主な設計

PrimeSimは、まず22プラットフォームから集めた合計3万110時間のロボット実演データで中間学習を行います。ロボットごとに形状や制御方式が異なるため、同じ意味の行動でも表現は一致しません。そこで、異なるロボット本体にまたがって使える統一行動表現を導入し、フレームと整列させた二経路の条件付けによって、行動入力と画面上の変化の対応を強めています。

マルチビュー生成には、カメラを単なる別々の映像として扱わない仕組みを採用しました。視点認識型のインターリーブ注意機構に明示的なカメラ識別情報を与え、各視点の特徴を保ちながら、物体や環境の共有情報を視点間で交換します。これにより、カメラごとに物体の位置や接触状態が食い違う問題を抑えることを狙います。

後段の学習では、双方向動画生成器を自己回帰型シミュレーターへ変換します。「高速な動画生成と低速なメモリ」という構成で、因果的な生成、自身の予測を使うセルフロールアウト学習、階層的な時間メモリを組み合わせました。実データの履歴だけでなく、モデルが生成した履歴からも学ぶことで、推論時に起こる小さな誤差の累積に適応させます。選択的なKVキャッシュは、生成チャンクをまたいで長期の文脈を保持します。

結果と限界

PrimeSimは3つのカメラ視点を同時に扱う推論で10.1 FPSを達成しました。提供された結果では、比較対象のオープンソース行動条件付き世界モデルに対し、EWMBenchで総合最高スコアを示し、WorldSimProbeの5スイート中4つで首位となっています。一方、細かな局所キャリブレーションでは他手法に及ばず、長期的に自然な映像を生成できることが、そのまま厳密な物理予測を意味するわけではありません。

未学習のロボットプラットフォームにも100〜200回の勾配ステップで適応でき、元の事前学習済みバックボーンでは見られなかった転移性能を示しました。また、PrimeSim内でGRPOを使った方策学習を行うと、LIBEROの成功率は61.7%から73.2%に向上しました。成功予測は物理シミュレーターに近い方策順位付けを行えるとされています。

ただし、実験はAgiBot G2、LIBERO、RoboTwinなどのシミュレーション環境だけで実施され、実機ロボットは使われていません。したがって、10.1 FPSは推論速度を示す数字であり、現実の制御ループでの信頼性を証明するものではありません。

意義

PrimeSimは、行動条件付け、マルチビュー整合性、長期記憶、方策評価を一つのモデルにまとめようとしている点に意義があります。実機への転移が確認できれば、ロボットを実際に動かす時間を減らし、複数のロボット本体をまたぐ方策探索を効率化できる可能性があります。

一方、局所的な物理精度やシミュレーションから実世界への移行は未解決です。PrimeSimは、完成した実機代替環境というより、汎用ロボット世界モデルに向けた一段階として評価するのが適切です。重み、推論コード、学習コードは11月6日に公開予定です。

出典：Hugging Face Daily Papers