RynnWorld-Latent、汎用潜在アクションで異なるロボットをつなぐ世界モデル

概要

ロボットの世界モデルには、現在の画面を再現するだけでなく、「この動作を行うと次に何が起こるか」を予測する能力が求められます。しかし、利用できるデータは大きく異なります。ロボットごとに関節構成、エンドエフェクタ、制御命令が違い、人間のインタラクション動画には通常、ロボットがそのまま実行できるアクションラベルがありません。RynnWorld-Latentは、この不一致を潜在アクションで埋めようとする研究です。

共通インターフェース

手法の中心は、RynnLAMが導入した3Dグラウンデッドな潜在アクションです。各ロボットのネイティブな制御空間を無理に統一するのではなく、物体や身体の空間的な動き、そして状態遷移を表す中間表現として利用します。これにより、人間動画、異なるロボットのデモンストレーション、シミュレーションのロールアウトを、元のアクション仕様を直接そろえずに共同事前学習へ組み込めます。

モデルは事前学習済みのビデオTransformerを基盤とし、アクション条件付けを二つの経路で行います。

• グローバルなアクショントークンは、動作全体の意図や遷移の方向を伝えます。
• 局所経路は、フレームに対応する形でアクション情報を注入します。恒等初期化を採用し、遷移記述と将来フレームの映像潜在表現を結び付けます。

論文によれば、事前学習には23データセット、約5億5350万フレームが使われ、その後に対象ロボット向けのポストトレーニングを行います。視覚ダイナミクスの学習と、特定プラットフォームへの適応を分ける構成です。

データ生成の二つの道筋

一つ目はデジタル遠隔操作です。対象ロボットのコマンドを使い、アクションと映像が対応するデモンストレーションを生成します。二つ目は潜在アクション合成で、元の動きを編集した初期フレームへ移し、リターゲティングした擬似ロボットアクションと組み合わせてロールアウトを作ります。前者は対象ロボットの命令体系に近く、後者は異なる身体や環境から動きの知識を再利用しやすい点が特徴です。

公開ベンチマークと二つの実ロボットプラットフォームで、映像予測指標の改善が報告されています。同じ初期観測に異なるアクション列を与えた場合の定性的な追従結果も示され、見た目の再構成だけでなく、動作と視覚的結果の関係を学習している可能性があります。

合成データを中間学習に使うと、LIBEROとLIBERO-Plusの方策成功率が向上しました。実世界の評価でも、二つの生成経路は実デモだけで学習する場合を上回っています。ただし、提供された素材には具体的な成功率は記載されていないため、改善幅は完全な論文の条件とベースラインを確認して判断する必要があります。

意義と課題

この研究の意義は、共通アクション空間を低レベルのロボット命令ではなく、空間的・視覚的な遷移表現として捉えた点にあります。これにより、まず多様な動画から世界モデルを学習し、後から個別ロボットへ適応する流れが可能になります。

一方、潜在アクションがそのまま実行可能な命令になるわけではありません。擬似アクションや編集環境と現実の物理条件には差があり、リターゲティングの品質や対象ロボット向け学習に結果が左右されます。したがって本研究は、汎用ロボット制御を完成させたものというより、異なる身体をまたぐ事前学習を拡張するための有望なインターフェースと見るのが適切です。

出典：Hugging Face Daily Papers