LaLa-World、自然言語アクションで多領域の潜在世界モデルを統合

導入

世界モデルは、エージェントが実際に行動する前に、起こり得る未来を内部で予測するための仕組みです。JEPA型の潜在世界モデルは、未来の映像を画素単位で生成する代わりに、圧縮された視覚表現を予測することで、計画を低コスト化します。一方で、特定のシミュレーターやタスク向けに個別学習されることが多く、異なるデータ源をまとめて利用することは容易ではありません。

LaLa-Worldは、この問題に自然言語を使って取り組みます。シミュレーションやロボットの軌跡に加え、一般的な画像・動画データも、言語条件付きの潜在世界モデルで学習します。

仕組みの要点

設計上の中心は二つあります。

• アクション形式を言語でそろえる。 数値制御を自然言語で記述し、画面上で起きる視覚的な変化も言葉で表します。これにより、もともと異なるアクション空間を持つデータを共通の条件形式で扱えます。
• 言語モデルを未来予測器に使う。 言語条件を解釈し、その後に現れる視覚潜在状態を予測します。モデル予測制御では、潜在空間で複数の未来候補を展開し、予測結果に基づいて行動系列を選べます。

目的は、高精細な動画を再現することではありません。ロボット計画で重要なのは、アクションによって物体やシーンがどう変化するかです。必要な視覚情報を潜在表現で予測すれば、動画生成より効率的に制御に使える可能性があります。

報告された結果

論文によると、複数領域で学習した単一のLaLa-World予測器は、領域やタスクごとに別々に学習した潜在世界モデルより、平均MPC計画性能で高い結果を示しました。画像と動画を追加すると平均計画性能がさらに向上し、アクションの言い回しが変わった場合にも頑健になります。

RAEv2ベースの動画生成モデルとの条件をそろえた比較では、計画性能は同程度でありながら、学習コストは6分の1、計画は13.9倍高速でした。これは、制御に必要な情報を潜在予測で保持することで、動画生成全体のコストを避けられる可能性を示します。

さらに、事前学習済みLaLa-WorldをLaLa-Policyの初期値として利用します。この方策はロボットアクションと未来の視覚表現を同時に予測し、LIBEROとRoboCasaでCosmos Policyと競争力のある結果を示しました。推論速度は最大5.5倍高速と報告されています。

意義と残る課題

LaLa-Worldは、自然言語を世界モデル学習のアライメント層として使う方向性を示しています。データごとに異なるアクション空間を抱えたまま個別モデルを作るのではなく、アクションと視覚変化を共通の表現に変換し、経験の範囲を広げられる点が特徴です。

ただし、手元の素材にはタスク別の詳細スコア、データ規模、失敗例は含まれていません。そのため、今回の結果は手法の有効性を示す報告として捉えるべきで、あらゆるロボット環境への適用を保証するものではありません。言語記述の正確さ、潜在状態に重要な制御情報が残るか、オフライン予測と実機動作の差は今後の検証課題です。

LaLa-Worldの意義は、マルチモーダル事前学習、潜在空間での想像的計画、ロボット方策学習を一つの流れに接続した点にあります。

出典：Hugging Face Daily Papers