OneWM、世界モデルと行動学習を統一因果学習で結び付ける

導入

身体を持つAIでは、環境の変化を予測する世界モデルと、次の操作を決める方策モデルが別々に設計されることが多くあります。OneWMは、この二つを共有アーキテクチャで学習した場合に、互いの能力が高まるかを検証します。中心となるのは、ビデオと行動を扱うモデルに統一された因果学習を適用するという考え方です。

OneWMの考え方

OneWMでは、行動が二つの役割を担います。第一に、指定された行動を条件として、その後に現れる視覚的な結果を予測します。第二に、行動そのものを方策が生成すべき学習目標として扱います。モデルは「この操作をすれば何が起きるか」と「現在の観測からどの操作を選ぶべきか」を同時に結び付ける必要があります。

研究では、世界予測が行動学習に役立つか、逆に行動学習が世界予測を改善するかを調べました。評価対象はLIBERO、LIBERO-Plus、RoboCasa365で、方策学習と世界モデリングの両方を測定しています。さらに、実ロボットを用いた実験も行われました。

主な結果

• 行動結果の予測が方策を支援：指定した操作による視覚変化を学習すると、場面が変わる状況での方策性能と汎化が向上しました。
• 行動学習が世界モデルを支援：行動を生成する学習により、同じモデルでのマルチビュー未来予測の忠実度が改善しました。
• 相互利益を確認：予測と制御を一方向の関係としてではなく、相互に補強する学習目標として捉えられます。
• 実ロボットでも検証：ブロックの積み重ね、収納、朝食準備などのデモンストレーションが紹介されています。

意義と限界

視覚的なパターンだけに依存する方策は、物体配置や背景が変わったときに不安定になる可能性があります。行動後の結果を予測できれば、観測、介入、未来状態の関係をより明示的に学習できます。一方、行動生成を学ぶことで、世界モデルも制御に重要な変化を保持しやすくなると考えられます。

ただし、提供された素材には具体的な改善幅は記載されていません。また、長期ロールアウト、異なるロボット形態、複雑な接触力学に対する安定性も明らかではありません。「Endless Dream」は初期観測からモデルが生成した展開であり、予測行動がシミュレーターや実機で実行された軌跡ではありません。したがって、今回の結果は統一因果学習を支持する実証であって、長期計画が解決済みだという意味ではありません。

OneWMの意義は、世界モデルと方策を競合する機能ではなく、共有学習によって補完し合う機能として整理した点にあります。今後は、不確実性の評価、より長い予測、実環境での継続的な相互作用が重要になります。

出典：Hugging Face Daily Papers