UniWAM、物理推論・世界モデル・ロボット行動を統合

導入

実世界で動くロボットには、物体や状況を認識するだけでなく、次に何が起こるかを予測し、環境の変化に応じて行動を選ぶ能力が必要です。視覚言語行動モデルは、事前学習済みの視覚言語モデルから高い意味理解と推論能力を受け継げますが、行動中心の教師信号だけでは物理ダイナミクスへの接地が限定される可能性があります。一方、世界・行動モデルは動画生成から時空間的な事前知識を学べるものの、意味理解や分布外環境での推論に課題を残します。

論文「UniWAM: Unified World-Action Model」は、これらの能力を一つのアーキテクチャにまとめる UniWAM を提案しました。

主な設計

• 三つの機能を統合：物理推論器、世界生成器、行動予測器を同じ学習枠組みに置き、環境の意味・物理理解、未来の視覚状態のモデル化、ロボット行動の生成を担わせます。
• 異なるデータ源を併用：人間の一人称データとロボットデータを合わせて1万時間以上使用し、さらに視覚質問応答データを加えています。人間映像は幅広い日常的相互作用を、ロボット実演は観測と実行可能な制御の関係を提供します。
• 低レベル行動を自然言語化：行動を自然言語で表現することで、視覚言語コンポーネントを身体化タスクへ適応させながら、既存の言語能力を維持することを狙います。
• 役割に応じた教師信号：VQA、人間の一人称映像、ロボット実演を同じ方法で扱うのではなく、それぞれの情報を適切なモデル部分へ割り当てます。
• 頑健性と効率を改善：将来視覚ノイズ拡張によって正確な未来予測への依存を下げ、履歴条件付きフローマッチングによって過去の行動履歴から行動生成を初期化します。

意義と限界

UniWAM の重要性は、「理解する」「未来を予測する」「行動する」という処理を分離せず、連続した学習経路として扱おうとした点にあります。制御から切り離された世界モデルは、見た目にはもっともらしい未来を生成できても、実際に実行可能な未来を判断できないかもしれません。反対に、物理的な表現が弱い行動モデルは、物体同士の関係や接触状態が変わる場面、訓練分布と異なる環境で不安定になる可能性があります。

論文は、人間とロボットの共同学習の規模則を初めて特徴づけた研究だとも述べています。ただし、提供された素材にはその規則の具体的な形式、完全な評価表、詳細な数値比較は含まれていません。そのため、複数評価での SOTA という主張は論文の概要として受け止め、あらゆるタスクやハードウェアで優位だと一般化するべきではありません。UniWAM は、具身モデルを単純な行動予測から、意味理解・視覚ダイナミクス・制御の統合へ進める一つの方向性を示しています。

出典：Hugging Face Daily Papers