AffordanceWAM：人間動画をロボット操作につなぐ共有インターフェース

背景

ロボット学習には、データに関する大きなジレンマがあります。ロボットの行動ラベル付き軌跡は制御を直接監督できますが、収集コストが高く、環境や行動の多様性も限られがちです。一方、エゴセントリックな人間動画には多様なインタラクションが含まれるものの、ロボットの行動ラベルはなく、人間とロボットでは身体構造や見た目も異なります。AffordanceWAMは、人間の動作をそのままロボット軌跡へ変換するのではなく、両者に共通する中間表現としてアフォーダンスを利用します。

手法の要点

AffordanceWAMは、シーンの未来とロボット行動を生成的に予測するWorld Action Modelです。未来の世界表現に、物体中心の時空間アフォーダンスを組み込みます。主な信号は次の二つです。

• スカラー・アフォーダンス：タスクにおける物体全体のインタラクション上の重要度を表す。
• アフォーダンス・ヒートマップ：実際に操作を加えられる領域をより細かく示す。

これらを未来のRGB観測と同時に予測することで、モデルは「何を操作するか」だけでなく、「どこに作用させるか」も視覚的に捉えられます。

モデルは事前学習済みの動画拡散Transformerを基盤とし、World ExpertとAction Expertを別々に構成します。両者はMasked Joint Self-Attentionによって情報を交換し、流マッチングの統一目的で、未来RGB、スカラー・アフォーダンス、ヒートマップ、連続ロボット行動を共同予測します。

人間動画の使い方

人間動画は、未来の視覚観測、スカラー・アフォーダンス、ヒートマップという三つの世界予測を監督します。ロボット軌跡は同じ世界表現に加えて、実行すべきロボット行動を監督します。つまり、共有されるのは腕の具体的な軌道ではなく、「どの物体が重要か」「どこで操作するか」「シーンがどう変化するか」というタスク構造です。

この設計により、人間動画へ行動ラベルを付けたり、人間の動きをロボットの身体へリターゲティングしたりする必要がありません。身体の違いを無視せずに、人間動画の豊かな視覚情報をロボット学習へ取り込める点が特徴です。

実験と意義

RoboCasa、CALVIN ABC→D、実世界のロボット操作で評価した結果、RGBのみの手法やロボットデータのみのベースラインに対して、継続的な改善が報告されています。ロボット側の監督量を固定した実験では、アフォーダンス注釈付き人間動画を増やすほど、RoboCasaの性能も段階的に向上しました。

この研究は、人間動画を単なる視覚事前学習データではなく、物体の機能、接触領域、未来の状態変化を伝える構造化データとして位置づけます。アフォーダンスは、動画世界モデルと具身行動生成を接続する実用的な中間層になり得ます。一方で、ロボットの形態、視点、物体、現実環境が変わっても、操作領域を正しく特定できるかは今後の課題です。

出典：Hugging Face Daily Papers