WATCH、動画間学習で汎用的な世界・行動モデルを訓練

導入

ロボットが未知の環境で作業するには、画像を認識するだけでは不十分です。どのような行動が物体や環境の状態をどう変えるのかを理解し、その知識を別の場所や別のロボットでも利用する必要があります。世界・行動モデルは動画事前学習から視覚的・物理的な先験知識を得られますが、同一動画内の次フレーム予測だけでは、画面の連続性を利用して予測できてしまいます。その場合、カメラ視点や物体配置を追跡しても、転移可能な相互作用を学べるとは限りません。

論文「Learning Transferable World-Action Models from Task-Paired Human Videos」は、この問題に対してWATCHを提案しています。

発想：動画内予測から動画間予測へ

WATCHは、異なる環境で収集された、タスクによって対応付けられた人間の実演動画で学習します。ある実演の動画と行動を条件として、別の実演の現在の観測から、その実演の将来の行動とフレームを同時に予測します。

この学習目標には次の特徴があります。

• 入力と予測対象が同じ映像ではないため、単純な見た目の連続性に頼りにくい。
• タスクに関係する状態変化、動作の対応、環境との相互作用を抽出する必要がある。
• 人間とロボットが完全に対応した実演を用意しなくても、人間同士のタスク対応データで事前学習できる。

つまり、動画の続きを当てる学習を、シーン内の時間的推定から、タスクを介したシーン間の推論へと置き換えています。

実験で示されたこと

ロボットによる追加学習の前段階では、WATCHが異なる身体構成の間で動作をよりよく対応付け、未見のロボットに対する行動予測と動画予測も改善したと報告されています。内部表現は、ロボット同士の対応データで学習した表現にも近づきました。これは、人間動画が見た目だけでなく、ロボットにも利用可能なタスク構造を含み得ることを示唆します。

追加のロボット学習後、MimicDroidのインコンテキスト成功率は、Cosmos Policyとの組み合わせで40.9%から68.3%へ、Cosmos3との組み合わせで59.8%から77.7%へ向上しました。特に未知のレベルでの改善が大きかったとされています。コンテキストなしの追加学習や異なるロボット身体にも効果が残り、動画内事前学習や共同学習のベースラインも上回りました。

意義と今後の確認点

WATCHの意義は、人間動画を「次に見える画面」を予測する素材から、タスクに共通する行動と状態変化を学ぶ素材へと位置付け直した点にあります。人間の実演を大量に利用できれば、環境やロボットごとに厳密な対応データを集める負担を減らし、少量のロボットデータで適応する道が開けます。

一方、今回の素材だけでは、データ規模、タスク構成、モデルの詳細、評価条件は確認できません。多様な作業や実環境でも同じ効果が安定するかは、論文全文と今後の検証を待つ必要があります。

出典：Hugging Face Daily Papers