記事一覧へ戻る

O²LaF、動画モデルの事前学習を潜在行動の学習に活用

読了目安 3 分

動画は環境がどう変化したかを記録しますが、その変化を引き起こした行動までラベル付けされていることはまれです。ロボットや世界モデルにとって、これは視覚データから結果は観察できても、環境の振る舞いを学ぶための行動教師信号が不足することを意味します。潜在行動学習は映像の変化から隠れた行動を推定しますが、従来の手法では動力学の多くを一から学ぶ場合があります。O²LaFは、事前学習済み動画モデルを行動推定と結果予測の双方の土台として使います。

ひとつの事前学習、ふたつの動力学

O²LaFは、同じ事前学習済み動画拡散Transformer(DiT)から、役割の異なる二つのモデルを初期化します。逆動力学側は、学習可能な行動クエリを使うフィードフォワード型の遷移エンコーダーで、動画状態の変化から潜在行動を取り出します。順動力学側は、因果的な構造を持つ行動条件付き動画生成器で、行動を条件に次の映像を予測します。初期化元は共通ですが、ひとつのモデルにすべてを担わせるのではなく、それぞれの役割に合わせて適応させます。

学習では、各モジュールが参照できる情報を制御し、それぞれが担当するタスクから逸脱しないようにします。推定した行動表現はコンパクトなボトルネックを通ります。二つの動力学をエンドツーエンドで最適化することで、行動コードが観測された状態遷移を表し、さらに次に起きる変化の予測にも役立つようにします。学習に使うのはラベルのない動画で、クリップごとの人手による行動注釈は必要ありません。

論文が報告する成果

  • ナビゲーションとロボット操作で、少数例による行動プロービングの新たな最高性能を達成したと報告しています。
  • 視覚的な文脈や身体の異なる環境をまたぐゼロショット行動転移が強化されたとしています。
  • V-JEPA2などの予測表現を事前学習として用いる構成にも拡張し、競争力のある性能を報告しています。

この結果は、事前学習済み動画モデルが映像生成だけでなく、行動と環境変化の関係を学ぶ出発点にもなり得ることを示唆します。行動表現が異なる場面にも転移するなら、ロボットは動画観察から、単なる視覚特徴より制御に近い知識を得られる可能性があります。また、順動力学の予測器は、潜在行動がその結果を説明できるかを確かめる手段になります。

一方、提供された概要にはベンチマーク名、数値による改善幅、詳しい実験条件が記載されていません。そのため、報告された優位性の大きさや、転移が成立する具体的な条件までは判断できません。今後は、コンパクトな行動表現がより複雑なタスクを扱えるか、事前学習の種類によって結果がどう変わるか、実機ロボットでどのように動作するかが検証点になります。現時点での主な貢献は、共通の事前学習を基盤に、逆動力学と順動力学を別々に適応させる潜在行動学習の枠組みです。

Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
動作の違いが結果をどう変えるかを学ぶ世界モデル「AFFECT」
世界モデル
cctest.ai
世界モデル

動作の違いが結果をどう変えるかを学ぶ世界モデル「AFFECT」

見た目の自然な動画を生成できても、わずかな動作の違いが結果に及ぼす影響を捉えられるとは限りません。AFFECTは動作の摂動と視覚的変化の対応を学習し、ロボットの予測や計画の改善を目指します。

続きを読む