ZimaBlue、大規模な身体動画で汎化可能なロボット世界行動モデルを学習

導入

ロボットによる物体操作では、未知の環境や対象へ対応するために、幅広い物理世界の経験が必要になる。しかし、行動ラベル付きのロボット軌跡を集めるには、実機、操作者、センサー、時間が必要であり、データの種類も特定のロボットや環境に偏りやすい。ZimaBlueは、この制約を緩和するため、より大規模に収集できる一人称動画をロボット学習の経験源として利用する。

3段階の学習設計

ZimaBlueが学習するWorld Action Model（WAM）は、動画から得た視覚的な世界理解と、ロボットが実行可能な行動の間をつなぐモデルとして位置づけられている。学習は次の3段階で進む。

• 身体動画による事前学習：まず、人間とロボットの一人称動画を使い、因果的な身体動画学習を行う。物体との相互作用、接触の変化、道具の使用、長時間にわたる行動などを、時間的な映像の変化から学ぶ。行動ラベルを必須としないため、利用できる動画の範囲を広げられる。
• 動画・行動の中間学習：次に、異なるロボットから集めた軌跡を導入する。統一された行動表現によって、動画で学んだ視覚的ダイナミクスを、実行可能なロボット行動へ接続する。これは単一のロボットの操作信号を模倣するだけでなく、異なる身体構成の間で対応関係を作る段階である。
• 対象ロボットへの適応：最後に、実際に配置するロボットに合わせてモデルを専門化する。汎用的な視覚・動力学の知識を残しながら、対象機の行動インターフェースや身体的制約に適応させる。

生成モデルを制御に使う際の遅延も課題になる。そこでZimaBlueは、Slow-Fastの非同期デュアルシステムを採用する。高容量のSlow世界モデルは汎化可能な時空間表現を担い、軽量なFast分岐は行動予測を担当する。概要では、NVIDIA RTX 4090上でFast分岐が30 Hzの行動予測を実現すると説明されている。

評価結果と読み方

実機によるゼロショット評価では、対象ロボットのデータだけを使った場合の成功率36.1%に対し、12万時間を超える身体動画まで学習規模を拡大すると77.8%になったと報告されている。この結果は、動画事前学習が単なる外観認識にとどまらず、物体の動き、接触の進行、複数段階の相互作用に関する再利用可能な事前知識を与えうることを示唆する。

ただし、動画には通常、正確なモーター指令、力覚、対象ロボット固有の制約が含まれない。そのため、観察した行動を別のロボットで安全かつ安定して再現するには、動画・行動の接続と対象機向け適応が依然として重要になる。提供された概要には、タスクの詳細な内訳、データセットの構成、各要素のアブレーション結果は示されていないため、動画量の増加があらゆる条件で同じように効果を持つとまでは判断できない。

意義

ZimaBlueの意義は、ロボットデータの拡張方法を分業として捉えた点にある。ロボット軌跡はプラットフォーム上での実行方法を学ぶために使い、大量の動画は物理世界で起こる多様な相互作用を補う。報告された傾向が他のロボットやタスクでも再現されれば、ロボット学習は高価な実機データだけに依存せず、大規模動画事前学習と少量の対象機適応を組み合わせる方向へ進む可能性がある。

Slow-Fast構成も実用面で示唆的だ。豊かな世界表現の学習と、制御ループが要求する低遅延の行動予測を同じ計算経路ですべて処理する必要はない。非同期に役割を分けることで、モデル容量とリアルタイム性を両立できるかが今後の重要な検証点になる。

出典：Hugging Face Daily Papers