RoboTryOn：人間の動画をロボットの実演データに変換

ロボット基盤モデルの制御性能は向上していますが、新しいタスクへ適応させるには、依然として遠隔操作による実演データが必要になることが多いのが現状です。高品質なデータの収集は費用と時間がかかり、ロボットの形態やタスクが増えるほど負担も大きくなります。RoboTryOnは、規模を拡大しやすい人間の活動動画を、ロボット学習に利用できる実演へ変換する方法を提案します。

「服」ではなく実行者を着替えさせる

名前の由来はバーチャル試着です。通常のバーチャル試着では人物や背景を残したまま服だけを変更します。RoboTryOnではこの考え方を人間からロボットへの変換に適用し、人間が行った作業、操作対象、背景、そして動作の意図を維持しながら、実行者を参照画像で指定されたロボットに置き換えます。

入力は一人称視点の人間動画です。出力は、対象ロボットが同じ作業を行っているように見える合成動画と、方策学習に使うためのアクション情報です。単に元映像へレンダリングしたロボットを重ねる方法や、人間の姿勢をロボットの関節指令へ直接写像する方法とは異なり、視覚的な不整合と高自由度ロボットで生じる制御上のずれを同時に扱おうとしています。

キーフレームと手の動きで動画を誘導

RoboTryOnはまず、動画から選んだキーフレームを自回帰的に変換します。その結果を後続の動画生成のガイドとして使うことで、時間方向のロボットの見た目をそろえます。さらに、人間の手の骨格を動作条件として利用し、物体操作で重要になる手の動きを、生成されたロボットの動きに反映させます。

ただし、自然な動画を作るだけでは制御方策の学習には不十分です。そこで研究チームは逆動力学モデルを使い、合成動画からアクションラベルを推定します。このモデルは深度特徴も取り入れており、RGB画像だけでは曖昧になりやすい物体との距離や空間的な関係を補います。これにより、出力を見た目だけの映像ではなく、学習用の合成実演として扱えるようにします。

結果が示す可能性と課題

複数のヒューマノイド形態を対象にした実験では、新規タスクや難しい両腕操作が評価されました。論文によると、対象タスクについて実ロボットの実演を追加しなくても、RoboTryOnの合成データで学習した方策の平均成功率は2%から60%へ向上しました。また、遠隔操作データだけで学習した方策に近い性能を、データ収集コスト約3分の1で達成したと報告されています。

この研究の意義は、人間動画の豊富さと、ロボット制御に必要な実演データの不足をつなぐ点にあります。ロボットやタスクごとに遠隔操作を繰り返す必要を減らし、異なる形態へのデータ展開を容易にする可能性があります。

一方、見た目が整った動画が、そのまま物理的に正しい接触や力、関節軌道を表すとは限りません。遮蔽、物体との接触、ロボット形態の違い、アクション推定の誤差は、実機への移行時に重要な問題になります。今後は、生成データが実環境でどの程度安定して通用するのかを、より広いロボットと条件で検証する必要があります。

出典：Hugging Face Daily Papers