UNITAS、ロボット操作を三次元で理解する世界行動モデル

導入

ロボットが物体をつかんで別の場所へ移動させるには、単に見た目が自然な動作を生成するだけでは不十分です。ロボットはどの軌道を実行すべきかを決めると同時に、その動作によって物体や周囲の環境がどう変わるかも予測しなければなりません。世界行動モデル（WAM）は、この二つの物理的な問いを一体として扱うことを目指します。

既存のWAMの多くは動画生成モデルを基盤とし、未来の画像や視覚潜在表現によって世界の変化を表現します。しかし画像は三次元の投影であり、画素間の距離は現実の物理距離を直接示しません。精密な接触、把持、配置が必要なロボット操作では、この二次元表現が制約になる可能性があります。

UNITASは、観測と行動を最初から三次元の物理空間に置くことで、この問題に取り組みます。

主なポイント

• 共通のメートル系フレーム。 各インタラクションの中で、観測、行動、シーンの力学を同一の3D座標系に統合します。視覚的な予測から実際の運動計画へ変換する負担を減らす設計です。
• 行動を点軌跡で表現。 人の手とロボットのグリッパーを3D点の軌跡として扱い、これをaction flowとします。異なるロボット形態や人間の動作を共通の表現で記述できます。
• 行動による環境変化を記述。 scene flowは、行動軌跡を条件としてシーン上の点がどれだけ移動するかを表します。そのためUNITASは、直接的な行動生成だけでなく、行動後のシーン予測にも使えます。
• 位置と時間を明示。 世界に整合した3D位置埋め込みによって、深度入力がない場合でも視覚トークンをインタラクション空間に結び付けます。物理時間軌跡トークナイザーは、各点軌跡を現在の3D位置にアンカーされた一つのトークンへ変換します。
• 予測と制御を評価。 17億パラメータのモデルは、RoboTwinの行動条件付きシーン予測で比較手法中の最良結果を達成したと報告されています。PointWorldと比べて変位誤差は最大49%低く、LIBEROでは99.8%の操作成功率、別の操作評価では平均85%が報告されています。提供された素材には後者のベンチマーク名が完全には含まれていません。

意義と限界

UNITASの重要性は、単に深度情報を視覚モデルへ追加した点にあるのではありません。行動を画像列の変化ではなく、物理空間に置かれた軌跡として扱い、結果を「もっともらしい次フレーム」ではなく、計測可能なシーン点の移動として表現するインターフェースを提案しています。

この設計は、ロボットの形態差と人間からロボットへのデモ転移に関係します。関節構成や制御空間が異なるロボットでも、空間的な相互作用を3D軌跡のレベルで共有できる可能性があります。また、人の手とロボットのグリッパーを同じ形式で表すことで、データ表現の隔たりを小さくできるかもしれません。

一方、報告結果は提示されたベンチマークに基づくものであり、遮蔽、センサー誤差、未知物体、長期計画を含む開放環境での汎化まで証明するものではありません。それでもUNITASは、カメラが次に見る画像だけでなく、行動が物理世界をどう変えるかを予測する、具身世界モデルの方向性を示しています。

出典：Hugging Face Daily Papers