WorldToken、時間を軸にロボット模倣学習を組み立てる

導入

ロボットの模倣学習ポリシーは、各判断時刻で複数の情報を扱います。マルチビュー画像、関節やエンドエフェクタの状態、さらにタスクを示す条件情報です。これらを系列モデルへどのように並べるかは、単なる実装上の選択ではなく、世界の変化を学習する方法そのものに関わります。WorldTokenは、この問題に対して「時間優先（time-first）」の系列構成を提案しました。

手法の要点

WorldTokenでは、同じ方策時刻に得られた複数視点の画像、固有感覚、タスク条件を1つのworld tokenへ統合します。連続する時刻のトークン列を因果Transformerへ入力し、過去の観測から現在の行動を予測します。出力側には拡散アクションヘッドを用い、単一の動作ではなく行動チャンクを生成します。

重要なのは、同一時刻の異種情報をまとめ、時刻間の関係を上位の系列として扱う点です。画像、状態、言語をそれぞれ長い系列として並べる構成とは異なり、モデルが「世界が時系列でどう変化したか」を中心に表現を学ぶことを狙っています。ただし、提供された結果には他の系列構成との直接比較がないため、この方式が常に優れているとは結論できません。

実験から分かること

23のRoboCasaタスクで、凍結した事前学習済みCLIPテキストエンコーダ以外をスクラッチから学習した8530万パラメータのポリシーは、各タスク2900件の生成デモを使って平均59.45%の閉ループ成功率を達成しました。データ量5種類、モデル規模5種類、学習シード2種類を組み合わせた実験では、対象領域のデータを増やすと性能が一貫して向上しました。一方、モデル規模を中程度以上に拡大すると、改善幅は小さくなりました。

履歴の長さも大きな要因です。同じチェックポイントで可視履歴を1または2方策時刻まで削ると、RoboCasaの50ポリシーすべてで閉ループ成功率が低下しました。RMBench Blocks Rankingでは、見える履歴を146秒から8秒へ短縮すると、評価器の成功率が95%から28%に落ちました。探索的な長時間ロールアウトでは、参照交換の順序動作が850秒を超えて維持されています。ただし、これは特定の評価設定で得られた結果であり、一般的な長期能力を直接証明するものではありません。

意義と限界

WorldTokenは、時刻内のマルチモーダル融合と、時刻をまたぐ因果モデリングを明確に分けた実装例です。結果は、ロボット操作ではパラメータ数を増やし続けるより、対象領域のデータと十分な時間履歴を確保する方が重要になり得ることを示唆します。

一方で、論文が示すのは完全なWorldToken実装の経験的な実行可能性と、特定の学習設定におけるデータスケーリングおよび時間コンテキストの挙動です。各構成要素の寄与を個別に分離したわけでも、別の系列設計に対する優位性を証明したわけでもありません。より厳密な比較、タスク間の汎化、実機での検証が今後の課題です。

出典：Hugging Face Daily Papers