GE-Act 2.0、ロボット向け世界行動モデルの事前学習と拡張を検証

はじめに

ロボットが物体を見つけるだけでは、操作は完了しない。現在の状態から行動したとき、シーンがどのように変化するかを予測し、その変化を実現する制御信号へ変換する必要がある。世界行動モデル（World-Action Model、WAM）は、この未来状態の予測を通じてロボットの行動計画を支援するモデルだ。行動ラベルのない動画と、行動が記録されたインタラクションの両方を活用できる点が特徴である。

AgiBot Research Teamが発表したGE-Act 2.0は、WAMをどのように事前学習し、データ規模に応じて拡張できるかを正面から検討する。既存のWAMの多くは、事前学習済み動画生成モデルを利用する。一方、GE-Act 2.0は、生成部分と行動部分をマニピュレーションデータからゼロから初期化する。

3つの構成要素

GE-Act 2.0は、次の3つのモジュールを組み合わせる。

• 制御指向オートエンコーダ（CoAE）：観測を大幅に圧縮しながら、行動や指示に必要な情報を保持する。画素を忠実に復元することだけでなく、制御に役立つ表現を作ることを重視する。
• 単一ステップ視覚プランナー（SVP）：1回の微分可能な処理で完全な未来状態を生成する。これにより、視覚的な計画と逆動力学を補完的なデータで別々に事前学習できる。
• 逆動力学モデル（IDM）：現在の状態と目標となる未来状態から、必要なロボット動作を推定する。

各モジュールはまず異なる種類のデータで学習され、その後に共同学習される。共同学習では、知識整合選択最適化（KASO）を使う。これは、モデルが予測した未来をすべて正しいものとして扱うのではなく、記録された行動と振る舞いの面で整合する予測だけを選ぶ仕組みだ。映像、行動ラベル、予測状態の間にある監督信号のずれを抑えることが狙いである。

評価結果

論文では、タスクごとの追加微調整を行わず、事前学習済みチェックポイントをそのまま評価した。対象は20のマニピュレーション技能グループにまたがる100タスクで、テスト時にはシーン、背景、照明、物体インスタンスを訓練時から変更している。

協調学習データを300時間から3万時間へ増やすと、G1-OPでの成功率は17.1％から44.1％に上昇した。G2-90Dでは13.4％から31.1％となった。G2-90Dは協調学習データの2％未満しか占めないにもかかわらず、17.7ポイントの改善が見られたという。この結果は、ロボット本体が異なっても知識が移転する可能性を示唆するが、すべての本体で同様の効果が得られることを意味するわけではない。

改善は、2つの評価条件でそれぞれ20技能中19技能、18技能に及んだ。また、技能ごとのデータカバレッジと未知分布でのゼロショット成功率には強い相関があり、Pearson相関係数は0.80、Spearman順位相関係数は0.85だった。物体、色、形状、位置への言及は少なくとも90％の試行で接地でき、既に始めた行動や一般的な場面の連想と矛盾する明示的な指示にも従ったと報告されている。

意義と課題

GE-Act 2.0の重要性は、動画生成の機能を借りるのではなく、ロボットの世界行動モデル自体を事前学習・拡張の対象として捉えた点にある。状態圧縮、未来予測、逆動力学を分離することで、動画と操作軌跡に異なる役割を与えられる。KASOは、行動と一致しない予測による学習ノイズを抑えるための設計として位置付けられる。

同時に、結果は単純なデータ量競争への注意も示している。性能向上には総時間だけでなく、技能、ロボット本体、環境のカバレッジが関わる。長期的なタスク、失敗からの復帰、実環境での安全な運用については、今後の検証が必要だ。GE-Act 2.0は、ゼロショット操作へ向けたスケーラブルな方向性を提示する研究といえる。

出典：Hugging Face Daily Papers