記事一覧へ戻る
ロボティクス・フィジカルAI

EgoX:異なる身体を持つロボット間で操作経験を共有する

読了目安 4 分

導入

ロボット操作モデルは、特定のハードウェア向けに学習されることが多くあります。しかし、関節構成、カメラ視点、エンドエフェクタ、センサー、制御命令はロボットごとに異なります。人間の実演、複数の実ロボット、シミュレーションエージェントのデータには相補的な情報が含まれる一方、その違いを無視して混ぜることは困難です。EgoXは、異なる身体を持つエージェントの経験を共有するための枠組みを提案します。

共有主幹とモジュール化された入出力

EgoXは、第一視点のデータを中心とするクロス・エンボディメント学習フレームワークです。意味的に対応する観測・行動モダリティを整理し、Embodiment Dreamingを備えたModularized Cross-Embodiment Transformer、すなわちMXT+を事前学習します。その後、対象となる具身のデモンストレーションで微調整します。

MXT+の特徴は、すべてのロボットを同一の生データ形式に無理に変換しない点です。

  • 観測モダリティごとに専用のトークナイザーを割り当てる
  • 行動モダリティごとに専用のエキスパートを用意する
  • 具身をまたいでTransformerの主幹を共有する

これにより、プラットフォーム固有のインターフェースと、共有可能な操作知識を分離できます。視覚、固有受容、制御信号の形式や次元が異なる場合でも、境界部分は専用モジュールが処理し、主幹はより抽象的な規則を学習できます。

具身想像が担う役割

EgoXには、学習時だけ使われる補助目標「Embodiment Dreaming」があります。モデルは現在の情報から、将来の視覚状態と固有受容状態の潜在表現を予測します。完全な未来画像を生成することが目的ではなく、各具身が時間とともにどのように変化するかを共有主幹に学習させることが狙いです。

この目標により、モデルは行動とその結果を結び付ける必要があります。良い共有表現は、物体の見え方だけでなく、ロボットがどのように動き、状態を検知し、次の観測を変えるのかも捉える必要があります。報告されたアブレーションでは、具身想像によって具身間の潜在空間の幾何がより近くなり、それぞれの動力学も維持されました。

実験結果

評価は5つのタスク、6種類のロボット具身、13のタスク・具身組み合わせで行われました。内訳には5種類の実ロボットと1体のシミュレーション人型ロボットが含まれます。ゼロから学習する場合と比べ、クロス・エンボディメント事前学習によって平均正規化タスク進捗は0.63から0.80に向上しました。分布外条件では0.53から0.77となり、改善幅はさらに大きくなっています。

アブレーションは、より広い事前学習データの混合、モジュール化されたインターフェース、具身想像の有効性を示しています。ただし、提示された情報はタスクやロボットごとの個別スコアまでは含んでいません。そのため、数値は全体傾向を示す結果として解釈するのが適切です。

意義と課題

EgoXは、ロボット基盤モデルを単一ハードウェアのデータだけで構築する必要はないことを示す一つの方向性です。新しいロボットごとに大規模なデータを最初から集めるのではなく、複数具身で事前学習し、対象ロボットのモジュールと少量のデータで適応する可能性があります。分布外の状況で効果が大きかった点も重要です。

一方、転移には観測と行動の間に意味的な対応関係が必要です。新しいプラットフォームには専用トークナイザーと行動エキスパートが必要になる場合もあります。今後、より多様な形態、複雑なタスク、大規模な実世界データへ拡張できるかは、追加検証を要します。

出典:Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
ロボットエージェントは課題を学ぶのか、それとも検証器を学ぶのか
ロボティクス・フィジカルAI
cctest.ai

ロボットエージェントは課題を学ぶのか、それとも検証器を学ぶのか

具身エージェントの研究は、ベンチマークの成功条件を公開すると元の検証器でのスコアは急速に伸びる一方、検証器固有の過適応を招く可能性を示した。指示に忠実な評価基準が、実際の課題達成度を測る鍵になる。

続きを読む
CCTest · Blog
ロボットを世界の中で学習させるRoboScript、重み更新なしで操作技能を適応
ロボティクス・フィジカルAI
cctest.ai

ロボットを世界の中で学習させるRoboScript、重み更新なしで操作技能を適応

RoboScriptは、凍結したモデルにシミュレーション内で操作タスクを反復練習させ、得られたフィードバックを重みではなくコンテキストへ保存する「World In-Context Learning」を提案します。RoboTwin 2.0の50タスクで、各タスク1回のデモンストレーションにより83.4%の平均成功率を報告しました。

続きを読む
CCTest · Blog
LingBot-Touch、異種触覚センサーをつなぐロボット向け基盤モデル
ロボティクス・フィジカルAI
cctest.ai

LingBot-Touch、異種触覚センサーをつなぐロボット向け基盤モデル

Robbyantは、圧抵抗式、磁気式、視覚触覚センサーにまたがる表現を学習するLingBot-Touchを提案した。生成された触覚トークンは、拡散ポリシーやVLAモデルに組み込めるという。

続きを読む