REA、ロボットの高速制御と大規模モデルを非同期で連携

導入

具現知能では、高レベルの推論と低レベルの制御をどのように接続するかが重要な課題です。基盤モデルはタスクの理解や複雑な判断に優れていますが、推論遅延と提供コストのため、細かな制御を常時担うには不向きです。一方、視覚言語行動モデル（VLA）や全身コントローラは高速に動作するものの、学習分布外の状況では汎化に課題が残ります。

両者を単純に連結しても問題は解決しません。実行中のポリシーが失敗するたびに基盤モデルを待つ設計では、高速な制御が停止します。反対に、低レベルポリシーが問題のたびに上位エージェントへ戻ると、同じフォールバックを繰り返したり、明確なエラーを伴わない失敗を見逃したりする可能性があります。

REA（Routed Embodied Agent）は、この問題をランタイムの設計として捉えます。高速な反応ポリシー、具現化されたルータ、遅い熟考型モジュールを一つの実行基盤で連携させます。論文における「System 0/1/2」は、人間の認知構造を説明するものではなく、工学的な役割を示す略称です。

主な仕組み

• 推論を待たない実行：動作中のポリシーは、遅い推論モジュールの応答によって停止しません。これにより制御ループをモデルの遅延から切り離します。
• ルート記憶：利用可能なポリシーについて、事前に測定した成功実績を保存します。毎回基盤モデルに問い合わせるのではなく、蓄積データを使って候補を選びます。
• 境界での判断：判断モジュールは、すべての失敗点ではなく、あらかじめ設定した実行境界で呼び出されます。不要な呼び出しを抑えながら、目立たない失敗も確認する狙いです。
• 共有予算による段階的復旧：現在のポリシーが継続できない場合、限られた復旧予算の範囲で処理を段階的にエスカレーションします。同じ回避策を無制限に繰り返すことを防ぎます。

結果と意味

60のLIBERO-Proタスク、3000のテストエピソードで、REAは95.9%の成功率を報告しました。これは、同じポリシープール内で最良だった単一エージェントの94.7%を上回ります。さらに、制御ステップは25%、制御時間は17%削減されました。

この結果は、性能向上が単一モデルの能力だけでなく、ポリシーの選択、判断の呼び出し、失敗からの復旧を組み合わせた設計にも由来する可能性を示します。なお、提供された要約には別の100エピソード評価への言及がありますが、結果が途中で切れているため、その実験について追加の結論は出せません。

今後の課題

REAは、基盤モデルを常時ロボットの直接操作者にするのではなく、必要な場面で判断を補助する構成を示します。高速ポリシーが継続制御を担い、ルータが切り替えと復旧を管理する考え方は、実運用を意識した設計として注目できます。

一方で、ルート記憶は過去の測定データに依存します。実行境界の設定や、明示的なエラーのない失敗の検出も性能を左右します。今後は、異なるハードウェアやタスク、変化するポリシー集合、実機環境での安定性を検証する必要があります。

出典：Hugging Face Daily Papers