A²-MEASが示す、失敗から立て直すロボット制御

導入

視覚や言語の指示に従えるロボットでも、複数の工程からなる作業を自律的に完了できるとは限りません。家庭内の作業では、把持の失敗、対象物の見失い、挿入位置のずれなど、一度のミスが後続の工程全体に影響します。「Toward the Era of Agentic Embodied Intelligence」が提案するA²-MEASは、失敗の診断と復旧を、外部からの一時的な介入ではなく制御ループの一部に組み込もうとするものです。

仕組み

A²-MEASは、コードをモジュール間の通信と拡張のインターフェースとして使う具身型マルチエージェント・フレームワークです。学習される訂正コードには、基盤モデルによる修正指示、ロボットが観測した空間的証拠、直前に試した行動の履歴、次に取るべき行動の候補が含まれます。ここでいうコードは通常のプログラムではなく、状態、診断、行動意図を伝える構造化された情報です。

MetaBrainは学習時の監督と実行時のガイダンスを担います。訂正エンコーダーとアダプターは、訓練中にこの情報をポリシーへ吸収します。一方、実運用ではメインの重みを固定したまま、新しい訂正コードによって振る舞いを変えられます。汎用的な行動ポリシーの学習と、未知の失敗への適応を分離する設計です。

行動モデルA2-WLAは、視覚言語行動ポリシーに、運動を考慮した履歴と潜在世界モデルを加えます。現在の画像だけでなく、直前の動きや、行動が環境をどう変えるかに関する内部表現も利用するため、工程間の依存関係が強い作業に向いています。

主な結果

論文では、シミュレーションと実ロボットの双方で次の結果が報告されています。

• BEHAVIOR 2026の公開50タスクでは、オンライン訂正を行う前にQ-score 0.5755を達成しました。2025年の優勝結果として報告された0.2605との比較も示されていますが、ベンチマークの版や学習設定が異なるため、厳密な対照比較ではありません。
• 公開100タスク全体では、A²-MEASのQ-scoreは0.6411、タスク成功率は45.40%でした。チームは2026年のBEHAVIOR Challengeで世界4位になったとも報告しています。
• RoboTwin 2.0では、A2-WLAの平均成功率が93.98%、完全なシステムでは95.05%となりました。
• 5種類の家庭環境における12の実ロボットタスクでは、A2-WLAが平均57.92%を達成し、pi0.5の26.67%を上回りました。ポリシーを固定した試験では、単独で120回中50回、訂正インターフェース付きで63回を完了しています。
• 長期的なドリップコーヒー作業では、履歴条件付きアダプターにより、フィルター処理の2工程で失敗後の完了率が14%から94%、8%から82%へ上昇しました。比較対象はA2-WLAによる単純な再試行です。

意義と限界

重要なのは、「次の動作を予測する」だけでなく、「なぜ直前の動作が失敗したのか、次は何を変えるべきか」を扱う点です。訂正レイヤーは既存の行動ポリシーを再利用しやすくし、基盤モデルとロボット制御器の役割分担も明確にします。

ただし、結果は特定のベンチマークと作業条件に基づくものです。未知の物体や配置、失敗が連続する状況で訂正コードがどこまで一般化するかは、まだ十分に示されていません。今後は、人の介入が少なく、環境の変化も大きい家庭内作業で、復旧能力を安定して維持できるかが焦点になります。

出典：Hugging Face Daily Papers