記憶を計画に変えるMaP-WAM、ロボットの長期操作を効率化

2026年9月11日読了目安 3 分

導入

ロボットが長い操作タスクを実行する場合、現在のカメラ画像だけを見ていては不十分です。どの作業が終わったのか、物体が以前どこにあったのか、現在の段階を終了してよいのかといった情報が、次の行動を左右します。このようなタスクは非マルコフ的であり、現在の観測だけに依存する方策には限界があります。

MaP-WAM（Memory as Plans）は、ロボットの記憶を扱う方法を再設計します。過去の履歴全体を毎回実行器へ入力するのではなく、まず長期記憶を実行可能な計画へ変換し、その計画を条件として行動を生成します。

エピソード記録による記憶：完了した作業セグメントを、言語指示と疎な視覚コンテキストの組として保存します。言語要約だけの場合より視覚的な証拠を残しやすく、画像履歴を無制限に増やす方法より計算量を管理しやすい設計です。
計画と実行の分離：長期のマルチモーダル履歴を読む計画段階と、計画に従って動作する実行段階を分けます。計画器は次のセグメントの言語計画と視覚的ガイダンスを生成します。
行動と進捗の同時予測：World-Action-Progressモデルは、行動チャンクだけでなく、現在の計画がどこまで進んだかも推定します。セグメントごとに所要時間が異なっても、固定時間ではなく進捗に基づいて切り替えられます。
観測による閉ループ更新：計画と現在の観測を対応付け、予測した進捗を補正します。ある段階の完了が確認されれば、文脈を更新して次の計画へ進みます。
固定長の実行コンテキスト：実行器の入力長を固定し、構造化アテンションによって計画と実行の双方でキー・バリューキャッシュを利用できます。

MaP-WAMの重要な点は、記憶を単なる過去観測の列として扱わないことです。記憶を、言語的な意図と選択された視覚情報を含む中間計画に変換することで、長期タスクに必要な情報を残しながら、毎回すべての履歴を処理する負担を抑えようとしています。

一方で、計画器が重要な視覚情報を落とす可能性や、進捗推定が不正確な場合に切り替えが早すぎたり遅すぎたりする問題は残ります。したがって、計画の生成だけでなく、計画と観測の整合性をどう確保するかが実用化の鍵になります。

論文では、MaP-WAMがRMBenchで当時の最高性能を達成したと報告されています。より広い意味では、ロボットの長期記憶を「すべて保持する」方向から「次の行動に使える計画へ変換する」方向へ転換する設計として注目されます。