EmbodiedMemory-Bench、長期タスクで身体化エージェントの記憶を評価

長期タスクで問われる記憶

身体化エージェントに必要なのは、現在見えているものを認識して行動する能力だけではありません。長いタスクでは、環境内の細かな視覚情報を覚え、移動した物体の状態を追跡し、ある行動によって何が変化したかを記録しなければなりません。さらに、以前の探索で得た知識を、後の意思決定に再利用する必要があります。

既存の評価は、単発のタスクを成功できるかに重点を置くことが多く、エージェントが本当に記憶を形成したのか、単に直前の観察へ依存したのかを区別しにくいという問題があります。ZJU-OmniAIの研究チームが提案したEmbodiedMemory-Benchは、この不足を補うため、長期的なインタラクションの中で記憶を直接評価します。

四つの記憶チャレンジ

EMem-Benchは2,554件の実行可能なインタラクティブエピソードからなり、主に次の四つの能力を調べます。

• 細粒度の視覚記憶：シーンの大まかな印象だけでなく、局所的な視覚情報を保持すること。
• 動的な世界状態の追跡：観察や行動に応じて、物体や環境の状態を更新すること。
• インタラクション結果からの学習：成功、失敗、状態変化によって明らかになった情報を記録すること。
• 過去経験の一般化：以前のタスクで得た知識を、新しい判断に適用すること。

評価では、記憶を作る段階と、それを使う段階を分けています。エージェントはまず環境と交互作用して情報を蓄積し、その後に与えられるタスクを、蓄積した記憶を参照しながら行動して解決します。これは、単に入力履歴を長くする方法よりも、継続的に環境を扱うロボットの状況に近い設計です。

空間・イベント・シーンに分ける外部メモリ

研究では、Embodied-Memorizer（EMem）という外部メモリシステムも提案されています。EMemは経験を、空間メモリ、イベントメモリ、シーンメモリに整理します。空間メモリは位置や関係、イベントメモリは行動とその結果、シーンメモリは環境全体の文脈を扱うという役割分担です。長い履歴を一つの文脈として抱え込むのではなく、タスクに応じて適切な情報を取り出すことを狙っています。

さらに、これらのメモリを管理・利用する8Bの方策モデル、EMem-8Bも訓練されています。評価には複数のオープンソースおよびプロプライエタリなマルチモーダル大規模モデルと、代表的なマルチモーダルメモリシステムが含まれます。報告された結果では、既存モデルは四つの課題で依然として弱く、性能にも偏りがあります。バックボーンをそろえた比較では、EMemが評価対象のメモリシステム中で最も高い総合性能を示し、オープンモデルとプロプライエタリモデルの双方を改善しました。EMem-8Bも基盤モデルを上回っています。

研究の意味

この研究の意義は、記憶を単なる履歴保存ではなく、細部の保持、状態更新、行動結果の理解、経験の転用という複数の能力に分解した点にあります。コンテキストを拡大したり、観察ログを増やしたりするだけでは、変化する世界を持続的に管理できるとは限りません。

EMem-Benchは、今後のメモリ構造、検索方式、学習手法、計画アルゴリズムを比較する基盤になり得ます。ただし、提供された素材にはタスク別の得点や詳細な実験内訳は含まれていません。そのため現時点では、特定モデルの決定的な順位表というより、身体化AIの記憶能力に残る課題を示す評価枠組みとして捉えるのが適切です。

出典：Hugging Face Daily Papers