EmbodiedCLBench、具身エージェントの継続学習を検証

導入

一度見た動作を繰り返すだけのロボットは、継続学習を実現したとは言いにくいでしょう。現実の環境で活動するエージェントには、経験を蓄積し、役立つ技能を保持し、これまで見たことのない課題に合わせて再構成する能力が求められます。重要なのは、単に覚えることではなく、学んだ技能を別の状況へ移すことです。

EmbodiedCLBenchは、この問題を具身シミュレーションの中で評価するためのベンチマークです。従来の継続学習研究は、具身性を持たない設定に集中する傾向がありました。本研究は、まず基礎タスクを学習させ、その後、既存技能の組み合わせで構成される未知の高度なタスクに挑戦させます。

主なポイント

• 構成的汎化を中心に評価。 基礎タスクと、未見の組み合わせによる高度なタスクを分離することで、単純な記憶と技能の再利用を区別します。
• 経験の取得から転移までを見る。 最終的に成功したかだけでなく、過去の相互作用から後続タスクに使える情報を取り出せるかを問います。
• ゼロショットでは高度な課題が難しい。 関連経験がない場合の性能は低い一方、基礎タスクで得た経験を与えると、安定した改善が見られます。
• 複雑化しても経験の効果は残る。 タスクが難しくなっても経験による利点は維持されます。ただし、効率的な継続学習が確立されたことを意味するわけではありません。
• サンプル数の増加がそのまま成長につながらない。 学習サンプルを増やしても、性能向上は比例しません。現在のエージェントは追加経験から、再利用可能な情報を十分に取り出せないようです。

意義と今後の課題

このベンチマークは、具身エージェントの評価軸を広げます。通常のテストでは現在の指示を実行できるかを確認しますが、継続学習では、過去の知識を保持できるか、新しい状況へ適応できるか、複数の技能を組み合わせられるかが重要になります。

また、課題はデータ量だけではないことも示唆されています。多くの経験を得ても、それを整理し、選別し、転移可能な知識として保存できなければ、能力は大きく伸びません。今後は、経験表現、記憶の選択、タスク分解、タスク間転移などの仕組みが重要になるでしょう。

今回の素材では、タスク数や成功率、各手法の詳細な順位までは示されていません。そのため、EmbodiedCLBenchは特定のエージェントを決定的に評価するものというより、研究上の共通課題を明確にする基盤として捉えるのが適切です。公開されたコードとデータセットは、どの経験を残すべきか、試行錯誤を持続的な能力へ変えるには何が必要かを検討する出発点になります。

出典：Hugging Face Daily Papers