ロボット群が経験を共有、実運用から方策を継続改善

背景

実験室で高い性能を示したロボット方策でも、実運用では物体の位置や環境の細かな違いによって失敗することがある。従来の改善方法では、遠隔操作者が実行を監視し、失敗時に介入して修正操作を与える。しかし、ロボットの台数が増えるほど、すべての実行を人間が見守る仕組みは大きな負担になる。

論文「Learning from Fleet Experience: A Collective Learning Paradigm for Robots」は、集団経験学習（Collective Experience Learning、CEL）を提案した。これは、配備されたロボットがすでに生成した実行経験を共有し、共通の方策を改善する考え方である。新たな専門家デモを失敗のたびに収集することが主眼ではない。

仕組みの要点

• 失敗を検索の手がかりにする。 CELの実装である失敗誘導経験検索ファインチューニング（FERT）は、失敗の前後にある文脈を取り出し、ロボット群で共有された成功軌跡のデータベースから関連する区間を検索する。
• 成功した行動を教師信号にする。 検索された軌跡には、似た状況で機能した行動系列が含まれる。システムはそれらを方策更新の監督信号として利用し、失敗した状況でより適切な動作を選びやすくする。
• 追加の修正操作を抑える。 FERTは、新たな専門家デモや訂正操作を集めずに方策を改善することを目指す。初期方策や既存データが不要になるという意味ではなく、配備後の継続的な人手介入を減らす設計である。
• 非同期処理で運用を継続する。 耐障害性非同期訓練システム（FATS）は、経験収集、方策最適化、更新方策の配布を調整する。一部のロボットで局所的な中断が起きても、群全体の学習を止めないことを狙う。

実験結果

5つの実世界マニピュレーションタスクで評価した結果、訓練データの収集に使っていないロボットに対して、成功率は93.3〜99.2%となった。各タスクは120試行で評価されている。多段階のスマートフォン包装では、初期成功率79.2%から、96台のロボットによる学習後に98.3%へ向上した。1台あたりの収集時間を固定した場合、ロボット群を大きくするほど経験量が増え、FERTも多くの評価条件で高い成功率を示した。

意義と今後の課題

CELの意義は、ロボットを1台ずつ改善するのではなく、群全体を共有学習システムとして扱う点にある。台数が増えれば、環境の変化に遭遇する機会も増える。あるロボットが得た有効な成功例を共有できれば、他のロボットの方策改善にも利用できる。

一方、提示された資料では、検索手法の比較、データ品質の管理、異なるハードウェアや環境への一般化に関する詳細までは示されていない。異種ロボットや大きな分布変化の下でも安定するかは、今後の検証が必要である。それでも本研究は、実運用中に得られる成功経験を次の方策更新へつなぐ、スケーラブルなロボット学習の方向性を示している。

出典：Hugging Face Daily Papers