ロボットがロボットから学ぶ：96台で検証された具身知能の新手法

導入

具身知能を実験室から実社会へ広げるには、モデルの性能だけでなく、学習に使える実世界の経験をどう増やすかが重要になる。従来は、人が動作を実演したり、ロボットの失敗を手作業で修正したりする方法が中心だった。しかし、導入するロボットが増えるほど、同じ速度で人間の指導者を増やすことは難しい。清華大学、無問芯穹、智元のチームは、この課題に対して「群体経験学習（Collective Experience Learning、CEL）」を提案した。

実験で示されたこと

• 経験を群体で共有する。 あるロボットが見つけた有効な動作を蓄積し、似た状況に直面した別のロボットが検索して利用する。成功例は模倣の材料となり、失敗例は修正すべき箇所を示す。
• 5種類のタスクを評価した。 花のアレンジ、衣類の折りたたみ、スマートフォンの充電、椅子の組み立て、スマートフォンの包装が対象となった。
• 未参加ロボットでも高い成功率を示した。 訓練に参加していない2台は600回の試行で15回失敗し、全体の成功率は97.5%だった。5タスクすべてで、6人の人間作業者の平均を上回ったと報告されている。
• 複数工程の作業で改善した。 スマートフォン包装の成功率は79.2%から98.3%に上昇し、120回の連続試験では失敗が2回だった。

仕組みを支えるシステムとアルゴリズム

チームは大規模強化学習フレームワークRLinfを基盤に、耐障害型の非同期訓練システムを構築した。ロボットは作業を終えると経験をすぐにアップロードでき、他のロボットの完了を待たずに訓練を進められる。通信の揺らぎ、機器の切断、ハードウェア故障が起きても、群体全体が動き続けることを狙った設計だ。

96台の試験では、9834回の実行経験を収集した。22台で計30回の故障が発生したが、ロボット稼働時間の損失は全体の1.3%だったという。実機を使う継続学習では、すべての装置が常に正常に動くとは限らないため、この耐障害性は実用化を考えるうえで重要になる。

アルゴリズム面では、失敗誘導型の経験検索微調整手法FERTを採用した。数分間に数千の動作を含む作業でも、得られる報酬は最後の「成功」または「失敗」だけという場合がある。FERTは成功軌跡から有効な行動を探し、失敗軌跡から改善候補を絞り込むことで、疎なフィードバックを学習に利用しようとする。

意義と残された課題

訓練に参加したロボット数を16台から96台へ増やすと、成功率は86.7%から98.3%へ上がった。これは、ロボットの規模が単なる配備数ではなく、経験を生み出す学習資源になり得ることを示す結果だ。

一方、検証対象は5つのタスクに限られる。異なる物体、環境、ロボット構成へどこまで転移できるかは今後の課題である。経験データの品質管理、機体間の差、安全制御も実運用を左右する。CELは、単体の能力向上からロボット群全体の継続的な進化へ進むための、具体的な研究方向を示したといえる。

出典：量子位