ACCRUE、過去の技能を保ちながらロボットの新たな学習を加速

背景

ロボット基盤モデルは、デモンストレーションから幅広い操作能力を獲得できます。しかし実環境で運用するロボットには、最初のタスクを学ぶだけでなく、その後も新しい作業を追加しながら、以前の技能を失わないことが求められます。新タスクへの適応を強くすると、既存の方策が上書きされるという問題が起きます。

従来の継続的強化学習は忘却の抑制を重視する一方、VLAモデル上ではオンポリシー更新に依存することが多く、過去の経験を十分に再利用できない場合があります。オフポリシー手法は単一タスクのサンプル効率を高められますが、タスクをまたいで学習器を維持する仕組みは十分ではありません。ACCRUEは、この二つの課題を一つの枠組みにまとめます。

ACCRUEの仕組み

• 基盤モデルを固定する。 強化学習中も大規模なロボット基盤モデルは更新せず、基盤方策の行動を補正する軽量なactorとcriticだけを学習します。これにより追加のGPU負荷を抑え、基盤モデルの表現を頻繁に変えることによる不安定化も避けます。
• actor-criticを次のタスクへ継承する。 タスクが終わっても学習器を初期化せず、次のタスクへ持ち越します。継承されたcriticは現在タスクの遷移データだけで適応し、actorの更新に価値情報を与えます。actorは、過去の強化学習で身につけた行動の初期状態になります。
• 少量の過去データで忘却を抑える。 過去タスクの全データを保存するのではなく、少数のエピソードをキャッシュします。新タスクの学習中は、その履歴から得た行動目標へactorを蒸留し、既存の技能から大きく逸脱しないようにします。
• リプレイの互換性を維持する。 視覚特徴を固定することで、継承された学習器とリプレイデータの互換性を確保します。これは、過去の遷移を再利用するオフポリシー継続学習を安定させる要素です。

実験結果

研究では、接触を伴う組立タスクの系列を対象に、シミュレーションと実機で評価しました。実機では、各タスクを少数のデモンストレーションから始め、その後の強化学習データをロボット自身との相互作用から収集しています。π0.5とFastTD3を組み合わせた実験では、直近20エピソードで成功率95%に達する停止条件を、後続タスクで約4〜12分のロボット相互作用により満たしました。

タスクごとに独立して単一タスク強化学習を行う場合と比較すると、AutoMate組立スイートでは相互作用時間を31.0〜68.5%削減しました。NIST組立スイートでは38.7〜42.9%の削減となっています。ここでいう時間にはオンラインのウォームアップが含まれますが、デモ収集と基盤モデルのファインチューニングは含まれません。

忘却の抑制も重要な評価項目です。一連のタスクを完了した後、過去6タスクに対して120回中118回の成功、全体で98.3%の成功率を記録しました。また、シミュレーションではGR00TとFastSACを用いた評価も行われています。

意義と今後の課題

ACCRUEの特徴は、ロボットの適応を毎回の再学習ではなく、知識が蓄積する過程として設計した点にあります。大規模モデルの汎用性を保ったまま、タスクに適応した行動と価値判断を小型の学習器へ保存するため、物理的な相互作用が高コストな実機運用と相性がよい設計です。

一方、結果は組立タスク系列と特定のモデル・アルゴリズムの組み合わせに基づいています。タスク間の類似性、保存するリプレイの量、固定視覚特徴の安定性が転移性能を左右する可能性があります。より異質なタスクや長期的な運用で、どこまで技能を維持できるかは今後の検証課題です。

それでも、過去のactor-criticを継承し、少量の記憶で既存技能を守りながら、新タスクにロボットの相互作用を集中させるという設計は、持続的なロボット学習に向けた実践的な方向性を示しています。

出典：Hugging Face Daily Papers