ロボットを世界の中で学習させるRoboScript、重み更新なしで操作技能を適応

導入

ロボットに物体をつかませたり、所定の場所へ運ばせたりするには、通常、多数のデモンストレーションと専用の学習が必要です。従来の行動ポリシーは、学習した操作技能をネットワークの重みに埋め込みます。この方法は実行時に効率的である一方、学習時に見たシーン、物体の見え方、配置などに強く結び付く可能性があります。別の環境では、同じ作業でも行動が崩れることがあります。

コンテキスト学習は、モデルのパラメータを変更せず、デモやプロンプトを一時的な知識として使う方法です。しかし、別のシーンで収録されたデモだけでは、ロボットが現在向き合っている世界からのフィードバックを得られません。そこでRoboScriptは、**World In-Context Learning（WICL）**という考え方を示します。モデルに例を見せるだけでなく、相互作用可能な世界でタスクを“リハーサル”させ、その結果をコンテキストに記録します。

手法の要点

• 視覚外観よりタスクの意味を重視：研究チームは、コンテキスト内で学ばれる情報の中心は、特定シーンの外観ではなく、手順、物体の役割、行動の関係だと捉えています。
• シミュレーションで試行：1回のデモから開始し、凍結されたモデルがシミュレーターなどの世界でタスクを実行します。失敗や結果を観察し、行動の流れを修正します。
• Task Memoryに保存：反復練習の結果はTask Memoryとしてまとめられます。勾配更新で基盤モデルの重みを変えるのではなく、タスク単位の知識として保存する点が特徴です。
• 実機で利用できる情報を分離：配置先のシーンについて、実ロボットが取得できない情報をデプロイ時に使わないよう、データを分離します。
• 反省と形態適応：反省による記憶の改善や、異なる視覚分布・ロボット形態へのメモリ適応を可能にします。

結果と意義

RoboTwin 2.0の全50タスクで、RoboScriptはクリーン設定とランダム化設定を合わせて83.4%の平均成功率を達成しました。各タスク1回のデモンストレーションのみを使い、勾配更新は行っていません。提示された論文概要によれば、最も強い訓練型行動ポリシーを20ポイント以上上回ります。さらに、視覚分布をまたぐ一般化、反省による性能向上、基盤モデルのスケールに伴う改善、物理デュアルアームロボットへのクロス・エンボディメント転移も報告されています。

この研究の重要性は、ロボット学習の構成を分けて考えた点にあります。基盤モデルは意味理解を担い、シミュレーターは試行とフィードバックを提供し、Task Memoryはタスク固有の経験を保持します。新しい経験をすべて永続的な重みに押し込むよりも、タスクごとの記憶を作成、固定、再利用しやすくなる可能性があります。

一方で、シミュレーションと現実の差、長い手順での記憶容量、実環境での安定性については、今後の検証が必要です。それでもWICLは、身体を持つエージェントの学習は必ずしも重みの変更を意味しないことを示します。世界との相互作用をループに組み込めば、コンテキスト自体が技能を獲得し改善する場所になり得ます。

出典：Hugging Face Daily Papers