AgenticRoboRL、ロボットのプランナーにもポストトレーニングを導入

概要

エージェント型ロボットシステムでは、言語モデルがタスクを分解し、次に実行すべき操作を決めます。一方、ロボットハーネスは、VLA ポリシーやロボット API などのツール、さらに実行ループを提供します。これまでの改善は、より優れたハーネスや外部メモリに向かうことが多く、プランナーそのものは強力なクローズドモデルに依存しがちでした。AgenticRoboRL は、コーディングエージェントの進歩にならい、プランナーを後学習する方法を検討します。

手法の要点

AgenticRoboRL はロボットの制御器を作り直しません。既存のハーネスの中でプランナーを動かし、そのモデルだけを更新します。プランナーは、VLA ポリシーをスキルとして呼び出すことも、ロボット API を操作する Python コードを生成することもできます。

学習は主に三つの要素で構成されます。

• 教師あり微調整：より強い教師モデルが生成した成功軌跡を使い、各ターンを学生モデルが実際に受け取る形式へ変換します。これにより、タスク分解やツール呼び出しの基本パターンを学習します。
• 多ターン強化学習：ハーネスとシミュレーターの中でタスクを最後まで実行し、シミュレーターの成功判定を報酬として利用します。操作の途中で再計画や修正が必要になるため、単発の応答ではなく一連の相互作用を最適化します。
• ハーネス固有アダプター：実行方式が異なるハーネスを共通パイプラインで扱うため、アダプターがプランナーの呼び出し、トークン ID、対数確率、エピソードの結果を記録します。実行コンポーネントを固定したまま、RL の学習処理を共有できます。

公開された実装は、VLA ポリシーを呼び出すハーネスと、制御コードを生成するハーネスの二種類に接続されています。これは、ロボットがどのように動くかと、プランナーが何を決めるかを分離して評価するための設計です。

結果と意義

LIBERO-PRO では、9B パラメーターのプランナーの成功率が、外部メモリを使わずに 18.1% から 71.0% へ向上しました。外部メモリを使った Codex（GPT-5.5）の 72.1% に近い水準です。モデルを大型化したり、記憶機構を追加したりするだけでなく、実行結果を学習に戻すことでも、既存プランナーのツール利用能力を大きく改善できる可能性を示しています。

実装面でも、既存の VLA、ロボット API、制御ループを維持し、相互作用とタスク結果を接続するアダプターを追加すればよい点は重要です。複数のロボットシステムへ強化学習を展開する際の共通基盤になり得ます。

ただし、評価は LIBERO-PRO を中心としており、実機、別のハーネス、より長いタスクへどの程度一般化するかは今後の検証課題です。学習したプランナーが特定の実行インターフェースに過度に適応する可能性もあります。それでも本研究は、具身知能を改善する道がツールの強化だけではなく、ツールを調整する意思決定モデル自体の学習にもあることを示しています。

出典：Hugging Face Daily Papers