CaPtain、小型オープンVLMをコード駆動のロボットエージェントに変える

導入

ロボットエージェントは、固定されたスキルを呼び出すだけでなく、状況を理解して実行手順を組み立てる方向へ進んでいます。Code-as-Policy（CaP）はこの考え方をロボット操作に適用するものです。視覚言語モデルは低レベルの動作列を直接出力するのではなく、ロボットAPIを呼び出すコードを書き、実行結果を読み取り、次の要求を決めます。

この形式は柔軟ですが、学習は難しくなります。ある操作の物理的な影響が数ターン後に初めて現れることがあり、エピソードの最後に得られる信号は成功か失敗かだけだからです。数十回に及ぶ要求のうち、どの要求が最終結果に貢献したのかを判断する必要があります。

CaPtainの仕組み

CaPtainは、小型のオープンVLMをCaPエージェントへ変換する後学習パイプラインです。訓練と実行はCaPtain-Harness上で行われます。このHarnessは、低レベルの知覚、幾何計算、安全性を考慮したモーションプリミティブを提供し、シミュレーションと実機の双方を対象にします。モデルは観測をもとにコードを生成し、実行結果を確認しながら複数ターンの操作を続けます。

第1段階では、GPT-6 Astraが生成した合成軌跡を使って教師あり微調整を行います。これにより、モデルはAPIの使い方、操作の分解、環境との対話形式を学びます。第2段階では、マルチターン強化学習を適用し、タスクの結果に基づいて計画と実行を改善します。

中核となるのが物理クリティックです。これは訓練中のシミュレーターにある特権的な物理状態を読み取れますが、その情報はポリシーには与えられません。各要求が最終的な成功確率をどれだけ変化させたかを推定し、長い対話列に信用を配分します。これにより、実行時の観測制限を維持しながら、遅延した物理効果を学習に反映させます。

結果と意義

ゼロショット成功率が0%だったQwen3.5-4Bを出発点に、CaPtain-4BはLIBEROのホールドアウト評価で、教師あり微調整後の55.4%から強化学習後の73.8%へ向上しました。LIBERO-PROでは78.5%に達し、複数のフロンティアモデルエージェントを上回ったと報告されています。3種類の摂動評価でも強化学習の効果は維持され、改善幅は17.6～21.2ポイントでした。

対象ドメインで追加訓練を行わず、SimplerEnv WidowXでは83.3%を達成し、CaP-Benchでもフロンティアモデルを上回りました。また、シミュレーションだけで適応した後に実機で動作します。

この成果は、ロボット操作に必ずしもクローズドな大規模モデルやVLAを必要としない可能性を示します。一方で、訓練結果は特定のHarness、シミュレーター、タスク分布に依存します。より多様で開放的な実環境への一般化は、今後検証すべき課題です。コード、データ、重みの公開は、その検証を進めるための基盤になります。

出典：Hugging Face Daily Papers