WCM：VLA強化学習のcriticに世界モデルを組み込む試み

導入

Vision-Language-Action（VLA）モデルは、視覚情報と言語指示を理解し、ロボットの行動へ変換する枠組みとして注目されている。さらに強化学習による後処理を加えることで、操作性能を高められることも示されつつある。ただし、その中核にあるcritic、つまり価値推定器には見落とされがちな制約がある。多くの既存手法では、単一フレームの観測や、単一フレーム由来のVLM潜在表現に依存している。

WCM（World Critic Model）は、この設計がロボット制御の性質と合っていないと指摘する。ロボット操作は部分観測マルコフ決定過程として捉えられる動的な問題であり、1枚の画像だけでは、物体の動き、接触の進行、タスクの途中状態、次に何が起こりそうかを十分に表せない。

核心ポイント

• 履歴を増やすだけでは解決しない：素材では、複数フレームを単純に積み重ねる方法は高次元の視覚空間で複雑性が大きくなると説明されている。また、スカラー報酬の回帰だけでは監督信号が疎で、criticが時系列の因果的な変化を学ぶには不十分だという。
• 本質は状態近似の問題：部分観測環境では、criticは現在のタスク進捗を要約する内部状態を持つ必要がある。明示的な世界モデリング目標がなければ、その表現は価値推定に必要な時間構造を捉えにくい。
• 未来予測と価値推定を同時に学ぶ：WCMは軽量なLeJEPAアーキテクチャを基盤とし、未来の潜在状態予測と価値推定を共同で学習する。これにより、criticは単に最終的な報酬を当てるだけでなく、環境がどのように変化するかを潜在空間で学ぶ。
• 既存VLA基盤との互換性：素材によると、WCMはon-policyとoff-policyの両方の学習パイプラインに統合でき、Pi0、Pi0.5、OpenVLA-OFTなどのVLAバックボーンと組み合わせられる。
• 広範な評価：論文要旨では、4つのベンチマークにまたがる149タスクで評価したとされている。関連説明では、ManiSkill、LIBERO-Plus、さらに布の折り畳みやコンベア上の寿司ピッキングを含む7つの実世界操作課題にも触れられている。

意義と影響

WCMの面白さは、単に新しい補助モジュールを足したことではない。criticの役割を、報酬を回帰する部品から、世界の変化を予測する表現学習器へと広げている点にある。

これはロボット操作では特に重要だ。成功や失敗は、グリッパーが本当に物体を捉えたか、物体が滑りそうか、柔軟物が折り畳める状態にあるかといった、単一画像からは安定して判断しにくい要因に左右される。WCMはこうした時間的手掛かりを、価値推定のための表現として明示的に学ばせようとしている。

報告された結果がより多くの環境で再現されるなら、VLAの強化学習後処理は、方策の更新だけでなく、criticがどれだけ時間構造を理解できるかを重視する方向へ進む可能性がある。また、世界モデルは将来フレーム生成や計画だけでなく、強化学習の密な監督信号としても使えることを示唆している。

現時点の情報は主に論文要旨と著者による紹介に基づくため、訓練コスト、詳細なアブレーション、実ロボットでの汎化範囲は原論文で確認する必要がある。それでも、WCMが投げかけるメッセージは明確だ。ロボットのcriticは、現在を見るだけでなく、次に何が起こるかを学ぶべきだということだ。

出典：Hugging Face Daily Papers