記事一覧へ戻る
強化学習

VLA強化学習の更新が低ランクになる理由

読了目安 3 分

導入

視覚・言語・行動(VLA)モデルでは、模倣学習の後に強化学習を適用して性能を高める流れが広がっている。一方で、強化学習がポリシーの内部をどのように変えるのかは、まだ十分に理解されていない。HOLI-LABの研究は、最終的な成功率だけでなく、学習後のパラメータ更新がどこに現れるかを調べた。

主な発見

対象となったのは、π_{0.5}やGR00T N1.5/N1.6などのフローベースVLAモデルである。LIBERO、ManiSkill、MetaWorld、CALVINを用いた分析から、次の傾向が得られた。

  • 更新は低ランクだった。 モデル全体のパラメータ数に比べ、強化学習による実質的な変化は限られた方向に集中していた。
  • Timestep Modulesが重要だった。 これはアクションエキスパート内の小規模な構成要素で、これまで十分に注目されていなかった。モジュール置換実験では、RLによる性能向上の大きな部分を担っていることが示された。
  • 離散デノイジング時刻が鍵になった。 ロールアウトで使われる特定の時刻に合わせてモジュールが特化し、それが低ランク更新の形成に関係すると分析された。
  • shiftベクトルの変化が目立った。 モジュールの出力の中でもshiftベクトルの更新が最も明確で、更新方向はタスク成功を強く予測した。報告されたROC-AUCは最大99.6%に達する。
  • 更新方向はタスク関係も表した。 shift更新同士の類似度は、タスク間の転移パターンと相関した。

意義と限界

この研究が示すのは、VLAの強化学習がモデル全体を一様に書き換えるのではなく、行動生成に関わる少数の方向を調整している可能性である。対象となるパラメータを絞れれば、将来のポストトレーニングを低コスト化し、学習による変化を解釈しやすくできる。

さらに、学習済みのshift更新方向に沿ってポリシーを誘導することで、追加の強化学習なしに性能を改善できることも示された。これはRLの代替ではなく、RLで得た更新方向をポリシー編集やタスク転移に再利用する考え方である。

ただし、実験はフローベースのVLA、離散的なデノイジング設定、複数のシミュレーション環境に基づく。別の行動生成方式や連続時間設定、実ロボットでも同じ構造が現れるかは今後の課題だ。

出典:Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
GRPOの密な報酬は追加計算量に見合うのか
強化学習
cctest.ai
強化学習

GRPOの密な報酬は追加計算量に見合うのか

1668回の実験と6モデルを用いた研究は、生成トークン数とGPU時間をそろえると、モンテカルロ型の密なプロセス報酬が標準GRPOを上回らないことを示した。不確実な問題を選んで学習する方法は、より小さいながら再現性のある改善を示した。

続きを読む
CCTest · Blog
FewStepRL:少ステップ拡散モデルを強化学習で微調整する方法
強化学習
cctest.ai
強化学習

FewStepRL:少ステップ拡散モデルを強化学習で微調整する方法

FewStepRLは、少ないサンプリングステップで動作する拡散モデル向けに、既存の強化学習目的を体系的に適応する枠組みです。報酬が微分可能で勾配計算を負担できる場合は報酬勾配型が有効で、それ以外ではDiffusionNFT系が有力な選択肢になります。

続きを読む
CCTest · Blog
非同期強化学習では重要度サンプリングだけでは足りない
強化学習
cctest.ai
強化学習

非同期強化学習では重要度サンプリングだけでは足りない

vLLM Blogは、rolloutと学習側のカーネルをビット単位でそろえたうえで、クリップしない重要度サンプリングを使うREINFORCE Zeroを紹介した。これにより、古い重みで生成されたデータを使う非同期学習を安定化できるという。

続きを読む