ODE Policy：ロボットに行動そのものではなく変化の仕方を学習させる

背景

多くのロボットポリシーは、各制御ステップで観測を直接的な行動値へ変換する。この方式は実装しやすい一方、物理運動の連続性を学習の結果に委ねている。特に短い行動チャンクを順番に実行する場合、チャンクの接続部分で指令が急に変化し、動作の滑らかさや接触操作の安定性を損なう可能性がある。

ODE Policyは、行動を独立した数値ではなく、時間とともに進化する状態として扱う。ニューラル常微分方程式が行動のベクトル場を学習し、その積分結果を次の行動として利用する仕組みだ。

主な仕組み

• 行動のダイナミクスを学習：模倣学習では短い行動チャンクを積分し、デモンストレーションの目標と一致するよう訓練する。強化学習では、単一の制御ステップに対応する変化を学ぶ。
• 前の行動から積分：実行時には直前の行動を初期値として新しい行動を生成するため、連続性が生成過程に組み込まれる。
• 多様な行動を維持：軽量な多様性ヘッドがベクトル場の方向をランダム化し、同じ観測に対する複数の妥当な行動を表現する。
• 複数の構成に対応：視覚運動ポリシーだけでなく、VLAや世界行動モデルの行動ヘッド、モデルベース強化学習のアクターとして利用できる。

実験結果

論文では、単腕、両腕、器用な手、歩行、移動操作などを含むタスクで、14種類のベースラインと比較している。LIBEROの模倣学習では、1エポック後の成功率、汎化性能、モードの均衡性が、流れマッチングに対してそれぞれ5.9倍、5.4倍、3.9倍になったと報告された。行動生成も10.8倍高速だったという。さらに、単腕・両腕・多指ハンド・ヒューマノイドを含む複数の実機タスクで、比較手法中の最高成功率を達成したとされる。生成軌道は、人間のデモンストレーションより大部分で滑らかだった。

意義と今後の論点

ODE Policyの重要性は、滑らかさを後処理で付け足すのではなく、ポリシーの表現自体に連続性を組み込んだ点にある。接触を伴う操作、両腕協調、人型ロボットの追従制御では、この設計が実行器や環境の物理的制約と相性を持つ可能性がある。

一方、公開された概要だけでは、積分設定、制御周波数、外乱、長時間実行時の誤差蓄積が性能へ与える影響は判断できない。評価結果が異なるハードウェアや未知の環境にも広がるかは、完全な論文と追加検証を待つ必要がある。

出典：Hugging Face Daily Papers