HoloBoxing、人型ロボットのボクシングを計画と実行に分離

人型ロボットによるボクシングは、腕を前に出すだけの問題ではない。パンチには、胴体の動き、脚による支持、重心の維持、タイミング、そして相手との接触に応じた反応が必要になる。関節指令を直接強化学習する方式では、ロボットの全身協調とボクシング固有の行動を同時に学ぶ必要があり、探索の負担が大きくなりやすい。

HoloBoxingは、この二つの役割を分ける。手法は事前学習済みの全身コントローラを前提とし、タスク学習中はそれを固定する。コントローラは高レベルの身体目標を関節レベルの動きへ変換するため、タスク用ポリシーが基本的な全身制御を一から学び直す必要がない。一方、コンパクトなプランナーは、近い将来に身体の各点をどこへ動かすかを決める。

行動表現も、全関節を直接操作する形にはしない。学習したデコーダが32次元の行動を、身体点に対する構造化された目標ウィンドウへ変換する。この設計により、プランナーが扱う意思決定空間を小さく整理できる。細かな関節協調や実行は下位の全身コントローラに任せられるため、上位ポリシーはタスク上の判断に集中できる。

学習は段階的に行う。まず、計測された状態を使った模倣によってプランナーを初期化する。これにより、強化学習が完全にゼロから行動を発見するのではなく、学習開始時点で利用可能な振る舞いを持てる。その後、強化学習によってボクシング中の相互作用を改善する。デコーダと全身コントローラを再利用することで、最適化対象を小さな上位ポリシーに絞っている。

論文によれば、全身コントローラがすでに用意されている場合、追加学習は単一GPUで約7分。ここには再利用する表現のフィッティングとタスク学習が含まれるが、コントローラの事前学習、データ準備、評価、探索は含まれない。したがって、ゼロから人型ロボットにボクシングを学習させる総時間が7分という意味ではない。実験はシミュレーション上で行われ、模倣による初期化と目標表現の効果も構成要素の比較で検証されている。

この研究の意義は、汎用的な全身運動能力とタスク固有の計画を再利用可能な形で分離した点にある。基礎コントローラが十分な動作範囲を持てば、身体協調を必要とする他のタスクにも同様の考え方を適用できる可能性がある。ただし、実機への移行や未知の行動への一般化は、コントローラの範囲、目標表現、シミュレーションと現実の差に左右される。HoloBoxingは、人型ロボット制御を解決したというより、タスク学習の負担を抑える実用的な構成を示したものと見るべきだろう。

出典：Hugging Face Daily Papers