四足ロボットが歩きながら前脚で物体を扱う「移動操作」では、移動と接触動作を全身で協調させる必要がある。ここで想定されるのは独立したロボットアームを持たない機体であり、三本の脚で支えながら、空いた前脚を操作に使う。世界行動モデル(WAM)は言語指示に基づく操作方策として注目される一方、既存モデルは主にロボットアーム向けに学習され、推論時のサンプリングにも時間がかかる。WAM-Policyは、そのモデルを四足ロボットへ移し、実行コストを抑える方法を提案する。
形態適応と高速化、その後の能力向上
第一段階の「形態横断の方策適応と高速化」では、アーム中心のWAM方策を四足ロボットに適応させる。続いてオンライン自己蒸留(OPSD)を使い、学生方策が自身の方策分布で得られる教師の行動を学ぶ。概要によると、学生モデルは動画1ステップ、行動2ステップで動作し、教師の遅いサンプリングをそのまま使わずに済む。
ただし、実演の模倣だけを行う教師から蒸留した学生は、教師の能力を超えにくい。そこで第二段階の「タスク別改善と統合」では、強化学習(RL)によって教師をタスクごとに改善する。その後、複数教師オンライン方策蒸留(M-OPD)により、遅いタスク特化方策を少ないステップで動く一つの学生モデルにまとめる。つまり、前半で形態適応と高速化を行い、後半でタスク性能を高めて統合する構成だ。
シミュレーションの成果と実機評価の限界
評価には10種類のシミュレーション課題からなるQLM-Benchを用い、遠隔操作によらず合成した1000件の実演データを使った。形態適応後の方策の成功率は77.0%。OPSD学生は76.7%を保ちながら、サンプリングを14倍高速化した。タスク別RLとM-OPDを加えると、成功率は85.0%に上がった。この結果は、初期の蒸留がシミュレーション上の性能をほぼ維持しつつ推論を軽くし、追加の強化学習と統合がベンチマーク成績を伸ばせることを示している。
研究チームはOPSD学生を実機のUnitree Go2 Airにも導入した。ただし、提供された概要には実機での成功率、試行数、シミュレーション結果との比較は記載されていないため、実環境での信頼性まで判断することはできない。WAM-Policyの意義は、言語条件付きの操作モデルを異なるロボット形態に移し、蒸留による高速化と強化学習による改善を一つの流れにまとめた点にある。今後は、多様な実環境やタスクでの汎化性能を確認する必要がある。
コメント
ログイン状態を確認中…
コメントを読み込み中…