ロボットは推論を待てない：SmoothRLが非同期オンライン強化学習を現実の動作に合わせる

実世界のロボットには、モデルの推論が終わるまで停止して待つためのボタンがない。視覚・言語・動作モデルやWorld-Action Modelは、未来の動作をまとめたaction chunkを生成する。しかしロボットは、次のchunkが計算されている間も、現在の動作を続けなければならない。投げ動作のように速度を連続的に蓄積するタスクでは、推論待ちによる停止がそのまま失敗につながる。

非同期実行はこの問題を解決するが、オンライン強化学習には別の問題を持ち込む。モデルが生成した動作のすべてが、物理世界で実行されるとは限らないからだ。次の推論結果が届く前に実行された動作もあれば、途中で置き換えられる動作もある。生成したchunk全体を学習対象にすれば、ロボットが実行していない動作まで成功や失敗の責任を負うことになる。

主な仕組み

• 動作列を3領域に分割する。 SmoothRLはaction chunkを、すでに引き渡され変更できないコミット済み領域、実際に実行される実行領域、後続chunkに置き換えられる破棄領域に分ける。
• 実行された動作だけを更新する。 強化学習の勾配を実行領域に限定し、モデルの意図ではなく、ロボットが実際に経験した軌跡と学習目標を一致させる。
• 訓練でも非同期性を維持する。 推論と制御を並行して動かし、その時間関係から得られたrolloutをreplay bufferに保存する。同期環境で訓練してから非同期で配備する方式とは異なる。
• 残差方策で修正する。 実装ではタスクごとに調整したπ0.5を基盤に、軽量なTD3-style actor-criticが元の動作空間で残差補正を予測する。

S1ロボットでは制御周波数30 Hz、推論要求5 Hzという構成が使われた。各chunkは32フレームだが、遅延予算の中で実際に実行されるのは一部で、残りは後続のchunkに置き換えられる。

報告された実機評価では、動的な投げ入れの成功率が39%から94%へ、ペンにキャップを装着するタスクが8%から83%へ、荷物の開梱が30%から90%へ向上した。投げ入れは速度を保ったまま正確なタイミングで放す必要があり、キャップ装着は小さな位置誤差への対応、開梱は狭い隙間への刃の挿入を要求する。開梱の学習曲線は単調ではなく、途中で成功率が下がってから回復しており、実環境での探索が常に滑らかに改善するわけではないことも示している。

意義と限界

SmoothRLは、ロボットをゼロから教える仕組みというより、基本動作を習得済みの方策を現場で調整するための後学習に近い。投げる速度、開梱時の左ずれ、キャップ位置の変化への対応不足といった系統的な誤差を、実行結果から徐々に修正する。チームは、オンライン強化学習後の投げ動作で末端の加速度RMSが52%、jerkが47%低下したとも報告している。

一方、成功・失敗の疎な報酬を使い、必要に応じて操作者が介入できるため、完全自律の自己進化ではない。推論は所定の遅延予算内に収まり、残差方策の表現力も基盤方策に制約される。初期方策が目標から大きく離れていれば、局所的な補正だけで解決することは難しい。SmoothRLが示すのは、事前学習と信頼できる実機運用の間を埋める、現実の実行結果に基づくオンライン後学習の方向性だ。

出典：量子位