人型ロボットに箱を受け取らせるReflex、視覚で全身反応を制御

導入：箱を受け取るには予測が必要

人間が投げられた箱を受け取る動作は、一見すると単純な反射に見えます。しかし実際には、箱の速度と方向を読み取り、到達位置を予測し、姿勢を崩さずに体を移動させ、適切なタイミングで両手を合わせなければなりません。人型ロボットにとってこれは、視覚、短時間の予測、バランス、全身協調を一秒程度の間に統合する難しい課題です。

ワシントン大学の研究チームが提案した Reflex は、投げられた箱を受け取るタスクを通じて、ロボットが自分の視点から環境に反応する方法を研究しています。入力には一人称視点のRGB-Dカメラを用い、モーションキャプチャ、物体へのマーカー、手先だけを動かす制御には依存しません。箱は運動中で、観測には遅延や欠落があり得るため、より実環境に近い条件で全身反応を評価できます。

3段階で能力を分けて学習

Reflexの特徴は、画像から直接関節指令を生成する単一のモデルを最初から学習するのではなく、課題を3段階に分ける点です。各段階は、箱の運動を表すコンパクトな表現によって接続されます。

• まず全身で受け取る方法を学ぶ。 第1段階では、強化学習によって状態ベースのポリシーを訓練します。腕だけでなく、胴体や脚も使って接触位置へ移動することを学習します。
• 次に運動状態を推定する。 第2段階では、遅延した不完全な観測から、動いている箱のダイナミクスを推定します。現在の位置だけではなく、箱がどこへ向かうかを考慮するための段階です。
• 最後に視覚を接続する。 第3段階では、一人称RGB-D映像から必要な運動表現を復元するエンコーダを学習します。このとき全身コントローラは固定されるため、視覚モデルが身体全体の制御まで一から学び直す必要はありません。

この分解により、各能力に対して比較的直接的な学習信号を与えられます。また視覚モデルの役割は、制御に使える中間状態を推定することに絞られます。結果として、画像から複雑な関節運動を直接出力するよりも、学習を拡張しやすくなります。

時系列情報が成否を左右する

動く箱を理解するには、単一フレームだけでは不十分です。複数フレームを使えば、箱の位置だけでなく速度や軌道の手掛かりも得られます。視覚履歴を取り除くと、正面からの投球では成功率が35.6ポイント、横方向にずれた投球では39.8ポイント低下しました。

シミュレーションでは、一人称RGB-D入力による成功率が85.7%でした。箱に関する特権的な観測を直接与えた場合は87.9%です。視覚入力と理想化された状態入力の差が比較的小さいことから、エンコーダが制御に必要な運動情報をかなり復元できていると考えられます。

実機での結果と残された課題

研究チームはUnitree G1にもReflexを搭載し、人が投げた箱を受け取る試験を行いました。距離2.5メートルでは成功率65%、5メートルでは40%でした。同じ距離での人間の成功率に対して、ロボットはそれぞれ76%と59%の水準に達しています。

これはシミュレーションを超えて実機で反応を示した点で重要ですが、人間との差も明確です。距離が伸びるほど、視覚の遅延、軌道の不確実性、接触前に必要な身体移動が大きくなります。さらに、今回の評価は箱を中心としたものであり、形状や重量、投げ方、遮蔽、照明が変わった場合の性能は今後の検証課題です。

研究の意味

Reflexが示すのは、「見た物体に手を伸ばす」だけでなく、「運動を予測し、全身を使って間に合うように反応する」ための訓練手順です。まず身体の制御を学び、次に対象のダイナミクスを推定し、最後に視覚をその中間表現へ接続する。この構成は、移動物体の回避、作業中の受け渡し、動的な協働作業などにも応用できる可能性があります。

Reflexは人型ロボットを万能な反応機械にしたわけではありません。しかし、認識結果を静的なラベルで終わらせず、短期予測を通じて身体行動へ結びつけるための具体的な一歩を示しています。

出典：Hugging Face Daily Papers