ReactHuman、マルチモーダルモデルの即時的な物理反応を評価

導入

テーブルから皿が滑り落ちたり、ナイフが落下したりする場面では、ロボットに長い推論時間はありません。対象を受け止めるのか、危険を避けて後退するのか、介入によって状況を悪化させないのかを、短時間で判断する必要があります。ReactHumanは、物理現象を説明できるかではなく、その理解を安全な即時行動へ変換できるかを調べます。

これまでの評価との違い

従来の物理評価は、動画を見たモデルに質問へ答えさせる形式が中心でした。一方、ロボット向けの評価では、ナビゲーションや物体整理など、比較的長い時間軸の課題が多く扱われます。ReactHumanは両者の間にある「突発的な危険への反応」を対象にします。モデルはシミュレーション上の人型ロボットの意思決定中枢として、家庭内の危険に対する行動計画を出力します。

ベンチマークは17種類のイベント群と1,000以上のシーンで構成されます。シーンは240 Hzの剛体物理シミュレーションから生成され、地面の真値は手作業のフレーム注釈ではなく、シミュレーション状態から得られます。そのため、同じ条件を正確に再現できます。さらに、泡でできた金床や鋼鉄製のリンゴのように、見た目と物理的性質が食い違う物体も含まれます。

行動を実行して評価

ReactHumanは五つの指標を、次の三つの観点に整理しています。

• 妥当性：状況と目的に合った反応か
• 安全性：危険や損害を減らす行動か
• 物理的根拠：動き、材質、衝突、時間関係を利用しているか

モデルが提出した計画はシミュレーター内で実際に実行されます。したがって、文章としてもっともらしい答えだけでは不十分です。例えば「受け止める」という方針が正しくても、接触位置を大きく外せば失敗になります。

明らかになった弱点

七つの代表的なマルチモーダル大規模モデルを評価した結果、モデルはおよそ三つに一つの危険場面を誤処理しました。観測した場面に応じて行動を変えるよりも、あらかじめ決められた反応傾向に従う場合があります。また、実際の運動よりも物体の外観を信じ、介入方法は正しくても適切な迎撃点を逃すことがあります。

こうした弱点はモデルの規模を大きくしても縮小しませんでした。これは、言語能力や画像認識能力の向上だけでは、時間・距離・運動・行動結果を結び付ける反応型の安全性が自然に得られないことを示唆します。

意義

ReactHumanは、身体を持つエージェントの意思決定に「行動の結果」を組み込んだ点に意義があります。家庭用ロボットには、もっともらしい説明ではなく、迅速で実行可能かつ物理的に信頼できる反応が必要です。本ベンチマークは、運動予測、危険検知、迎撃、リスクを考慮した行動選択を訓練するための、より細かな失敗信号を提供します。

シミュレーションは、センサー雑音や実機の遅延をすべて再現するものではありません。それでも、再現性のある環境で失敗の種類を切り分けられる点は大きいでしょう。物理を理解することと、危険な瞬間に正しく反応することは、似ていても別の能力です。

出典：Hugging Face Daily Papers