TARSphere、動的な物理・社会環境でロボットエージェントを評価

導入

家庭やオフィスで動くロボットは、固定された指示と変化しない環境だけを相手にするわけではありません。物体が移動し、人の要望が変わり、会話や突発的な出来事によってタスクの内容が更新されることもあります。TARSphereは、こうした物理的・社会的な変化を含む世界で、長時間にわたって行動するエージェントを評価するためのロボット向けフルスタック枠組みです。

主なポイント

• 相互作用を含むシミュレーション。 TARSphere-Infraは物理シミュレーター上でロボットポリシーを実行し、身体を持つNPCと制約付き対話を導入します。モデルが完了を宣言しただけでは成功とせず、イベント駆動の有限状態機械が、行動の完了や情報の伝達を基にタスク状態を更新します。
• 計画を実行につなげるハーネス。 TARSphere-Harnessは凍結されたマルチモーダル大規模モデルを、複数階層の実行可能スキルに接続します。モデルは観測、階層的メモリ、実行結果を使って次の判断を修正でき、抽象的な記号計画だけに依存しません。
• 変化を中心にした評価。 研究チームは、タスクの意味、因果関係、シーンの幾何情報を整合させ、TARSphere-Benchを構築しました。30の屋内シーンにまたがる360エピソードで、ナビゲーションと報告、物体の取得と受け渡しを扱います。知覚の頑健性、妨害への適応、タスク更新、人との協調、意図理解という5つの条件を比較します。
• 安全性を別軸で測定。 8種類のマルチモーダルモデルの評価では、汎用モデルが具身モデルを上回るケースがありました。しかし、タスクの変更や人との対話は難しく、衝突や転倒も頻繁に発生しました。これは、タスクを終えたかどうかと、安全に終えたかどうかを分けて評価する必要性を示します。

意義と影響

TARSphereの重要性は、新しいベンチマークを提示したことだけではありません。具身知能を、指示に対して行動を一つ選ぶ能力ではなく、環境の理解、記憶の維持、変化への対応、人の意図の推定、そして安全な実行を含む閉ループとして捉えています。イベント駆動の判定は、最終的な答えだけでなく、途中の行動と情報伝達を評価する視点を与えます。

一方で、言語能力が高いモデルほど、現実のロボット操作に強いとは限りません。目的を理解していても、途中の変化に応じて計画を更新できない場合があり、対象物を認識していても移動中に衝突する可能性があります。今後は、意味理解、空間制御、社会的コミュニケーション、安全な実行を同時に改善する必要があります。TARSphereはその比較基盤になりますが、シミュレーション上の結果を実機へ一般化できるかは、さらなる検証が必要です。

出典：Hugging Face Daily Papers