ロボティクス・フィジカルAI

UNITASは、観測、ロボットや人の動き、周囲の変化を共通のメートル系3Dフレームで扱う、具身操作向けの3Dネイティブ世界行動モデルです。

GroundingPIは、対象物の正確な位置特定を身体知能向けの中核的な知覚能力として設計した4Bパラメータモデルです。34のグラウンディングベンチマークで平均73.68%を達成し、ロボット操作と自動運転の性能も改善しました。

ENCOREは、ロボットの実演を構造化された証拠に変換し、コーディングエージェントが操作プログラムを作成できるようにする手法です。LIBERO-PROやRoboDojo、実機の両腕ロボットで有効性が示されました。

Artisanは、マルチエージェント型の生成パイプラインに物理シミュレーションのフィードバックを組み込み、関節式3Dアセットを生成する。外観の再現だけでなく、動作、安定性、衝突の少なさ、シミュレーションでの利用可能性を重視する。

EmbodiedCLBenchは、具身シミュレーション環境で、エージェントが基礎タスクの経験を未知の複合タスクへ活用できるかを評価します。実験では経験の効果が確認された一方、サンプルを増やしても性能は比例して向上しませんでした。

アマゾンは倉庫に100万台を超えるロボットを導入する一方、150万人超の人間も雇用している。次の自動化は人間を完全に排除するのではなく、人間と機械の働き方を組み替える段階に入っている。

TouchScaleは、統一したウェアラブル構成で収集した約500時間の人間の視覚・触覚インタラクションデータセットです。同期した一人称映像と両手の触覚情報により、異なるセンサーへの接触予測や実環境でのロボット操作性能を評価します。

Reflexは、一人称視点のRGB-D映像から投げられた箱の運動を推定し、腕だけでなく胴体や脚も協調させて受け取る人型ロボット向けの枠組みです。シミュレーションで85.7%の成功率を達成し、実機のUnitree G1でも検証されました。

SuperNavは、事前学習済みのマルチモーダルモデルに依頼や周囲の状況を理解させ、実際の移動は専用ナビゲーションツールへ委ねるロボット向けシステムです。単一対象、多対象、要求駆動型の課題に加え、HM3Dと四足歩行ロボットでも評価されています。

SimpleICL は、ロボットが視覚的な実演から何を学ぶべきかという、ロボットのインコンテキスト学習における根本的な曖昧さに取り組む。軽量な視覚プロンプトエンコーダーと低コストのデータ収集手順で、操作タスクへの適用を検証した。

UniWAM は、物理推論、視覚的な世界生成、行動予測を一つの学習フレームワークに統合する世界・行動モデルです。人間の一人称映像、ロボットデータ、視覚質問応答データを組み合わせ、環境理解と行動生成の両立を目指します。

NVIDIAの研究チームが、リアルタイム制御で長い視覚履歴を活用するLong-WAMを提案しました。単に入力を長くするのではなく、自己回帰型の動画事前学習とシステム最適化を組み合わせています。

RobotWorldは、指示や視覚情報を実際のロボット操作へ変換できるかを検証するシミュレーションベンチマークです。高度な認識・制御手順を組み立てられる一方、状態追跡や失敗からの復帰、完了判定には依然として課題が残ります。

DiVeRは、サンプリングされた行動表現の分散を利用して、ロボット軌道内の意思決定上重要な状態を見つける。重要な状態を重視してVLAの検証器を学習することで、追加の段階別ラベルや環境インタラクションなしに行動選択を改善する。

ロボットは、摩擦やバックラッシュ、負荷の変化、経年劣化によって、VLAが指示した通りに動かないことがある。新たな手法は、指令と実際の運動の差を利用し、報酬やラベルなしで運用中にVLAを適応させる。

EyeRobot 2.0は、2つの視点を3D注視点へ向け、操作に必要な画像中心へ計算資源を集中させる。単一のステレオカメラで精密な両手操作を目指す研究だ。

MotorMindは、汎用の視覚言語モデルがロボットの観察、行動、実行確認を直接担えるかを検証する実行フレームワークです。中間レベルのアクションと非同期フィードバックを使い、専用ポリシーやコーディングエージェントに頼らない操作を目指します。

Skill2Realは、タスクごとの方策を再学習するのではなく、共通APIを介して実行可能な操作技能を移行するエージェント型フレームワークを提案する。階層的な記憶と提案者・検証者・統括者のループにより、凍結した技能の実機利用を検証した。

PyRUA-Leanは、ロボットのプリミティブをPythonセル内で組み合わせ、条件判定や局所的な再試行を実行するフレームワークです。700件のシミュレーションで、同じLLM呼び出し予算のもと成功率を63.1%から71.7%へ高め、両方式が解けたタスクでは入力トークンを65%削減しました。

ロボットが向かっている間に、記憶された物体の位置が変わることがあります。EvolvingNavは、時間付き3D記憶と確率的な信念更新を組み合わせ、変化する環境でのナビゲーションを目指します。

ロボットの文脈内学習を四つの実行インターフェースに整理したサーベイを紹介します。実演から得た要求を、環境や物体が変わっても維持して実行するための考え方と評価軸を解説します。