Gemini Robotics ER 2、動画理解とタスク編成でロボットを高度化

導入

Google DeepMind は Gemini Robotics ER 2 を発表した。これはロボットのための「具身推論」モデルであり、ロボットの高レベルな頭脳として機能することを狙っている。関節やモーターを直接制御するのではなく、人間の指示を理解し、連続した動画を観察し、複数ステップの作業を計画し、VLA モデル、ナビゲーション API、マニピュレーター制御、Google Search、ユーザー定義関数などに実行を渡す構成だ。

今回の焦点は、単に空間を認識することではない。ロボットが動作している最中にも状況を判断し、いま何割ほど完了しているのか、失敗していないか、次の工程へ進むべきかを見極める点にある。

主要ポイント

• 物理エージェント向けのツール編成：開発者は低レベル制御インターフェースをツールとして宣言できる。ER 2 はそれらを選び、順序立てて呼び出し、複雑な作業を進める。
• 低遅延の実行ループ：Gemini Live API の双方向ストリーミング端点と統合され、ロボットが行動を止めて考え込むような中断を減らすことを目指している。
• 動画による進捗追跡：DeepMind の評価では、動画フレームを 0〜20% から 80〜100% までの 5 段階に分類する。ER 2 は進捗分類で 57.4% の精度を達成した。
• 重要瞬間の検出：コーヒーを注ぐのを止める瞬間のように、重要なイベントが起きるフレームを特定する能力も強化された。moment-finding では 91.3% の精度、平均絶対距離 0.96 秒が報告されている。
• 複数ロボットの協調：共有された意味理解を通じて、異なる種類のロボットが作業を引き継げる。DeepMind は Apptronik の Apollo 2 と Franka F3 Duo の協調例を示している。
• 空間理解と安全性：成功・失敗検出、計器読み取り、空間 VQA、安全指示の遵守、人間との距離認識なども改善点として挙げられている。

意義と影響

実世界のロボット作業では、単一動作よりも工程間の不確実性が問題になりやすい。物をつかんでも落とす、液体を注ぎすぎる、工具がずれる、完了前に次へ進む――こうした失敗を検知し修正する能力が不可欠だ。ER 2 は動画理解、時間的判断、ツール呼び出しを組み合わせ、ロボット自身が作業の進行を監督できるようにする試みといえる。

また、複数ロボットの協調は、万能な一台を前提にしない設計につながる。車輪型、ヒューマノイド、ロボットアームがそれぞれの強みを生かし、上位モデルが分担と引き継ぎを調整する方向だ。ただし現時点の情報は DeepMind の評価とデモが中心であり、実環境での安定性、遅延、コスト、安全境界についてはさらなる検証が必要になる。

出典：Google DeepMind