NavMCP、基盤モデルの協調でロボットの長期ナビゲーションを前進

導入

物理環境に関する質問へロボットが答えるには、画像を理解したり、単一の地点へ移動したりするだけでは不十分だ。足りない証拠を見極め、次に調べる場所を選び、すでに確認した情報を保持し、探索を終えるタイミングを判断しなければならない。論文「Scaffolding Foundation Models into Physical-World Agents Pushes the Frontier of Long-Horizon Navigation」は、これらを一つのモデルに集中させるのではなく、異なる基盤モデルを協調させるNavMCPを提案する。

中核となる仕組み

• 推論と実行を分担する。 視覚言語モデル（VLM）は、曖昧なタスクの解釈、不足情報の補完、高レベル計画の更新に向く。一方、ナビゲーション基盤モデル（NFM）は、意味的な目標を閉ループの移動へ変換する能力を持つが、通常は各エピソードが独立しており、継続的なタスク推論を行わない。NavMCPではVLMが求める証拠、探索場所、終了条件を決め、NFMが各サブ目標を実行する。

• 3つのチャネルで循環を作る。 意図チャネルは証拠の要求をナビゲーション呼び出しへ変換する。観測チャネルはロールアウトの結果を、実際の軌跡に基づく証拠として返す。メモリチャネルは発見した内容、見つからなかったことを示す否定的証拠、未解決の目標を呼び出し間で保存する。これにより、単発の移動が一続きの調査として扱われる。

• 再学習を必要としない。 NavMCPは新しいエンドツーエンド方策を学習するのではなく、既存のVLMとNFMをつなぐエージェント型の足場を提供する。重要なのはモデルの大型化だけでなく、推論と実行を接続する役割分担とインターフェースである。

• ベンチマークと実機で評価した。 HM-EQA、MT-HM3D、EXPRESS-Benchで、論文が報告する最高水準の結果を達成した。エージェントと実行器をそろえた比較では、HM-EQAでエピソード型インターフェースを14.9ポイント上回った。Unitree Go2では成功率78.3%を記録し、タスクの長さが増すほど最も強いベースラインとの差は10ポイントから45ポイントへ広がった。

意義と今後

NavMCPが示すのは、1回のナビゲーションを確実に実行できることと、長期的に自律行動できることは別だという点だ。複雑な環境では、どの行動が新しい情報を生むか、観測をどう統合するか、すでに排除した経路をどう避けるかがボトルネックになる。推論と実行を分ければ、NFMの移動性能を保ちながら、VLMにタスク全体を見渡す役割を持たせられる。

この設計は、具身AIの改善が必ずしも大規模な再学習だけに依存しない可能性も示す。メモリの形式、証拠の管理、探索を止める方策は、知覚や移動能力と同じように重要になり得る。ただし、今回の評価は具身QAと特定の四足歩行ロボットを中心としている。異なる環境、センサー、タスクでも協調方式が安定するかは、今後の検証課題である。

出典：Hugging Face Daily Papers