NavMCP, 기반 모델 협업으로 로봇 장기 내비게이션을 확장하다

들어가며

로봇이 실제 환경에 관한 질문에 답하려면 장면을 인식하거나 한 지점으로 이동하는 능력만으로는 부족하다. 어떤 정보가 빠져 있는지 판단하고, 다음에 어디를 조사할지 고르며, 이미 확인한 내용과 아직 풀리지 않은 목표를 기억하고, 언제 탐색을 끝낼지 결정해야 한다. 논문 「Scaffolding Foundation Models into Physical-World Agents Pushes the Frontier of Long-Horizon Navigation」은 하나의 모델에 모든 역할을 맡기는 대신, 서로 다른 기반 모델을 연결하는 NavMCP를 제안한다.

핵심 구조

• 추론과 실행을 나눈다. 비전·언어 모델(VLM)은 개방형 과제를 해석하고, 부족한 정보를 추론하며, 상위 계획을 수정하는 데 강점이 있다. 그러나 계획을 반복적으로 안정적인 이동으로 grounding하는 과정에서는 취약하거나 비효율적일 수 있다. 내비게이션 파운데이션 모델(NFM)은 의미적 목표를 폐루프 이동으로 바꾸는 데 강하지만, 일반적으로 제한된 에피소드 안에서만 작동하며 지속적인 과제 수준 추론을 갖지 않는다. NavMCP에서는 VLM이 필요한 증거와 탐색 위치, 종료 시점을 정하고 NFM이 각 하위 목표를 수행한다.

• 세 채널로 행동 루프를 만든다. 의도 채널은 필요한 증거를 내비게이션 호출로 변환한다. 관측 채널은 이동 결과를 실제 궤적에 근거한 증거로 되돌린다. 메모리 채널은 발견한 내용, 찾지 못했다는 부정적 증거, 미해결 목표를 호출 사이에 축적한다. 따라서 매번 새로 시작하는 이동이 하나의 연속된 조사 과정으로 이어진다.

• 재학습 없이 기존 모델을 조합한다. NavMCP는 새로운 엔드투엔드 정책을 훈련하기보다 VLM과 NFM 주변에 에이전트형 스캐폴딩을 제공한다. 핵심은 더 큰 모델만 만드는 것이 아니라, 추론이 실행을 지시하고 실행 결과가 다시 추론을 갱신하도록 인터페이스를 설계하는 데 있다.

• 시뮬레이션과 실기기에서 평가했다. HM-EQA, MT-HM3D, EXPRESS-Bench에서 논문이 보고한 최고 수준의 결과를 기록했다. 에이전트와 실행기 백본을 동일하게 맞춘 비교에서는 HM-EQA에서 에피소드형 인터페이스보다 14.9%포인트 높은 성능을 보였다. Unitree Go2 실험의 성공률은 78.3%였으며, 과제의 시간적 범위가 길어질수록 최강 베이스라인과의 격차가 10%포인트에서 45%포인트로 커졌다.

의미와 영향

NavMCP는 한 번의 내비게이션을 안정적으로 수행하는 능력과 장기 자율성이 서로 다른 문제임을 보여준다. 복잡한 환경에서 더 어려운 부분은 어떤 행동이 유용한 정보를 제공하는지 결정하고, 여러 관측을 합치며, 이미 배제한 경로를 다시 탐색하지 않는 것이다. 추론과 실행을 분리하면 NFM의 이동 안정성을 유지하면서 VLM이 전체 과제의 맥락을 관리할 수 있다.

이 접근법은 체화형 AI의 발전이 반드시 더 큰 모델이나 전면적인 엔드투엔드 재훈련에만 달려 있지 않다는 점도 시사한다. 메모리 표현, 증거 추적, 탐색 종료 정책이 지각과 이동 능력만큼 중요할 수 있다. 다만 이번 결과는 체화형 질의응답과 특정 사족보행 로봇을 중심으로 한다. 더 다양한 환경과 센서, 과제에서 이 협업 방식이 얼마나 일반화되는지는 추가 검증이 필요하다.

출처: Hugging Face Daily Papers