SuperNav: 범용 작업과 장면을 위한 에이전트형 로봇 내비게이션

개요

서비스 로봇이 실제 공간에서 유용해지려면 정해진 경로를 따라가는 능력만으로는 부족합니다. 사용자는 물건을 찾아 달라고 하거나, 여러 장소를 순서대로 방문하게 하거나, 높은 수준의 요구를 전달할 수 있습니다. 로봇은 이런 요청을 이해하는 동시에 익숙하지 않은 환경에서 이동해야 합니다. SuperNav는 이 두 문제를 분리해 다루는 에이전트형 내비게이션 시스템입니다.

이 시스템에서 멀티모달 대규모 모델은 요청 해석, 장면 이해, 행동 결정에 집중합니다. 반면 실제 이동 실행은 전문 내비게이션 도구가 담당합니다. 모델이 모든 저수준 움직임을 직접 예측하도록 만드는 대신, 범용 추론 능력과 특화된 실행 모듈을 연결하는 방식입니다.

핵심 요소

• 내비게이션 전용 미세조정 없이 구성. 기존 방식처럼 멀티모달 모델을 내비게이션 동작에 맞춰 추가 학습하지 않고, 사전 학습 모델의 범용성을 유지합니다. 이를 통해 학습 데이터에 포함된 작업과 환경의 범위에 대한 의존을 줄이려 합니다.
• 에이전트 하니스로 지속적인 작업을 관리. 내비게이션 스킬, 물리적 상호작용을 위한 도구, 작업 진행 상황과 문맥을 관리하는 기능을 결합합니다. 따라서 한 번의 이미지-행동 예측이 아니라 여러 단계로 이어지는 작업을 처리할 수 있습니다.
• 시각적 지점 인터페이스 사용. 모델은 이미지 안에서 목적지를 지정할 수 있고, 내비게이션 모듈이 이를 이동 행동으로 변환합니다. 실행 결과가 돌아오면 모델은 기존 판단을 다시 검토하고 수정할 수 있습니다.
• 여러 작업 유형으로 평가. 논문은 단일 객체, 다중 객체, 수요 기반 내비게이션에서 네 가지 기준선과 비교했습니다. HM3D의 범주 수준 평가와 실제 사족보행 로봇 배치도 함께 보고합니다.

의미와 남은 과제

고정된 목표나 제한된 지시를 중심으로 설계된 내비게이션 시스템은 새로운 요청과 낯선 환경에 대응할 때 한계를 보일 수 있습니다. SuperNav는 개방적인 이해와 계획은 멀티모달 모델에 맡기고, 이동 실행은 전문 도구에 위임함으로써 이 문제를 완화하려 합니다. 모델과 도구 사이를 저수준 모터 명령이 아니라 이미지 속 목적지와 실행 피드백으로 연결한다는 점도 중요한 설계 선택입니다.

이 구조는 향후 로봇 에이전트에 새로운 이동, 감지, 상호작용 도구를 추가하는 방법으로 활용될 가능성이 있습니다. 다만 제공된 자료에는 상세한 성공률, 계산 비용, 실패 사례가 제시되지 않았습니다. 복잡하고 동적인 환경에서의 안정성과 확장성은 논문 전문과 후속 연구를 통해 더 확인해야 합니다.

출처: Hugging Face Daily Papers