로봇은 기억만 믿어선 안 된다: 변화하는 세계를 탐색하는 EvolvingNav

들어가며

이동 로봇이 물체가 과거에 어디 있었는지 기억한다고 해서 현재 위치를 알고 있는 것은 아닙니다. 가정이나 사무실에서는 사람이 로봇이 보지 못하는 사이 물체를 옮길 수 있습니다. 로봇이 기억된 위치로 이동하는 도중에 대상이 바뀐 장소로 이동할 수도 있습니다. 세계가 정적이라고 가정하는 내비게이션 시스템은 이런 상황에서 과거의 유용한 기억을 오히려 잘못된 확신으로 바꿀 수 있습니다.

Hugging Face Daily Papers에 소개된 EvolvingNav는 이를 ‘변화하는 세계에서의 내비게이션’ 문제로 다룹니다. 핵심은 목표물을 고정된 좌표로 저장하지 않고, 시간이 흐르면서 변할 수 있는 확률적 신념으로 표현하는 데 있습니다.

핵심 내용

• 시간이 포함된 공간 기억. 시스템은 물체가 언제, 어디에서 관측됐는지를 담은 3D 이력을 사용합니다. 마지막 관측 위치뿐 아니라 관측 이후 경과한 시간도 추론에 반영합니다.
• 이동 가능성을 구조적으로 표현. 지속-이동 모델은 물체가 마지막으로 관측된 위치에 남아 있을 가능성과 다른 위치로 이동했을 가능성을 구분합니다. 알려진 후보 목록 밖에 있을 가능성도 별도로 남겨 둡니다.
• 확인 시점의 상태를 예측. 이벤트 기반 필터는 시간이 지나면서 현재 신념을 전파하고, 로봇이 후보 위치를 확인할 시점에 목표물이 존재할 가능성을 예측합니다.
• 발견 실패도 관측으로 활용. 새로운 RGB-D 입력은 물체를 발견했을 때뿐 아니라 발견하지 못했을 때도 사용됩니다. 가시성과 검출 확률을 고려해 특정 위치 가설의 비중을 낮추며, 동일한 관측을 반복해서 반영하지 않도록 증거 추적을 적용합니다.
• 제어기를 다시 학습하지 않음. 갱신된 신념은 고정된 제로샷 비전-언어 제어기에 전달됩니다. 제어기는 이를 바탕으로 행동을 선택하고 필요하면 경로를 다시 계획합니다.

의미와 영향

이 연구의 중요한 관점은 지속적 기억을 영구적으로 참인 사실로 취급하지 않는다는 점입니다. 체화 AI에서 기억은 시간이 지나면 신뢰도가 달라지고, 새로운 관측에 의해 수정되는 추정치여야 합니다. 이는 반복적으로 같은 공간을 이용하는 가정용 보조 로봇, 서비스 로봇, 물류 로봇에 특히 중요할 수 있습니다.

논문은 사람의 활동 궤적을 바탕으로 한 EvoWorld-Bench도 제시합니다. 이 벤치마크는 54개 장면과 803,680개 과제로 구성되며, 내비게이션 시작 전과 실행 중 발생하는 환경 변화를 통제해 평가합니다. 제공된 자료에 따르면 시뮬레이션과 실제 로봇 실험이 진행됐지만, 구체적인 성능 향상 수치는 포함되어 있지 않습니다.

EvolvingNav는 기억, 세계 상태 예측, 시각적 증거, 재계획을 하나의 순환 과정으로 묶습니다. 단순히 저장된 지점을 검색하는 대신 세계가 이미 달라졌을 가능성을 예측하고, 새로운 관측에 따라 판단을 바꾸는 것이 이 접근법의 핵심입니다.

출처: Hugging Face Daily Papers