GPT-Policy: 맥락에서 배우는 적응형 로봇

배경

낯선 환경에 투입된 로봇은 물체를 인식하고 움직이는 것만으로는 충분하지 않다. 시연과 실행 결과에서 단서를 얻어 작업 도중 행동 방식을 조정해야 한다. 기존 로봇 정책은 대규모 데이터와 작업별 학습에 의존하는 경우가 많지만, 현실에서 나타날 수 있는 물체의 상태, 배치, 환경, 작업 조합을 유한한 시연 데이터로 모두 다루기는 어렵다. 「In-Context Robot Learning with VLM Agents」는 비전-언어 모델의 맥락 학습 능력을 로봇 적응에 활용하는 GPT-Policy를 제안한다.

프레임워크 구성

GPT-Policy는 세 가지 요소로 이뤄진다.

• 맥락 컴파일러: 시연과 상호작용 기록에서 작업에 중요한 시각적 상태 변화를 추려 모델이 활용할 맥락으로 정리한다.
• 비전-언어 모델 에이전트: 현재 관찰과 과거 맥락을 바탕으로 로봇과 도구가 수행할 행동을 제안한다.
• 제약형 컨트롤러: 제안된 행동의 실행 가능성을 확인하고 로봇을 제어한 뒤, 결과를 에이전트에 돌려준다.

핵심은 VLM이 저수준 제어를 전부 직접 담당하지 않는다는 점이다. VLM은 시연과 피드백을 이용해 다음에 필요한 작업을 추론하고, 컨트롤러는 로봇의 물리적 제약을 기준으로 행동을 검증한다. 이를 통해 시각·언어 수준의 추론과 실제 움직임을 분리할 수 있다. 그래디언트 업데이트나 새로운 작업을 위한 전용 파라미터의 지속적인 변경이 필요하지 않기 때문에, 이 방식은 사전 학습보다는 배포 시점의 적응에 가깝다.

실험 결과

연구진은 작업 성공도와 효율성, 모델 간 비교, 맥락을 통제한 제거 실험 등을 통해 시스템을 평가했다. 실제 로봇 실험에서 로봇 행동 라벨이 없는 사람의 영상 시연도 작업 완료를 개선했다. 이는 물체 상태의 변화, 행동 순서, 실행 결과가 직접적인 로봇 명령이 아니더라도 작업 수행에 유용한 정보를 제공할 수 있음을 보여준다.

다만 물체와 접촉하는 작업에서는 사람의 동작을 로봇 행동으로 옮기는 문제가 더 분명해진다. 사람과 로봇은 신체 구조, 움직임의 범위, 힘을 가하는 방식이 다르기 때문에 영상에서 자연스러운 행동이 로봇에게 그대로 실행 가능한 것은 아니다. 로봇 행동과 정렬된 참조 정보를 제공하면, 특히 접촉에 민감한 작업에서 추가적인 개선을 얻을 수 있었다.

의미와 한계

GPT-Policy는 완전한 엔드투엔드 로봇 학습과 다른 방향을 제시한다. VLM을 범용 추론 에이전트로 사용하고, 별도의 제어 모듈이 그 제안을 실제로 가능한 행동으로 제한하는 방식이다. 새로운 작업이 등장할 때마다 전용 데이터를 수집하고 정책을 다시 학습해야 하는 부담을 줄일 가능성이 있다. 또한 영상 시연, 상호작용 피드백, 로봇 제어를 연결하는 실험적 기반을 제공한다.

그러나 이 연구가 범용 로봇 학습을 완성한 것은 아니다. 모델이 시연을 정확히 이해하는지, 추상적인 의도를 로봇의 능력에 맞게 변환하는지, 접촉 동역학과 실행 오류를 처리하는지, 맥락을 줄이는 과정에서 중요한 정보가 사라지지 않는지는 여전히 중요한 문제다. 따라서 GPT-Policy는 VLM을 적응형 로봇 정책으로 사용할 수 있는지 탐색한 의미 있는 단계이면서, 신뢰성 있는 현장 배포까지 남은 과제를 보여주는 연구로 보는 것이 적절하다.

출처: Hugging Face Daily Papers