로봇 플릿이 경험을 공유해 배운다: 배포 중 정책 개선

배경

실험실에서 잘 작동하는 로봇 정책도 실제 배포 환경에서는 물체 위치나 주변 조건의 작은 변화 때문에 실패할 수 있다. 일반적인 개선 방식은 원격 조작자가 실행을 지켜보다가 실패하면 직접 개입해 교정 행동을 제공하는 것이다. 하지만 로봇 수가 늘어나면 모든 실행을 사람이 감시하고 교정하는 방식은 빠르게 한계에 도달한다.

논문 「Learning from Fleet Experience: A Collective Learning Paradigm for Robots」는 집단 경험 학습(Collective Experience Learning, CEL)을 제안한다. 배포된 로봇들이 이미 생성한 실행 경험을 공유하고, 이를 바탕으로 공통 정책을 개선하자는 접근이다. 실패가 발생할 때마다 새로운 전문가 시연을 추가로 수집하는 대신, 플릿 전체에서 축적된 경험을 활용한다.

핵심 작동 방식

• 실패가 경험 검색의 단서가 된다. CEL을 구현하는 실패 유도 경험 검색 미세조정(FERT)은 로봇 실행에서 실패 전후의 문맥을 추출한다. 이후 플릿이 공유하는 성공 궤적 데이터베이스에서 현재 실패와 관련성이 높은 구간을 찾는다.
• 성공 행동을 학습 신호로 활용한다. 검색된 구간에는 비슷한 상황에서 실제로 작동한 행동 순서가 담겨 있다. FERT는 이를 정책 업데이트의 감독 신호로 사용해, 유사한 상태에서 더 적절한 행동을 선택하도록 정책을 조정한다.
• 배포 단계의 사람 개입을 줄인다. FERT는 추가 전문가 시연이나 교정 행동을 수집하지 않고도 정책을 개선하는 것을 목표로 한다. 초기 정책이나 기존 데이터가 필요 없다는 뜻은 아니며, 배포 후 반복되는 인간 교정의 부담을 줄이는 데 초점이 있다.
• 비동기 시스템으로 학습을 이어간다. 내결함 비동기 학습 시스템(FATS)은 경험 수집, 정책 최적화, 정책 배포를 조정한다. 일부 로봇에서 로컬 중단이 발생해도 플릿 전체의 학습 과정이 계속 진행되도록 설계됐다.

실험 결과

연구진은 5개의 실제 로봇 조작 과제에서 CEL을 평가했다. 학습 데이터 수집에 포함되지 않은 로봇을 대상으로 과제별 120회 시험을 진행한 결과, 성공률은 93.3~99.2%였다. 다단계 휴대전화 포장 과제에서는 초기 성공률 79.2%가 96대 로봇을 활용한 학습 이후 98.3%로 높아졌다. 로봇 한 대당 데이터 수집 시간을 고정했을 때는 플릿 규모가 커질수록 경험이 늘었고, FERT도 평가된 여러 규모에서 대체로 더 높은 성공률을 보였다.

의미와 남은 과제

CEL의 핵심 의미는 로봇을 개별적으로 개선하는 대신 플릿 전체를 하나의 공유 학습 시스템으로 본다는 데 있다. 로봇 수가 많아지면 환경 변화와 다양한 상태를 경험할 기회도 늘어난다. 한 로봇이 발견한 성공 행동을 공유하면 다른 로봇의 정책 개선에도 사용할 수 있다.

다만 제공된 자료는 전체 프레임워크와 주요 실험 결과를 중심으로 하며, 검색 방식별 비교, 데이터 품질 관리, 서로 다른 하드웨어와 환경에서의 일반화 성능에 관한 세부 내용은 충분히 제시하지 않는다. 이 방식이 이기종 로봇이나 더 큰 분포 변화에서도 안정적으로 작동하는지는 추가 검증이 필요하다. 그럼에도 CEL은 실제 배포 중 얻은 성공 경험을 정책 개선으로 연결해, 지속적인 전문가 교정 의존도를 낮출 수 있는 로봇 학습 경로를 보여준다.

출처: Hugging Face Daily Papers