로봇이 로봇에게 배운다: 96대로 검증한 체화 지능의 새 경로

들어가며

체화 지능을 실험실에서 실제 현장으로 확장하려면 모델 성능뿐 아니라 현실에서 얻는 학습 경험을 어떻게 늘릴지도 해결해야 한다. 기존 방식은 사람이 동작을 시연하거나 로봇의 실패를 직접 수정하는 데 크게 의존했다. 그러나 배치되는 로봇 수가 늘어날수록 같은 속도로 숙련된 작업자를 확보하기는 어렵다. 칭화대, 우원신궁, 지위안 연구팀은 이 문제에 대응하기 위해 ‘집단 경험 학습(Collective Experience Learning, CEL)’을 제안했다.

실험에서 확인된 핵심

• 경험을 로봇 집단이 공유한다. 한 로봇이 찾아낸 성공적인 전략을 저장해 두고, 비슷한 상황에 놓인 다른 로봇이 검색해 활용한다. 성공 사례는 따라 할 행동을 제공하고 실패 사례는 수정할 지점을 찾는 데 쓰인다.
• 5개 작업을 평가했다. 꽃꽂이, 옷 개기, 휴대전화 충전, 의자 조립, 휴대전화 포장 작업이 실험에 포함됐다.
• 훈련에 참여하지 않은 로봇도 높은 성능을 보였다. 두 대의 로봇은 600회 시험에서 15회 실패해 종합 성공률 97.5%를 기록했다. 보고된 수치상 다섯 작업 모두 6명 인간 작업자의 평균 성공률을 웃돌았다.
• 다단계 산업 작업에서 개선이 컸다. 휴대전화 포장 성공률은 79.2%에서 98.3%로 높아졌고, 120회 연속 시험에서 실패는 2회였다.

지속 학습을 가능하게 한 기반

연구팀은 대규모 강화학습 프레임워크 RLinf를 기반으로 장애 허용 비동기 학습 시스템을 구성했다. 로봇은 작업을 끝내는 즉시 경험을 업로드할 수 있어 다른 로봇의 작업이 끝날 때까지 기다릴 필요가 없다. 네트워크 불안정, 장비 연결 해제, 하드웨어 고장과 같은 현실의 문제에도 집단 전체가 학습을 이어가는 것을 목표로 한다.

96대 실험에서 집단은 9834회의 실행 경험을 수집했다. 22대의 로봇에서 총 30건의 고장이 발생했지만, 이로 인한 로봇 운용 시간 손실은 전체의 1.3%로 보고됐다. 실제 로봇 학습은 모든 장비가 항상 정상 작동하는 환경을 가정하기 어렵기 때문에, 이런 내결함성은 산업 적용에 중요한 조건이다.

알고리즘 측면에서는 실패 유도 경험 검색 미세조정 기법인 FERT가 사용됐다. 로봇의 한 번의 조작은 수분 동안 수천 개 동작으로 이어질 수 있지만, 최종 피드백은 ‘성공’ 또는 ‘실패’ 한마디에 그치는 경우가 많다. FERT는 성공 궤적에서 유용한 행동을 찾고 실패 궤적에서 개선 후보를 추려 희소한 피드백을 학습에 활용하려 한다.

의미와 남은 과제

훈련에 참여한 로봇 수를 16대에서 96대로 늘리자 성공률은 86.7%에서 98.3%로 상승했다. 이는 로봇의 규모가 단순히 배치 수를 늘리는 데 그치지 않고, 더 많은 현실 경험을 생성하는 학습 자원이 될 수 있음을 보여준다.

다만 이번 검증은 5개 작업에 한정됐다. 다른 물체와 환경, 서로 다른 로봇 구조로 얼마나 안정적으로 전이되는지는 추가 검증이 필요하다. 경험 데이터의 품질 관리, 기체 간 차이, 실패 데이터 선별, 안전 제어 역시 실제 도입을 좌우할 요소다. 그럼에도 CEL은 단일 로봇의 성능 개선에서 로봇 집단의 지속적인 진화로 나아가는 구체적인 연구·산업 경로를 제시한다.

출처: 퀀텀비트