로봇을 세계 안에서 학습시키는 RoboScript, 가중치 업데이트 없이 조작 기술 전이

들어가며

로봇에게 물체를 집거나 정해진 위치에 배치하는 작업을 가르치려면 보통 많은 시연 데이터와 별도의 학습 과정이 필요합니다. 전통적인 행동 정책은 학습한 조작 기술을 네트워크 가중치에 기록합니다. 이 방식은 실행이 빠를 수 있지만, 학습 당시의 장면, 물체의 외관, 배치와 기술이 결합되기 쉽습니다. 따라서 새로운 환경에서는 같은 작업을 마주해도 정책이 제대로 작동하지 않을 수 있습니다.

인컨텍스트 학습은 모델 파라미터를 바꾸지 않고 시연이나 프롬프트를 임시 지식으로 활용하는 대안입니다. 하지만 다른 장면에서 수집한 시연만으로는 로봇이 현재 마주한 세계의 피드백을 얻을 수 없습니다. RoboScript는 이 문제를 해결하기 위해 **World In-Context Learning(WICL)**을 제안합니다. 모델이 예시를 읽는 데 그치지 않고 상호작용 가능한 세계에서 작업을 리허설하도록 한 뒤, 그 결과를 컨텍스트에 기록하는 방식입니다.

핵심 구성

• 장면보다 작업의 의미를 학습: 연구진은 인컨텍스트 학습에서 중요한 정보가 특정 장면의 시각적 모습이 아니라 작업 순서, 물체의 역할, 행동 간 관계라고 봅니다.
• 시뮬레이션에서 반복 실행: 단 한 번의 시연에서 시작해 고정된 모델이 시뮬레이터와 같은 세계에서 작업을 시도합니다. 실행 결과를 관찰하고 실패한 행동 순서를 조정합니다.
• Task Memory 생성: 반복 연습에서 얻은 경험은 Task Memory로 정리됩니다. 기울기 업데이트로 기반 모델의 가중치를 바꾸는 대신 작업 단위의 지식을 컨텍스트에 보존합니다.
• 배포 데이터 격리: 실제 로봇이 얻을 수 없는 정보를 새로운 장면의 배포 입력으로 사용하지 않도록 학습과 배포 데이터를 분리합니다.
• 반성과 형태 적응: 반성을 통해 메모리를 개선하고, 서로 다른 시각 분포와 로봇 형태 사이에서 메모리를 적응시킬 수 있도록 설계했습니다.

결과와 의미

RoboTwin 2.0의 전체 50개 작업에서 RoboScript는 클린 설정과 무작위화 설정을 합쳐 83.4%의 평균 성공률을 기록했습니다. 각 작업에 시연 하나만 사용했고, 기울기 업데이트는 수행하지 않았습니다. 제공된 논문 요약에 따르면 이는 가장 강력한 학습형 행동 정책보다 20포인트 이상 높은 수치입니다. 연구진은 시각 분포를 넘어선 일반화, 반성에 따른 성능 향상, 더 강한 기반 모델에 따른 확장성, 그리고 교차 로봇 형태 메모리 적응을 통한 물리적 양팔 로봇 전이도 보고했습니다.

이 접근의 의미는 로봇 학습을 세 요소로 분리한다는 데 있습니다. 기반 모델은 의미를 해석하고, 시뮬레이터는 시행착오와 피드백을 제공하며, Task Memory는 작업별 경험을 보존합니다. 새로운 경험을 모두 영구적인 가중치에 압축하는 대신, 작업별 메모리를 만들고 고정하고 재사용하기 쉬운 구조를 제시한 것입니다.

다만 시뮬레이션과 현실 사이의 차이, 긴 작업 순서에서 메모리가 커지는 문제, 실제 환경에서의 안정성은 추가 검증이 필요합니다. 그럼에도 WICL은 체화된 에이전트의 학습이 반드시 모델 가중치 변경을 뜻하지 않는다는 관점을 보여줍니다. 상호작용 가능한 세계를 학습 루프에 넣으면 컨텍스트 자체가 로봇의 기술을 획득하고 다듬는 공간이 될 수 있습니다.

출처: Hugging Face Daily Papers