로봇의 ‘GPT-3 순간’: 몇 초 시연만 보고 새 동작을 학습한다

들어가며

로봇에게 새로운 동작을 가르치려면 보통 데이터를 수집하고 정책을 학습한 뒤 반복적으로 조정해야 합니다. Generalist가 공개한 GEN-1.5는 다른 방식을 보여줍니다. 로봇이 3~12초 분량의 동작 시연을 본 뒤, 별도로 학습하지 않은 작업을 바로 시도하는 방식입니다. 시연 과정에서 그래디언트 업데이트나 현장 파인튜닝을 하지 않는다는 점에서 로봇 분야의 ‘GPT-3 순간’으로 불리고 있습니다.

핵심 내용

• 시연을 물리적 컨텍스트로 사용한다. 기존 로봇 학습에서는 시연을 훈련 데이터로 변환하는 경우가 많습니다. GEN-1.5는 방금 관찰한 동작을 추론 시점의 입력으로 활용해, 예시에서 임시 실행 전략을 추정합니다.
• 여러 시연을 조합할 수 있다. 브러시로 물체를 쓸어내는 동작을 본 뒤 다른 물체에도 비슷한 구조를 적용할 수 있습니다. 쓰레받기를 추가하면 한 손으로 쓸고 다른 손으로 받는 협응 동작을 추론할 가능성도 있습니다. 위치 재조정, 그립 변경, 실패 후 복구 같은 연결 동작을 모두 단계별로 보여주지 않아도 보완할 수 있다는 설명입니다.
• 시뮬레이션도 프롬프트가 된다. 스크립트로 만든 궤적, 강화학습 에이전트의 동작, 시뮬레이터에서 사람이 원격 조작한 시연을 Physical Prompt로 활용할 수 있습니다. 시뮬레이터에서 본 동작을 실제 로봇에서 재현하는 사례도 소개됐습니다.
• 능력이 사전 학습에서 나타났을 가능성이 있다. Generalist는 원샷 학습을 위해 별도의 구조나 목적 함수를 추가하지 않았다고 설명합니다. 현실의 물리 상호작용 데이터를 장기간 학습하면서 새 작업에 필요한 데이터가 줄었고, 파라미터를 갱신하지 않는 적응 능력이 관찰됐다는 것입니다.

아직은 신중한 해석이 필요하다

한 번 보여주면 어떤 동작이든 안정적으로 수행한다는 뜻은 아닙니다. 제공된 자료에 따르면 10개 작업에서 Physical Prompt를 한 번만 제공했을 때 평균 성공률은 59%였습니다. 5분 분량의 추가 데이터와 10회의 그래디언트 업데이트를 적용하면 성공률은 83%로 높아졌습니다. 실험 과제는 주로 짧고 비교적 단순한 동작이었으며, 안정성은 전용 파인튜닝 모델보다 낮았습니다.

그럼에도 주목할 부분은 성공률 자체보다 학습 방식입니다. 연속적인 물리 데이터에는 동작 순서, 결과 피드백, 반복, 실패 후 복구가 함께 담깁니다. 이런 데이터를 대규모로 학습하면 모델이 방금 일어난 일을 먼저 파악하고 다음 행동을 선택하는 능력을 얻을 수 있습니다. 이는 언어 모델의 컨텍스트 학습과 닮은 구조입니다.

의미와 영향

이 접근법이 확장된다면 로봇 배포 방식도 달라질 수 있습니다. 새로운 작업마다 모델을 다시 학습시키는 대신, 사용자가 짧은 시연으로 기술을 전달할 수 있기 때문입니다. 텍스트 지시를 관찰 가능하고 실행 가능한 동작 맥락으로 바꾸는 ‘물리적 프롬프트 엔지니어링’이라고 볼 수 있습니다.

다만 환경 간 일반화, 장기 작업 계획, 안전성, 실패 후 제어 가능한 복구는 여전히 해결해야 할 과제입니다. GEN-1.5는 완성된 해법이라기보다 로봇 기초 모델이 익숙한 동작을 재생하는 단계에서, 새로 본 예시를 바탕으로 행동을 구성하는 단계로 이동하고 있음을 보여주는 신호에 가깝습니다.

출처: 量子位