ENCORE, 소수의 시연에서 로봇 조작 전략을 발견하는 코딩 에이전트

배경

“물체를 목표 위치에 놓아라”라는 로봇 명령은 최종 의도만 전달할 뿐, 실제 실행에 필요한 세부 사항을 모두 설명하지 않습니다. 로봇은 어느 방향에서 접근할지, 어디를 잡을지, 어떤 순서로 접촉할지, 언제 놓을지, 성공 상태를 무엇으로 판단할지를 추론해야 합니다. 기존 방식은 이를 대규모 학습 데이터나 반복적인 시행착오로 해결하는 경우가 많습니다. ENCORE는 소수의 시연을 코딩 에이전트가 읽을 수 있는 탐색의 기준점으로 활용합니다.

작동 방식

ENCORE는 시연을 단순한 추가 학습 예제로 넣지 않습니다. 결정론적 빌더가 각 시연에서 다중 시점 키프레임, 그리퍼의 열림·닫힘 이벤트, 연속 프레임 스트립, 전체 동작 궤적을 추출해 증거 묶음으로 구성합니다. 에이전트는 이를 통해 장면의 시각적 정보뿐 아니라 동작의 순서와 시간적 구조도 살펴볼 수 있습니다.

코딩 에이전트는 증거 묶음을 분석한 뒤, 고정된 인식·행동 API를 대상으로 정책 프로그램을 작성합니다. 제한된 개발 단계에서는 프로그램을 실행하고 롤아웃 결과를 확인하면서 코드를 수정할 수 있습니다. 그러나 최종 프로그램을 동결한 뒤에는 성공 신호가 제공되지 않는 봉인 평가를 수행합니다. 따라서 평가 중 피드백에 맞춰 임시로 고치는 것이 아니라, 시연에서 재사용 가능한 조작 전략을 추론하는 능력을 측정합니다.

주요 결과

• LIBERO-PRO의 변형 과제에서 시연이 있을 때 첫 프로그램은 과제의 절반에 성공했습니다. 시연이 없을 때의 성공은 한 과제였습니다.
• 동결된 프로그램은 96.3%를 기록해, 동일한 언어 모델을 사용한 기존 에이전트 시스템의 89.3%를 넘어섰습니다.
• 목표가 지시문에 명시되지 않은 RoboDojo 과제에서는 시연 없이는 어떤 프로그램도 성공하지 못했습니다.
• 실제 양팔 로봇에서도 큐브 전달과 컵 뒤집기를 각각 5회의 시연으로 학습했습니다.

의미와 남은 과제

ENCORE는 로봇 시연을 반드시 대규모 학습 세트로 변환해야 하는 것은 아니라는 점을 보여줍니다. 시연을 구조화된 문맥으로 제공하면 코드 합성 과정이 탐색해야 할 전략의 범위를 줄일 수 있습니다. 자연어 지시가 최종 목표는 설명하지만 접촉 순서, 움직임, 완료 조건을 생략하는 로봇 작업에서 특히 실용적인 관점입니다. 영상과 궤적을 에이전트가 읽을 수 있는 중간 표현으로 바꾼 점도 시각 이해, 프로그램 생성, 물리적 실행 사이의 연결을 명확하게 합니다.

다만 현재 결과는 특정 벤치마크, 고정 API, 제한된 개발 롤아웃에 기반합니다. 시연의 품질, 시점 변화, 물체 차이, 복잡한 환경에서의 일반화 성능은 추가 검증이 필요합니다. 그럼에도 ENCORE는 모방을 불투명한 입력-출력 예측이 아니라 관찰하고 수정한 뒤 동결할 수 있는 프로그램 발견 과정으로 재구성했다는 점에서 의미가 있습니다.

출처: Hugging Face Daily Papers