HandsOn, 손재주 조작 로봇의 일반화 능력을 대규모로 평가

들어가며

로봇이 특정 팔과 손으로 익숙한 물체를 다루는 것만으로는 범용 조작 능력을 증명하기 어렵습니다. 진짜 문제는 로봇의 형태, 손, 물체, 공간적 관계와 작업 구성이 바뀌어도 같은 기술을 안정적으로 재사용할 수 있는지입니다. HandsOn은 이 문제를 체계적으로 측정하기 위해 제안된 시뮬레이션 플랫폼이자 평가 벤치마크입니다.

여러 로봇과 물체를 함께 평가

HandsOn은 5종의 로봇 팔과 6종의 손재주형 손, 그리고 약 200개의 강체·관절형·변형 가능 자산을 지원합니다. 또한 LeRobot v2.1 형식으로 정리한 약 1만8000개의 인간 시연을 제공하며, 전방 카메라와 손목 카메라의 관측을 동기화합니다. 연구자는 이를 바탕으로 특정 로봇 구성에 한정되지 않고 시각 입력, 행동 표현, 제어 정책을 비교할 수 있습니다.

총 66개의 사람이 검증한 작업은 두 평가군으로 나뉩니다.

• Core-50: 시연 기반 학습과 핵심 조작 작업의 실행 능력을 평가합니다.
• Transfer-16: 물체 자산과 공간 관계의 전이, 기술 조합, 변형 물체 조작을 평가합니다. 평가 대상 작업에 대한 학습 시연은 제공되지 않습니다.

이 구분은 훈련 분포를 기억하는 능력과 새로운 상황에 기술을 적용하는 능력을 분리합니다. 실제 환경에서 로봇은 훈련 때와 동일한 물체, 배치, 기술 조합을 만나기 어렵기 때문에 Transfer-16과 같은 평가가 특히 중요합니다.

결과가 보여주는 병목

논문은 확산 정책, 비전-언어-행동 모델, 월드-액션 모델, 프롬프트 기반 비전 언어 모델 계열을 비교했습니다. 가장 성능이 높은 학습형 멀티태스크 정책은 Core-50에서 29.1%의 성공률을 기록했습니다. 이 결과는 손재주 조작이 물체를 인식하거나 그럴듯한 궤적을 생성하는 문제만은 아니라는 점을 보여줍니다. 정책은 실제 접촉을 만들고, 손바닥과 손가락을 조정하며, 달성한 상태를 계속 유지해야 합니다.

단계별 진단에서는 접촉 형성, 동작 협응, 목표 상태 유지가 반복적인 실패 원인으로 나타났습니다. 기술을 조합하는 작업에서는 각각의 동작을 수행할 수 있어도 순서를 잘못 정하는 문제까지 발생합니다. 따라서 개별적인 동작 패턴을 모으는 것만으로는 충분하지 않습니다. 지각, 접촉 상태, 연속 제어, 작업 순서를 폐루프 방식으로 연결하는 구조가 필요합니다.

논문은 벤치마크에 맞춘 미세조정을 하지 않고 move_eef로 손바닥과 손가락을 제어한 GPT-6의 결과도 보고합니다. 660회 시험에서 Core-50은 5.2%, Transfer-16은 1.9%였습니다. 이 수치를 모든 비전 언어 모델에 일반화할 수는 없지만, 고수준 추론과 안정적인 물리적 상호작용 사이에 여전히 큰 간극이 있음을 보여주는 지표입니다. 프로젝트 페이지에는 실제 로봇의 정성적 실행 사례도 공개되어 있지만, 이를 광범위한 현실 환경 검증으로 해석해서는 안 됩니다.

의미와 향후 과제

HandsOn의 핵심 가치는 하나의 고정 작업 성공률을 넘어 로봇 형태, 물체, 관계, 변형, 기술 조합을 가로질러 정책을 비교할 수 있다는 데 있습니다. 또한 실패를 접촉, 협응, 목표 유지, 실행 순서 문제로 나누어 보여주기 때문에 후속 연구가 개선 지점을 구체적으로 설정할 수 있습니다.

앞으로는 접촉 동역학 모델링, 기술 조합을 위한 계층적 제어, 로봇 형태를 넘나드는 행동 표현, 변형과 불확실성을 처리하는 폐루프 정책이 중요해질 가능성이 큽니다. 공개된 코드와 PhysX 시연 데이터는 손재주 조작의 일반화가 어느 단계에서 무너지는지 반복해서 검증할 수 있는 공통 기반을 제공합니다.

출처: Hugging Face Daily Papers