DONIC, 인간 시연에서 두 손의 정교한 로봇 조작을 학습하다

들어가며

로봇이 인간의 일상적인 조작을 재현하려면 한 손을 정교하게 움직이는 것만으로는 부족합니다. 한 손으로 물체를 고정하고 다른 손으로 돌리거나 당기는 작업에서는 두 손이 같은 물체를 중심으로 위치와 힘을 조율해야 합니다. 두 손이 접촉을 유지하면서 역할을 바꾸고 물체의 움직임에 맞춰 반응해야 하므로, 단일 손 조작보다 학습 난도가 높습니다. 기존의 정교한 조작 추적 연구는 주로 한 손에 집중해 왔고, 접촉이 많은 양손 데이터와 협응을 학습하는 방법은 상대적으로 부족했습니다.

DONIC(Generalist Dexterous Bimanual Tracking Control from Human Demonstrations)은 이 문제를 겨냥한 범용 양손 추적 정책입니다. 서로 다른 조작 범주와 인간 동작 소스에서 얻은 시연을 함께 학습하며, 하나의 정책으로 두 개의 Wuji 정교 로봇 손을 제어합니다. 특정 작업에 맞춘 미세 조정 없이 새로운 궤적과 물체를 추적하는 것이 핵심 목표입니다.

핵심 내용

• BiHOI가 양손 상호작용 데이터를 확장한다. 함께 공개된 다중 시점 데이터셋은 229개 물체와 1,575개 시퀀스, 총 14.77시간의 상호작용을 포함합니다. 짧은 접촉보다 두 손이 물체에 지속적으로 관여하는 장면을 강조하며, 재구성한 인간 상호작용을 로봇 참조 궤적으로 변환합니다.
• 물체 중심 보상으로 손의 역할을 구분한다. DONIC은 손별 보상을 물체 중심으로 설계합니다. 물체의 움직임은 두 손에 공통된 작업 피드백을 제공하고, 각 손은 참조 동작에서 맡은 접촉 역할에 따라 감독됩니다. 두 손이 각자 목표를 따라가지만 물체를 매개로 협력하지 못하는 문제를 줄이려는 접근입니다.
• 참조 동작에 따른 편향을 줄인다. Clip-Centered Advantages는 각 동작 클립을 기준으로 어드밴티지를 계산합니다. 서로 다른 참조 궤적 때문에 생기는 불필요한 오프셋은 제거하고, 하나의 궤적 안에서 나타나는 상대적 차이는 유지합니다. 이로써 이질적인 시연을 하나의 정책으로 학습하기 위한 신호를 정리합니다.
• 성공 실행을 다시 학습 데이터로 사용한다. 근접 정책 최적화(PPO)와 행동 복제를 피드백 루프로 묶고, 재생 검증을 통과한 성공 실행을 새로운 시연으로 재활용합니다. 초기 인간 데이터만 모방하는 것이 아니라, 정책이 안정적으로 수행한 행동도 다음 학습에 반영하는 방식입니다.

결과와 의미

시뮬레이션에서 DONIC의 단일 체크포인트는 학습에 사용된 물체의 미관측 궤적에서 86.79%, 홀드아웃 물체에서 57.32%의 성공률을 기록했습니다. 두 결과 모두 추가 미세 조정 없이 얻었습니다. 논문이 제시한 비교에서 이는 DexTrack과 Dexplore를 양손용으로 적용한 기준선보다 높았습니다. BiHOI 데이터를 추가하면 두 홀드아웃 분할의 보고된 7개 지표가 모두 개선되고, 성공률은 각각 88.68%와 59.76%로 올라갑니다.

이 연구의 의미는 새로운 데이터셋을 제안했다는 데 그치지 않습니다. 지속적인 접촉을 담은 데이터, 물체 수준의 협력을 표현하는 보상, 성공 행동을 다시 활용하는 학습 루프를 하나의 시스템으로 연결했습니다. 열고 닫기, 운반, 조립처럼 접촉이 많은 양손 작업을 인간 시연에서 재사용 가능한 로봇 정책으로 옮기는 경로를 제시한 셈입니다.

다만 제시된 성공률은 시뮬레이션 결과이며, 소재만으로 실제 로봇 배치에 대한 폭넓은 결론을 내릴 수는 없습니다. 센서 잡음, 하드웨어 차이, 모델링되지 않은 접촉 역학이 실제 환경에서의 전이에 영향을 줄 수 있습니다. 그럼에도 DONIC은 범용 양손 조작이 두 개의 단일 손 제어기를 나란히 배치하는 문제에 그치지 않는다는 점을 보여줍니다. 공유된 물체 상태와 서로 보완적인 접촉 역할을 함께 학습해야 양손 협응이 가능하다는 메시지입니다.

출처: Hugging Face Daily Papers