Zero-WAM, 인간 영상을 보고 학습하지 않은 작업에 대응하는 로봇

들어가며

로봇이 훈련한 동작을 반복하는 능력과 처음 보는 작업을 수행하는 능력 사이에는 큰 차이가 있습니다. 실제 환경에서 중요한 것은 새로운 작업을 만났을 때 무엇을 해야 하는지 빠르게 파악하고, 별도의 재훈련 없이 행동으로 옮기는 능력입니다. 대규모 언어 모델은 새로운 요청을 입력 컨텍스트에 넣는 것만으로도 작업에 대응하는 인컨텍스트 학습을 보여 왔습니다. Zero-WAM은 이 아이디어를 로봇 조작에 적용하며, 언어 대신 인간의 작업 영상을 자연스러운 작업 설명으로 활용합니다.

Zero-WAM의 접근법

Zero-WAM은 인과적 비디오-액션 모델입니다. 로봇이 작업을 수행할 때 인간의 시범 영상을 컨텍스트 프롬프트로 입력받고, 그 안에 담긴 정보를 바탕으로 이후 로봇 행동을 예측합니다. 여기서 영상은 단순히 따라 해야 하는 궤적이 아닙니다. 어떤 물체가 관련되는지, 상호작용이 어떤 순서로 진행되는지, 접촉이 어떻게 일어나는지, 작업이 어떤 상태 변화를 거치는지를 보여 주는 작업 명세에 가깝습니다. 따라서 모델은 훈련에 없던 작업도 영상에서 의미를 추출해 시도하도록 설계됩니다.

이 연구는 인간과 로봇의 대응 데이터가 부족하다는 문제도 다룹니다. 로봇 궤적을 대규모로 수집하는 것만으로는 같은 작업을 보여 주는 인간 영상이 함께 확보되지 않습니다. 연구팀은 작업에서 샘플링한 로봇 궤적을 의미적으로 대응하는 인간 영상으로 변환하는 자동화 파이프라인을 제안했습니다. 그 결과 만들어진 HumanGen은 8600개 작업을 대상으로 한 7.42만 개의 인간-로봇 인컨텍스트 학습 쌍을 포함합니다.

영상 프롬프트 무시를 막는 학습

모델에 영상을 입력한다고 해서 모델이 반드시 영상을 사용하는 것은 아닙니다. 훈련 중 보았던 작업과의 상관관계만 이용해 작업을 추정하고, 실제 프롬프트는 무시할 수 있습니다. Zero-WAM은 이를 줄이기 위해 in-context future chunk prediction, 즉 IFP 학습 목표를 도입했습니다. 이 목표는 학습된 작업에서 얻은 지름길을 억제하고, 미래 행동 구간을 예측할 때 영상에서 작업 정보를 추출하도록 유도합니다.

결과와 의미

RoboTwin 2.0 시뮬레이션에서 보지 못한 7개 작업을 평가한 결과, Zero-WAM의 평균 성공률은 47.0%였습니다. 제공된 자료 기준으로 이는 가장 강력한 비디오-액션 기준선보다 절대값 29.5%포인트 높은 수치입니다. 논문은 실제 로봇 평가에서도 인간 영상의 안내를 따라 보지 못한 작업에 일반화했다고 설명하지만, 제공된 발췌문에는 실제 환경의 세부 작업 수와 성공률이 포함되어 있지 않습니다. 따라서 해당 결과를 바탕으로 더 구체적인 비교를 제시하기는 어렵습니다.

Zero-WAM의 핵심 의미는 로봇 작업의 입력 인터페이스를 언어에만 한정하지 않는 데 있습니다. 영상은 물체의 공간적 관계, 시간적 순서, 접촉 방식, 중간 상태를 한 번에 전달할 수 있습니다. HumanGen은 데이터 부족을, IFP는 훈련 작업에 대한 단순 암기를 겨냥합니다. 이는 로봇의 작업 일반화가 모델 규모만의 문제가 아니라, 어떤 시범 데이터를 만들고 어떤 학습 신호를 주느냐의 문제이기도 하다는 점을 보여 줍니다.

다만 인간과 로봇은 신체 구조, 카메라 시점, 제어 방식, 물리적 능력이 서로 다릅니다. 더 긴 작업 순서나 예측하기 어려운 환경에서도 안정적인 성능을 낼 수 있을지는 추가 검증이 필요합니다. 그럼에도 인간의 영상을 보고 별도 파라미터 업데이트 없이 행동하는 접근은 체화형 AI의 새로운 적응 경로로 주목할 만합니다.

출처: Hugging Face Daily Papers