WATCH, 영상 간 학습으로 전이 가능한 세계-행동 모델을 훈련하다

들어가며

로봇이 새로운 환경에서 작업하려면 화면을 인식하는 것만으로는 부족합니다. 특정 행동이 물체와 환경의 상태를 어떻게 바꾸는지 이해하고, 그 지식을 다른 장소와 다른 로봇 몸체에도 적용해야 합니다. 세계-행동 모델은 영상 사전학습을 통해 시각적·물리적 선행지식을 얻지만, 같은 영상 안에서 다음 프레임을 예측하는 방식은 장면의 외형적 연속성만으로도 어느 정도 해결할 수 있습니다. 이 경우 카메라 시점이나 물체 배치를 따라갈 수는 있어도, 새로운 상황에 옮겨갈 상호작용 규칙을 충분히 배운다고 보기는 어렵습니다.

논문 「Learning Transferable World-Action Models from Task-Paired Human Videos」는 이 문제를 다루기 위해 WATCH를 제안합니다.

핵심 아이디어: 영상 안에서 영상 사이로

WATCH는 서로 다른 환경에서 수집된, 과제 기준으로 짝지은 인간 시연 영상을 사용합니다. 한 시연의 영상과 행동을 조건으로 제공하고, 다른 시연의 현재 관측으로부터 그 시연의 다음 행동과 미래 프레임을 함께 예측하게 합니다.

이 학습 목표는 다음과 같은 차이를 만듭니다.

• 입력 영상과 예측 대상 영상이 다르므로 동일한 장면의 외형 연속성에 의존하기 어렵습니다.
• 모델은 과제와 관련된 상태 변화, 행동의 대응 관계, 환경과의 상호작용을 추출해야 합니다.
• 인간과 로봇의 완전히 대응된 시연이 없어도 인간-인간 과제 쌍으로 사전학습할 수 있습니다.

따라서 WATCH는 단순한 영상 이어쓰기에서 벗어나, 과제를 매개로 서로 다른 장면 사이를 추론하도록 학습 목표를 바꿉니다.

실험에서 보고된 결과

로봇 후학습 전 분석에서 WATCH는 서로 다른 로봇 형태 사이의 움직임 정렬을 개선했고, 사전학습에서 보지 못한 로봇에 대한 행동 및 영상 예측도 향상했습니다. 내부 표현은 로봇 쌍 데이터로 학습한 표현과 더 가까워졌습니다. 이는 인간 영상이 단순한 시각적 외형뿐 아니라 로봇 학습에 활용할 수 있는 과제 구조도 담을 수 있음을 시사합니다.

로봇 후학습 이후에는 MimicDroid의 상황 내 성공률이 Cosmos Policy와 함께 사용할 때 40.9%에서 68.3%로, Cosmos3와 함께 사용할 때 59.8%에서 77.7%로 증가했습니다. 특히 보지 못한 레벨에서 개선 폭이 컸다고 보고됐습니다. 컨텍스트가 없는 후학습과 여러 로봇 형태에서도 이득이 유지됐으며, 영상 내 사전학습과 공동학습 기준선도 넘어섰습니다.

의미와 남은 과제

WATCH의 중요한 점은 인간 영상을 단순히 다음 화면을 예측하기 위한 자료가 아니라, 과제에 공통된 행동과 상태 변화를 학습하기 위한 자료로 활용했다는 데 있습니다. 이 접근이 확장된다면 로봇과 환경마다 정밀하게 대응하는 시연을 대량으로 수집하지 않고도, 먼저 대규모 인간 영상을 통해 일반적인 세계-행동 표현을 학습한 뒤 제한된 로봇 데이터로 적응할 수 있습니다.

다만 제공된 자료만으로는 데이터 규모, 과제 구성, 모델 구조, 평가 조건을 모두 확인하기 어렵습니다. 다양한 작업과 실제 배치 환경에서도 효과가 안정적으로 재현되는지는 논문 전문과 후속 연구를 통해 검증해야 합니다.

출처: Hugging Face Daily Papers