AffordanceWAM, 인간 영상을 로봇 조작의 공통 인터페이스로 활용

배경

로봇 학습에는 상반된 데이터 문제가 있습니다. 행동 라벨이 있는 로봇 궤적은 제어를 직접 학습시키지만 수집 비용이 높고, 행동과 환경의 다양성도 제한적입니다. 반면 1인칭 인간 영상은 다양한 상호작용을 담고 있지만 로봇 행동 라벨이 없으며, 인간과 로봇은 신체 구조와 외형도 다릅니다. AffordanceWAM은 인간의 동작을 로봇 궤적으로 억지로 변환하지 않고, 두 데이터 유형이 공유할 수 있는 중간 표현으로 어포던스를 사용합니다.

핵심 설계

AffordanceWAM은 장면의 미래와 로봇 행동을 함께 생성하는 World Action Model입니다. 미래 세계 표현에 물체 중심의 시공간 어포던스를 포함해, 장면이 어떻게 변할지와 어디에서 상호작용이 가능한지를 동시에 예측합니다. 주요 표현은 다음과 같습니다.

• 스칼라 어포던스: 과제와 관련된 물체의 전반적인 상호작용 가능성과 중요도를 나타냅니다.
• 어포던스 히트맵: 실제로 조작을 가할 수 있는 영역을 더 세밀하게 표시합니다.

이 표현을 미래 RGB 관측과 함께 생성하면 모델은 어떤 물체를 선택해야 하는지뿐 아니라 어느 위치에 행동을 적용해야 하는지도 더 분명하게 학습할 수 있습니다.

구조적으로는 사전 학습된 비디오 확산 Transformer를 기반으로 World Expert와 Action Expert를 분리해 구성합니다. 두 전문가는 Masked Joint Self-Attention으로 연결되며, 하나의 flow-matching 목적 함수 아래에서 미래 RGB 관측, 스칼라 어포던스, 어포던스 히트맵, 연속 로봇 행동을 공동 예측합니다.

인간 영상의 역할

인간 영상은 미래 시각 관측, 스칼라 어포던스, 히트맵이라는 세 가지 미래 세계 출력을 감독합니다. 로봇 궤적은 동일한 세계 표현을 제공하는 동시에 로봇이 실제로 수행할 행동을 추가로 감독합니다. 따라서 두 도메인 사이에서 공유되는 것은 특정 팔의 움직임이 아니라, 어떤 물체가 중요한지, 어디에서 상호작용해야 하는지, 장면이 어떻게 변하는지에 대한 구조입니다.

이 방식은 인간 영상에 행동 라벨을 붙이거나 인간 동작을 로봇의 신체로 리타게팅하는 과정을 요구하지 않습니다. 인간과 로봇의 embodiment 차이를 인정하면서도, 인간 영상의 풍부한 상호작용 정보를 로봇 학습에 활용할 수 있다는 점이 핵심입니다.

결과와 의미

RoboCasa, CALVIN ABC→D, 실제 환경 조작 실험에서 AffordanceWAM은 RGB만 예측하는 방법과 로봇 데이터만 사용하는 기준선보다 일관된 성능 향상을 보였습니다. 로봇 감독의 양을 고정한 조건에서도 어포던스가 주석된 인간 영상을 추가할수록 RoboCasa 성능이 점진적으로 높아졌습니다.

이 연구의 의미는 인간 영상을 단순한 시각 사전학습 자료가 아니라, 물체 기능과 접촉 영역, 미래 장면 변화를 전달하는 구조화된 학습 자원으로 본 데 있습니다. 어포던스는 비디오 세계 모델과 실제 행동 생성을 연결하는 중간층이 될 수 있습니다. 다만 로봇 형태와 카메라 시점, 물체, 현실 환경이 바뀌어도 조작 영역을 안정적으로 찾을 수 있는지는 여전히 중요한 과제입니다.

출처: Hugging Face Daily Papers