WOVEN: 시각적 상태 변화를 학습하는 멀티모달 모델

들어가며

멀티모달 대규모 언어 모델은 이미지 속 물체를 인식하고 영상을 요약하는 데는 강해지고 있다. 그러나 물체가 이동한 뒤 어디에 있을지, 특정 행동이 장면을 어떻게 바꿀지, 가려진 뒤의 상태가 물리적으로 말이 되는지, 여러 사건이 어떤 순서로 일어났는지를 묻는 순간 성능이 흔들린다. 지금까지는 공간 추론, 신체성 추론, 물리 상식, 시간 이해를 서로 다른 영역으로 나누어 연구하는 경우가 많았다.

WOVEN은 이 문제들이 공통적으로 시각 전이 추론의 부족에서 비롯될 수 있다고 제안한다. 시각 전이 추론은 현재 장면과 그 사이에 발생한 행동 또는 사건을 바탕으로 이후의 시각 상태를 예측하는 능력이다. 연구진은 이를 하나의 개별 과제가 아니라 세계 모델을 구성하는 재사용 가능한 기본 능력으로 보고, 다양한 감독 신호에서 학습한 뒤 다른 과제로 전이할 수 있는지 살폈다.

핵심 내용

• 구조화된 학습 데이터. WOVEN은 36,076개 사례로 구성되며 20개 장면 유형, 5개 행동 유형, 8개 추론 유형을 포함한다. 데이터는 영상 사전학습 생성 모델이 만든 다양하고 현실적인 롤아웃에서 얻었다. 핵심은 한 프레임에 무엇이 있는지 맞히는 것이 아니라, 행동 이후 장면이 어떻게 변화하는지를 이해하는 데 있다.
• 최신 모델의 공통된 결함. GPT-5.4와 Qwen3-VL-235B-A22B를 포함한 38개 프런티어 MLLM을 평가한 결과, 가장 강한 모델도 인간보다 크게 낮은 성능을 보였다. 이러한 실패는 모델 계열을 가리지 않고 반복됐으며, 모델 규모를 키우는 것만으로는 문제가 사라지지 않았다.
• 다양한 과제로의 전이. 여러 규모의 모델을 WOVEN으로 학습하자 외부 벤치마크 26개 중 22개가 개선됐고, 최대 향상 폭은 27.3%포인트였다. 약 2,000개 수준의 하위 집합을 조합해도 효과가 나타났으며, 일부 과제에서는 과제 전용 학습 데이터의 30~50%를 WOVEN 데이터로 대체해도 비슷한 정확도를 얻었다.
• 학습 순서에 대한 단서. 모델이 물리 원리를 습득하는 순서가 영아의 발달 순서와 비슷하고, 이를 커리큘럼으로 사용할 수 있다는 결과도 보고됐다. 외관 변화보다 기하학적 변화가 성능을 훨씬 크게 떨어뜨려 공간 구조의 중요성을 보여준다. 같은 백본에서는 수시간의 생성 영상 학습이 대규모 실제 영상 중간 학습보다 더 좋은 결과를 냈다는 보고도 있다.

의미와 한계

WOVEN의 핵심 의미는 멀티모달 능력을 과제별로 따로 훈련하는 대신, 상태 변화 이해를 공통 기반으로 삼을 수 있는지 시험했다는 점이다. 시각 전이 추론이 공간, 시간, 신체성, 물리 추론에 실제로 공유되는 능력이라면, 영상 질의응답, 행동 계획, 로봇 조작, 장면 예측에 같은 학습 결과를 재사용할 수 있다. 이는 각 분야마다 별도의 감독 데이터를 처음부터 구축해야 하는 부담을 줄일 가능성이 있다.

다만 이번 결과가 세계 모델링 문제의 해결을 뜻하는 것은 아니다. 보고된 전이는 논문이 사용한 외부 벤치마크를 기준으로 한 것이며, 생성 영상과 실제 환경 사이의 차이, 실제 상황에서의 강건성은 추가 검증이 필요하다. 따라서 WOVEN은 완성된 해답이라기보다, 시각적 상태 전이를 중심으로 여러 추론 능력을 측정하고 학습하는 구체적인 연구 프레임워크로 이해하는 편이 적절하다.

출처: Hugging Face Daily Papers