세계 행동 모델의 일반화를 만드는 것은 미래의 완전한 생성이 아니다

들어가며

세계 행동 모델(World Action Model, WAM)은 앞으로 무엇이 일어날지와 에이전트가 어떤 행동을 해야 할지를 함께 예측하는 모델이다. 관측을 곧바로 행동으로 바꾸는 일반적인 정책 모델과 달리, WAM은 학습 중 미래의 시각적 상태도 모델링한다. 환경의 변화 과정을 내부적으로 이해하면 더 높은 강건성과 전이 성능을 얻을 수 있다는 발상이다.

문제는 미래 영상 생성에 필요한 계산량이다. 명시적 WAM은 각 행동 청크와 함께 미래 영상을 반복적으로 디노이징해 깨끗한 프레임으로 만든다. 반면 잠재 WAM은 추론 시 미래 생성을 아예 제거해 속도를 높인다. 학습 분포 안의 과제에서는 두 방식이 비슷한 성능을 보일 수 있기 때문에, WAM의 일반화 이점에 완전한 미래 생성이 정말 필요한지는 중요한 쟁점이 된다.

연구가 보여준 결과

이 논문은 백본, 학습 데이터, 계산 예산을 맞춘 통제 실험을 수행하고 세 가지 측면에서 일반화를 평가했다.

• 환경 교란: 익숙한 학습 조건에서 벗어난 환경 변화에 대해 미래 조건을 유지한 모델이 더 안정적이었다.
• 데이터 효율성: 학습 데이터가 제한된 상황에서도 미래 표현이 추가적인 도움을 제공했다.
• 과제 일반화: 과제가 바뀌었을 때 미래 표현을 사용하는 행동 전문가가 더 잘 전이됐다.

잠재 WAM은 분포 내 과제에서는 명시적 WAM과 맞먹을 수 있지만, 행동 전문가가 미래 표현을 전혀 받지 않게 되면 세 가지 평가 축 모두에서 일관된 성능 저하가 나타났다. 즉, 분포 내 정확도만으로는 WAM이 제공하는 일반화 능력의 차이를 충분히 판단하기 어렵다.

특히 성능 격차가 디노이징 과정의 거의 첫 단계에서 발생했다는 분석이 중요하다. 이는 가치가 미래 영상을 끝까지 복원하는 데 있지 않고, 행동을 생성하기 전에 모델의 표현을 가능한 미래 방향으로 정렬하는 데 있음을 의미한다.

Simple-WAM의 절충안

이 관찰을 바탕으로 연구진은 Simple-WAM을 제안했다. 추론 단계에서 미래 영상을 여러 번 디노이징하는 대신, 완전히 노이즈가 섞인 미래 영상 토큰에 대해 한 번만 순방향 계산을 수행한다. 행동 전문가는 이 계산에서 얻은 미래 표현을 사용하며, 학습 단계의 노이즈 스케줄도 단일 단계 추론 방식에 맞게 조정한다.

Simple-WAM은 두 기존 방식의 중간 지점에 있다. 명시적 WAM의 반복적인 영상 생성 비용은 피하면서도, 잠재 WAM처럼 미래 조건을 완전히 버리지는 않는다. 제공된 자료에 따르면 시뮬레이션과 실제 환경 과제에서 Simple-WAM은 일반화 성능으로 명시적 WAM을 앞섰고, 효율성은 잠재 WAM과 비슷한 수준을 보였다.

의미와 한계

이 연구가 던지는 큰 메시지는 세계 모델의 가치를 영상 생성의 선명도만으로 평가해서는 안 된다는 점이다. 로봇 제어에서는 완성된 미래 영상보다 행동 선택에 유용한 예측 표현을 낮은 비용으로 확보하는 일이 더 중요할 수 있다.

앞으로의 시스템은 “가장 사실적인 미래를 생성하는 것”보다 “행동에 필요한 미래 상태를 최소한의 계산으로 준비하는 것”을 목표로 삼을 가능성이 있다. 다만 제공된 소재에는 구체적인 수치, 과제 수, 세부 실험 조건이 포함되어 있지 않다. Simple-WAM의 개선 폭과 장기 계획에서의 적용 범위는 논문 전문과 후속 재현 연구를 통해 확인할 필요가 있다.

출처: Hugging Face Daily Papers