Stateful Harness, 세계 모델에 ‘규칙 실행 후 영상 생성’ 구조를 도입

들어가며

영상 세계 모델은 한 장의 이미지와 사용자의 행동을 입력받아 다음 장면을 생성하는 능력을 빠르게 높이고 있습니다. 사용자가 장면 안에서 이동하거나 카메라를 움직이며 환경을 탐색하는 작업에는 유용하지만, 시각적으로 자연스러운 결과가 곧 세계의 규칙을 지킨다는 뜻은 아닙니다. 현재 프레임에 나타나지 않는 과거 사건이나 내부 상태가 결과를 좌우한다면, 겉보기에는 같은 두 장면도 같은 행동에 대해 서로 다른 결말을 요구할 수 있습니다.

칭화대 연구팀이 제안한 Stateful Harness는 이 문제를 세계의 상태 변화와 영상 렌더링을 분리하는 방식으로 다룹니다. 영상 생성 모델 하나에 모든 규칙과 기억을 맡기는 대신, 별도의 계층이 사건을 결정하고 영상 모델은 그 결과를 시각화합니다.

핵심 내용

• 규칙 기반 상태 업데이트. Harness는 계속 변화하는 세계 상태를 유지하면서, 지정된 규칙에 따라 사용자의 행동을 해석합니다. 숨은 상태가 다르면 동일한 화면과 행동에서도 다른 사건을 선택할 수 있습니다.
• 고정 영상 모델의 렌더링. 상태 시스템이 결과를 결정하면, 이를 영상 모델이 처리할 수 있는 지시문으로 변환합니다. 편집 가능한 3D 장면에서 얻은 미리보기는 공간 배치와 카메라 움직임을 보조합니다.
• 생성 결과의 상태 반영. 생성된 영상은 일회성 출력으로 끝나지 않습니다. 다음 상호작용을 위해 결과를 세계 상태에 반영하며, 행동 해석, 사건 렌더링, 상태 전이의 순환 구조를 만듭니다.
• 반사실적 쌍을 이용한 평가. WorldState-Bench는 50개의 쌍으로 구성됩니다. 각 쌍은 초기 프레임과 행동은 같지만 숨은 상태와 요구되는 결말이 다릅니다. 따라서 단순히 비슷한 영상을 만드는 것만으로는 좋은 점수를 얻기 어렵습니다.

결과와 영향

규칙만 프롬프트로 제공한 조건에서 평가된 11개 영상 백엔드 가운데 가장 좋은 시스템도 한 쌍의 두 사례 모두에서 요구된 결말을 만든 비율이 32%에 그쳤습니다. MiniMax-H3에서 요구되는 결말을 직접 지정하면 이 비율은 32%에서 64%로 상승했습니다. 같은 고정 모델을 Stateful Harness 전체 구조와 함께 사용했을 때는 92%에 도달했습니다.

이는 문제의 핵심이 영상 품질이나 움직임의 자연스러움에만 있지 않다는 점을 보여줍니다. 생성 모델에 상태 기록과 규칙 실행까지 동시에 요구하기보다, 검증 가능한 상태 관리 계층을 분리하는 편이 더 효과적일 수 있습니다. 인터랙티브 영상, 게임형 환경, 로봇과 같은 체화형 시스템에서는 영상 모델이 외관과 동작을 담당하고 별도 모듈이 세계의 일관성을 관리하는 구조가 유망합니다.

다만 이번 벤치마크는 50개의 반사실적 쌍으로 구성되며, 성능은 상태 표현과 규칙 정의 방식에도 영향을 받습니다. 더 긴 상호작용과 개방형 환경에서 상태 업데이트가 안정적으로 작동하는지는 추가 검증이 필요합니다.

출처: Hugging Face Daily Papers