StreamEval이 보여준 실시간 인터랙티브 영상 생성의 한계

들어가며

영상 생성은 완성된 짧은 클립을 한 번 출력하는 방식에서, 재생 중에도 사용자의 요청에 계속 반응하는 방식으로 발전하고 있습니다. 사용자는 영상 도중 아바타의 동작을 바꾸거나, 생성된 환경을 수정하거나, 기존 요소를 유지한 채 새로운 편집을 요구할 수 있습니다. 이런 시스템에서는 영상이 얼마나 사실적인지만으로 성능을 판단하기 어렵습니다. 요청이 들어온 시점을 이해하고, 필요한 상태 변화를 실행하며, 유지해야 할 콘텐츠를 훼손하지 않는 능력이 함께 필요합니다.

StreamEval은 이러한 요구를 측정하기 위한 인터랙티브 스트리밍 영상 생성 벤치마크입니다. 완성된 결과물 하나를 평가하는 대신, 모델이 시간의 흐름 속에서 연속적으로 도착하는 멀티모달 요청을 처리할 수 있는지 확인합니다.

핵심 내용

• 5개 과제 영역을 다룬다. 아바타 대화, 아바타 퍼포먼스, 월드 생성, 지시 편집, 참조 편집을 포함합니다. 캐릭터의 행동과 환경·영상 편집을 한 프레임워크에서 평가하는 구성입니다.
• 시간 제약을 명시한다. 300개의 스크립트형 테스트 사례는 15~300초 동안 진행됩니다. 각 사례에는 초기 자산, 순차적으로 들어오는 요청, 요구되는 상태 변화, 보존해야 하는 콘텐츠가 정의되어 있습니다.
• 화질만 평가하지 않는다. 과제 실행, 상태 일관성, 시각적 충실도, 시청각 협응이라는 네 가지 축을 사용하며, 0~100점으로 환산되는 10개 과제별 지표를 적용합니다.
• 요청 추종은 여전히 어렵다. 7개 아바타 퍼포먼스 모델의 Following 최고 점수는 36.90이었습니다. 텍스트 조건 월드 생성에서는 25.93, 보고된 3개 참조 편집 모델의 Edit Success에서는 15.00이 최고였습니다. 보기 좋은 결과와 실제 요구사항을 수행하는 능력 사이에 격차가 있음을 보여줍니다.

이 평가가 중요한 이유

StreamEval의 핵심 기여는 스트리밍 시스템의 숨은 요구사항을 측정 가능한 항목으로 바꿨다는 데 있습니다. 기존 영상 생성 평가는 단일 클립의 선명도, 움직임, 인물 정체성 보존에 집중하는 경우가 많았습니다. 그러나 인터랙티브 시스템은 새 요청이 기존 상태를 바꾸는지, 추가하는지 판단하면서 시간에 걸쳐 일관성을 유지해야 합니다.

짧은 장면에서는 자연스럽게 보이는 모델도 긴 상호작용에서는 요청을 놓치거나, 변화 반영이 늦거나, 보존해야 할 인물과 물체를 바꿀 수 있습니다. 따라서 생성 품질과 지시 실행 능력을 같은 개념으로 볼 수 없습니다. StreamEval은 실행 성공과 상태 유지를 영상 품질과 분리된 핵심 역량으로 드러냅니다.

모델 개발자에게는 해상도와 외관 개선만큼이나 상태 표현, 요청 스케줄링, 시간적 메모리, 편집 성공 여부를 검증하는 방법이 중요해집니다. 사용자 관점에서 실용성을 결정하는 질문도 달라집니다. 단순히 아름다운 영상을 만들 수 있는지가 아니라, 영상의 연속성을 유지하면서 다음 요청에 정확히 반응할 수 있는지가 중요합니다.

37개 모델을 대상으로 한 StreamEval은 향후 시스템을 비교할 공통 기준을 제공합니다. 아바타, 가상 세계, 창작 도구에 영상 생성이 활용될수록, 시간 제약과 콘텐츠 보존 조건 아래에서 요청을 안정적으로 실행하는 능력이 제품 성숙도의 주요 지표가 될 가능성이 큽니다.

출처: Hugging Face Daily Papers