영상 생성의 에이전트 시대: 샷 설계에서 자기개선 월드 모델까지

들어가며

영상 생성의 기준은 단일 클립의 선명도에서 여러 장면으로 구성된 일관된 작품을 완성하는 능력으로 이동하고 있다. 캐릭터의 지속성, 카메라 연출, 음성, 편집, 수정까지 요구되면 프롬프트를 한 번 입력하고 결과를 한 번 받는 구조만으로는 충분하지 않다.

《Video Generation Meets Agent Harness》는 이러한 변화를 에이전트 하니스라는 개념으로 설명한다. 하니스는 새로운 영상 생성 모델 자체가 아니라, 모델을 둘러싼 실행 환경이다. 컨텍스트를 구성하고, 도구를 제공하며, 상태를 유지하고, 피드백을 전달하고, 상호작용과 계산 예산을 관리한다.

핵심 내용

• 생성기에서 제작 워크플로로. 에이전트는 작업을 대본, 샷 계획, 자산 관리, 영상 생성, 편집, 평가로 나눌 수 있다. 하니스는 각 단계를 연결해 여러 모델과 도구를 연속적으로 사용하게 만든다.
• 월드 모델은 상호작용 환경이 된다. 영상 월드 모델은 행동에 조건화된 관측과 예측된 미래를 제공할 수 있다. 에이전트는 관측하고, 판단하고, 행동한 뒤, 갱신된 상태를 다시 받는 순환 구조를 만든다.
• 명시적 상태와 영상 렌더링의 결합. 게임 엔진이나 에이전트가 작성한 프로그램이 세계의 상태를 관리하고, 영상 모델이 에이전트의 시야를 렌더링하는 혼합 설계가 가능하다. 프로그램 기반 제어와 생성 영상의 표현력을 함께 활용하는 방식이다.
• 자기개선의 범위가 넓다. 개선 대상은 최종 영상뿐 아니라 하니스의 상태, 생성기 파라미터, 평가기, 나아가 개선 절차 자체가 될 수 있다.
• 평가는 여전히 어렵다. 한 프레임의 화질만으로는 장면 간 일관성, 행동과 결과의 인과관계, 이야기의 연속성, 음향 품질, 도구 사용의 효과를 판단할 수 없다.

의미와 과제

하니스 관점은 영상 생성을 모델 시연에서 복합 작업 수행을 위한 아키텍처로 확장한다. 미래의 자동 영상 제작 시스템은 작은 디지털 제작팀처럼 작동할 수 있다. 에이전트가 목표를 분해하고 자원을 배분하면, 영상 모델이 장면을 생성하고, 코드 도구가 자산과 환경을 관리하며, 평가기가 문제를 찾아 다음 계획으로 되돌리는 방식이다.

이 구조에서는 에이전트와 월드 모델이 서로의 발전을 돕는다. 에이전트는 탐색과 행동을 통해 월드 모델의 약점을 드러내고, 월드 모델은 의사결정을 반복해서 시험할 수 있는 환경을 제공한다. 개선은 단순히 결과 영상을 다시 만드는 데 그치지 않고, 도구, 상태 관리, 평가 기준, 개선 전략 자체로 확장될 수 있다.

다만 장기 기억, 시청각 이해, 안정적인 코드 상호작용, 예산 제어, 통일된 평가 방식은 아직 해결해야 할 문제다. 실용적인 시스템은 보기 좋은 장면을 만드는 것만으로 부족하다. 현재 상태를 추적하고, 샷 사이의 일관성을 유지하며, 실패 이후에도 통제 가능한 방식으로 복구해야 한다.

출처: Hugging Face Daily Papers