ATAS, 비디오 에이전트에 장소와 시간의 기억을 부여하다

들어가며

오늘날의 비디오 생성 모델은 인상적인 단일 샷을 만들 수 있지만, 여러 샷을 하나의 일관된 장편 이야기로 연결하는 일은 여전히 어렵습니다. 같은 방을 다시 보여줄 때 가구와 출입구의 위치가 달라질 수 있고, 같은 사건을 다른 카메라에서 촬영하면 인물의 동작과 상태가 맞지 않을 수 있습니다. 프롬프트나 최근 프레임을 다음 요청에 전달하는 방식만으로는 장면을 다시 방문하기 위한 공통 공간 기준이나 과거 사건을 재생하기 위한 시간 기록을 만들기 어렵습니다.

저장대학교 연구진이 제안한 Any Time, Any Space(ATAS)는 이 문제를 세계 상태 관리의 문제로 다룹니다. 기존 비디오 생성기를 새로 학습시키기보다 각본 분석, 관련 정보 검색, 클립 재구성, 결과 검토, 메모리 갱신을 하나의 에이전트형 파이프라인으로 연결합니다.

핵심 구성

• 참조 정보를 포함한 샷 요청: 각본을 장소, 카메라, 사건 시점을 명시한 요청으로 컴파일합니다. 이를 통해 같은 장소로 돌아가는 것과 특정 시점의 사건을 다시 재현하는 것을 구분할 수 있습니다.
• 두 종류의 메모리: 장면 메모리는 등록된 정적 기하와 공간 배치를 저장합니다. 사건 메모리는 장면, 사건, 시간으로 색인된 동적 관측을 저장합니다.
• 생성 전 검색과 생성 후 등록: 샷을 만들기 전 현재 요청에 필요한 공간·시간 증거를 검색합니다. 생성이 끝나면 클립을 재구성하고 결과를 메모리 체계에 등록합니다.
• 선별적인 메모리 갱신: 검토와 상태 점검을 통과한 관측만 메모리에 반영합니다. 영상 납품 여부는 해당 관측을 메모리에 받아들일지와 분리되어 있어, 불안정한 결과가 이후 샷을 오염시킬 위험을 줄입니다.

평가와 의미

논문은 네 가지 비디오 생성기를 사용해 ATAS를 평가했습니다. 저자들의 보고에 따르면 ATAS는 제시된 모든 샷 간 일관성 지표를 개선했고, 각 백본에서 가장 높은 종합 벤치마크 점수를 기록했습니다. 추가 실험은 목표 이미지 기반의 공간 재방문, 사건 재현, 인간 평가를 포함했습니다. 이 비교에서 ATAS는 비교 대상 에이전트와 3D 유도 방식보다 우수했으며, 여섯 가지 인간 평가 기준 모두에서 가장 높은 점수를 받았다고 보고됐습니다. 다만 이는 논문이 설정한 실험 조건의 결과이며, 실제 성능은 기반 생성 모델과 장면 복잡도에 따라 달라질 수 있습니다.

ATAS의 핵심 기여는 영상의 연속성을 명시적인 메모리 작업으로 분해한 데 있습니다. 공간 구조를 저장하고, 동적 사건을 시간과 함께 기록하며, 필요한 증거를 검색하고, 새 관측을 신뢰할 수 있는지 판단하는 흐름입니다. 이는 다중 샷 제작, 인터랙티브 스토리텔링, 다시 재생할 수 있는 영상 세계를 구축하는 데 활용될 가능성이 있습니다.

그러나 해결해야 할 과제도 남아 있습니다. 메모리의 품질은 클립 재구성과 상태 점검의 정확도에 의존하며, 가려짐이나 구조 변화, 장기적인 상호작용이 포함된 복잡한 현실 장면에서 같은 설계가 얼마나 잘 확장될지는 추가 검증이 필요합니다.

출처: Hugging Face Daily Papers