InfinityEdit, 고정 영상 편집을 무한 스트리밍 편집으로 확장

들어가며

많은 영상 편집 모델은 이미 촬영이 끝난 일정 길이의 클립을 입력으로 가정합니다. 편집 결과를 원본 영상의 프레임과 시간축으로 맞추기 때문에 스타일 변경이나 기존 장면의 수정에는 효과적입니다. 그러나 라이브 게임을 계속 다른 스타일로 바꾸거나, 진행 중인 촬영에 특정 시점부터 카메라 이동을 적용하는 경우에는 한계가 있습니다. 아직 존재하지 않는 미래 프레임까지 생성하면서 편집을 이어가야 하기 때문입니다.

InfinityEdit는 이런 문제를 ‘무한 영상 편집’으로 정의합니다. 모델은 앞선 영상 구간과 편집 지시를 받아 원래 흐름을 이어가는 다음 구간을 생성해야 합니다. 이후 새로운 지시가 도착하면 동일한 과정을 반복합니다. 따라서 목표는 완성된 파일을 한 번 변환하는 것이 아니라, 영상 스트림이 진행되는 동안 편집을 계속 적용하는 것입니다.

핵심 포인트

• 편집의 대상이 고정 클립에서 영상 스트림으로 바뀝니다. 이미 관측된 프레임을 고치는 것뿐 아니라 아직 생성되지 않은 미래 내용을 만들어야 하므로, 지시 충실도와 시간적 연속성을 함께 확보해야 합니다.
• 경량 편집 어댑터를 사용합니다. 히스토리 크로스 어텐션은 입력 프레임을 이용해 디노이징을 안내하고, 시간 인과 셀프 어텐션은 정보가 이전 프레임에서 이후 프레임으로 흐르도록 제한합니다. 편집 크로스 어텐션은 텍스트 지시를 생성 과정에 주입합니다.
• 편집이 발생한 구간에서만 어댑터를 활성화합니다. 추론 시 요청이 도착한 청크에는 어댑터를 적용하고, 이후 청크는 재설정된 앵커 프레임과 원래의 스트리밍 영상 생성기를 사용해 생성합니다. 이를 통해 기존 모델의 지속 생성 능력을 보존하려고 합니다.
• 전용 데이터 수집 파이프라인을 마련했습니다. 연구진은 무한 영상 편집에 맞는 데이터를 수집한 뒤, 편집 요청이 누적되는 상황에서도 품질이 안정적으로 유지되도록 어댑터를 학습했습니다.

의미와 영향

InfinityEdit의 핵심 의미는 영상 편집의 시간적 범위를 넓혔다는 데 있습니다. 라이브 방송, 상호작용형 게임 영상, 계속 생성되는 가상 장면에서는 사용자가 전체 영상을 미리 제공하기 어렵습니다. 또한 특정 시점 이후의 영상만 바꾸고 싶을 때 과거 구간 전체를 다시 처리하는 것은 비효율적일 수 있습니다. 안정적인 스트리밍 편집이 가능하다면, 편집 지시는 생성 과정에 실시간으로 들어오는 제어 신호가 될 수 있습니다.

이 방식은 기존 스트리밍 생성기를 완전히 교체하기보다, 비교적 작은 편집 계층을 추가하는 통합 전략도 보여줍니다. 다만 제공된 자료에는 상세한 수치나 운영 환경에서의 검증 결과가 포함되어 있지 않습니다. 장시간에 걸친 인물·객체 일관성, 서로 충돌하는 요청의 처리, 복잡한 편집이 누적될 때의 품질 변화는 여전히 중요한 과제입니다. 현재로서는 InfinityEdit를 고정 클립 재작성에서 벗어나 생성 모델과 지속적으로 상호작용하는 영상 편집 구조를 제시한 연구로 보는 것이 타당합니다.

출처: Hugging Face Daily Papers