FramePack-U, 고정 메모리로 긴 동영상을 이해하는 방법

들어가며

시각 언어 모델이 수십 분에서 수 시간에 이르는 동영상을 처리할 때 가장 큰 문제는 단순히 더 많은 장면을 보여주는 일이 아닙니다. 일반적인 방식은 샘플링한 각 프레임을 시각 토큰으로 바꾼 뒤 하나의 입력 시퀀스로 연결합니다. 이때 동영상이 길어질수록 토큰 수가 늘어나고, 메모리 사용량과 추론 지연도 함께 증가합니다. 스트리밍 영상이나 영화 길이의 콘텐츠에서는 이러한 선형 증가가 실제 배포의 장애물이 될 수 있습니다.

노스캐롤라이나대학교 채플힐 연구진이 제안한 FramePack-U는 이 문제를 고정 크기 표현의 문제로 바꿉니다. 단순히 토큰을 줄이는 데 그치지 않고, 원본 동영상의 프레임 수와 상관없이 미리 정한 시각 토큰 예산 안에 프레임을 패킹합니다. 별도의 파인튜닝이나 VLM 구조 변경 없이 추론 단계에 연결할 수 있다는 점도 핵심입니다.

작동 방식

• 질문을 이용한 프레임 평가. 각 프레임과 텍스트 프롬프트의 의미적 유사도를 평가해 질문과 관련성이 높은 장면에 우선순위를 부여합니다. 모든 프레임에 동일한 예산을 쓰는 대신, 현재 작업에 도움이 될 가능성이 높은 정보에 용량을 집중합니다.
• 다양성을 반영한 순위화. 유사도만으로 선택하면 거의 같은 화면이 반복해서 들어갈 수 있습니다. FramePack-U는 프레임 간 내용 중복을 줄이고 서로 다른 장면, 시점, 상태를 포괄하도록 선택 순서를 조정합니다.
• 다중 해상도 패킹. 선택된 프레임을 모두 같은 크기로 인코딩하지 않습니다. 더 중요한 프레임에는 높은 해상도를 배정하고, 상대적으로 덜 중요한 프레임은 더 압축된 표현으로 처리합니다. 이를 통해 세부 정보와 시간적 범위를 고정 예산 안에서 절충합니다.
• 고정된 시각 입력 예산. 최종 시각 컨텍스트의 크기는 일정하게 유지됩니다. 따라서 원본 동영상이 길어져도 VLM에 전달되는 표현과 기본 메모리 요구량이 동영상 길이에 따라 무한히 커지는 것을 막을 수 있습니다.

의미와 한계

FramePack-U의 핵심은 새로운 대형 백본을 제시하는 데 있지 않습니다. 제한된 시각 예산을 어디에 배분할 것인지 다시 설계했다는 데 의미가 있습니다. 기존 키프레임 선택이나 토큰 축소도 입력을 줄이지만, 비용이 동영상 길이에 따라 증가하는 문제를 완전히 없애지는 못합니다. FramePack-U는 어떤 프레임을 남길지, 각 프레임에 어느 정도의 세부 수준을 줄지를 고정 예산 문제로 다룹니다.

이 방식은 장시간 동영상 질의응답, 실시간 스트리밍 분석, 영화급 콘텐츠 검색 등에 적용될 가능성이 있습니다. 제공된 자료에 따르면 LongVideoBench, MLVU, Video-MME에서 평가가 진행됐으며, 여러 모델 계열과 프레임 예산 조건에서 전체 해상도 기준선 및 기존 토큰 축소·키프레임 선택 방식보다 높은 성능을 보였다고 보고됐습니다.

다만 고정 크기 표현은 무손실 압축이 아닙니다. 짧게 등장하는 행동, 작은 글자, 정확한 시간적 선후관계는 프레임 선택 과정에서 사라질 수 있습니다. 텍스트 기반 선택 방식인 만큼 질문의 표현에도 결과가 영향을 받을 수 있습니다. 따라서 FramePack-U는 고밀도 시계열 인코딩을 완전히 대체하는 만능 해법이라기보다, 긴 동영상 추론을 현실적인 비용으로 수행하기 위한 입력 최적화 기법으로 보는 편이 적절합니다.

출처: Hugging Face Daily Papers