VideoJev: 동영상 이해를 재사용 가능한 의사결정 인터페이스로

들어가며

동영상 에이전트는 장면을 설명하는 데서 멈추지 않는다. 특정 사건이 언제 발생했는지 찾고, 질문에 답하고, 진행 상황을 확인한 뒤 다음에 무엇을 할지 결정해야 한다. 기존 멀티모달 대규모 언어 모델은 이런 작업을 주로 자기회귀적 텍스트 생성으로 처리한다. 이 방식은 표현력이 높지만, 같은 동영상에 여러 질문을 던질 때 시각 정보를 반복 계산하는 부담이 생길 수 있다. VideoJev는 동영상 이해를 구조화된 의사결정 문제로 바꾸는 접근을 제안한다.

작동 방식

VideoJev는 사전학습된 멀티모달 대규모 언어 모델을 기반으로 설계됐다. 답변을 토큰 단위로 생성하는 대신, 동영상의 증거와 후보 항목이 얼마나 잘 맞는지 평가하는 공유 헤드를 사용한다.

시간적 그라운딩에서는 여러 시간 구간을 점수화해 특정 사건에 해당하는 범위를 찾는다. 객관식 동영상 QA에서는 텍스트로 주어진 선택지를 비교해 영상 내용과 가장 잘 맞는 답을 고른다. 서로 다른 두 작업을 모두 ‘시각적 증거에 대한 구조화된 후보 평가’로 표현하는 셈이다. 이 설계는 멀티모달 모델의 의미 이해 능력을 유지하면서, 에이전트가 바로 사용할 수 있는 결과를 제공한다.

VideoJev는 동일한 시각 기록에 대한 반복 질의도 고려한다. Cached inference는 이미 수행한 영상 시각 계산을 보존해 후속 질문에서 재사용한다. Joint inference는 여러 질문을 하나의 포워드 패스에서 함께 처리한다. 따라서 새 질문이 들어올 때마다 처음부터 영상을 처리하거나, 여러 판단을 각각 따로 실행하는 일을 줄일 수 있다.

실험 결과

논문은 VideoJev-4B와 VideoJev-35B-A3B 두 모델을 제시한다. 세 개의 시간 그라운딩 벤치마크에서 각 Qwen 백본과 비교했을 때 평균 mIoU가 각각 6.7포인트와 10.8포인트 향상됐다. 측정된 모델 포워드 처리 속도는 약 2.8~3.1배 빨라졌다. 네 개의 동영상 QA 벤치마크에서는 두 모델 모두 대응하는 Qwen Thinking 모델과 비슷한 성능을 보였으며, 포워드 처리 속도 향상은 100배를 넘었다고 보고됐다.

다만 이 수치는 모델 포워드 과정에 대한 측정값이다. 동영상 디코딩, 전처리, 요청 스케줄링, 후속 행동까지 포함한 전체 응답 시간과는 다를 수 있다. 그럼에도 답변 공간이 구조화된 작업에서는 직접 점수화가 반복적인 자기회귀 생성보다 훨씬 효율적일 가능성을 보여준다.

의미와 영향

실제 영상 에이전트는 같은 장면을 여러 번 다시 보고, 중간 결과에 따라 새로운 질문을 하며, 여러 가능한 사건을 동시에 확인해야 한다. VideoJev의 캐시 및 공동 추론은 이러한 사용 방식에 맞춰 시각 계산을 재사용한다. 시간 구간과 선택지에 대한 점수는 자유 형식의 긴 텍스트보다 계획 모듈이나 외부 도구가 처리하기도 쉽다.

현재 평가 범위는 시간 그라운딩과 객관식 QA에 집중돼 있으므로, 구조화된 점수화가 모든 개방형 동영상 생성 작업을 대체할 수 있다고 보기는 이르다. 그러나 VideoJev는 System One 패러다임을 영상 분야에 적용하는 한 가지 방향을 보여준다. 불필요한 텍스트 생성을 줄이고, 더 빠르게 조합 가능한 판단 결과를 제공해 복잡한 에이전트 워크플로에 연결하는 방식이다.

출처: Hugging Face Daily Papers