TimeLens2: 영상 MLLM이 근거가 나온 시간을 찾게 하다

도입

많은 영상 멀티모달 대형언어모델은 영상에서 어떤 일이 일어났는지 설명할 수 있다. 하지만 사용자가 한 단계 더 나아가 “그 답의 근거가 영상의 어느 시점에 있는가”를 묻는다면, 기존 모델은 충분히 구체적인 시간 구간을 제시하지 못하는 경우가 많다. TimeLens2는 바로 이 문제, 즉 범용 영상 시간적 그라운딩을 겨냥한다.

Hugging Face Daily Papers에 소개된 논문 “TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs”는 짧은 영상과 긴 영상, 다양한 도메인, 서술형과 질문형 질의, 1인칭과 3인칭 시점을 모두 아우르는 하나의 모델을 목표로 한다.

핵심 내용

• 시간 근거를 구간 집합으로 모델링: 실제 영상에서 근거는 하나의 연속된 장면에만 존재하지 않는다. 같은 사건이나 단서가 여러 번 등장할 수 있으므로, TimeLens2는 정답을 고정된 단일 구간이 아니라 가변 개수의 시간 구간 집합으로 다룬다.
• TimeLens2-93K 데이터셋: 연구진은 23,793개의 다양한 영상에서 93,232개의 검증된 그라운딩 사례를 구축했다. 이 과정에는 캡션 기반 후보 생성, 독립적 위치 추정, 에이전트 간 합의, 의미 검증, 경계 보정이 포함된다.
• temporal Wasserstein reward: 기존 강화학습 보상은 예측 구간과 정답 구간이 겹치지 않거나 구간 수가 서로 다를 때 불안정해질 수 있다. TimeLens2는 병합된 구간 지지집합 위에서 1차원 Wasserstein 거리를 계산해, 명시적 매칭 없이도 더 조밀한 피드백을 제공한다.
• temporal IoU와의 결합: Wasserstein 보상은 전체 시간 분포와 비중첩 상황을 다루는 데 유리하고, temporal IoU는 정확한 겹침 정도를 평가한다. 두 신호를 함께 사용해 다중 구간 그라운딩에 더 적합한 최적화를 수행한다.

의미와 영향

TimeLens2의 의미는 영상 MLLM을 단순 설명 시스템에서 근거 추적이 가능한 시스템으로 확장한다는 데 있다. 긴 영상 검색, 콘텐츠 검토, 교육 영상의 특정 장면 탐색, 스포츠 분석, 1인칭 영상 이해 등에서는 정답 문장만큼이나 그 정답을 확인할 수 있는 시간 구간이 중요하다.

논문에 따르면 TimeLens2-2B는 7개 벤치마크에서 모든 동급 베이스라인을 능가했으며, 4B와 8B 모델은 최첨단 성능을 달성했다. 또한 각 Qwen3-VL 백본 대비 2B, 4B, 8B 버전은 각각 14.2, 13.0, 18.1 mIoU 포인트 향상됐다. 자료에는 TimeLens2-4B가 모든 벤치마크에서 Qwen3.5-397B-A17B를 평균 7.5 mIoU 포인트 앞섰다는 결과도 포함돼 있다.

더 중요한 변화는 시간적 그라운딩을 단일 구간 회귀가 아니라 집합 예측과 집합 인식 최적화로 재정의했다는 점이다. 이는 실제 영상 속 근거가 나타나는 방식에 더 가깝고, 앞으로 검증 가능하고 추적 가능한 영상 AI를 만드는 데 중요한 방향성을 제시한다.

출처: Hugging Face Daily Papers