장시간 동영상 질의응답은 한 프레임에 무엇이 있는지 알아보는 것만으로 해결되지 않는다. 수 시간 분량의 영상 곳곳에 흩어진 짧은 장면을 찾아 행동의 횟수를 세고, 사건의 순서를 정하거나, 상태가 바뀐 시점을 짚어야 한다. 답을 뒷받침하는 장면 하나를 찾았다고 전체 횟수가 확인되는 것도 아니다. 놓친 사례나 중복 집계를 점검해야 하기 때문이다. NexSight는 이처럼 증거를 찾고 검증하는 과정을 측정하고 훈련할 수 있는 대상으로 다룬다.
이 연구는 세 가지 구성 요소를 중심으로 한다.
- SightForge는 평가 과제를 만든다. 초안 답을 모르는 검증자가 원본 영상에서 촘촘히 다시 수집한 증거를 토대로 과제를 재구성할 수 있어야 한다. 반례를 이용한 점검에서도 과제의 주장이 반박되지 않아야 한다.
- SightLine은 그 결과물인 벤치마크다. 108개의 장시간 동영상에서 뽑은 310개 과제를 담고 있으며, 세밀한 시간 이해를 평가하고 증거를 추적할 수 있게 한다.
- SightLoop는 공통 대화형 평가 환경을 제공한다. 시간 구간 탐색, 특정 장면 확인, 증거 통합, 이전 구간 재방문을 지원하고 모델에 반환된 관찰 결과를 기록한다.
이 접근은 최종 답의 정오만으로는 파악할 수 없는 부분을 드러내려 한다. 모델이 어디를 살펴봤는지, 증거가 충분했는지, 결론을 뒤집을 수 있는 정보를 확인했는지는 답만 채점해서 알기 어렵다. 특히 횟수나 시간 순서를 묻는 질문에서는 증거의 포괄성이 중요하다. 한 장면은 행동이 ‘일어났다’는 사실을 보여줄 수 있지만, 그것이 ‘그 횟수만큼만’ 일어났다는 점까지 증명하지는 못한다. 사건 순서도 관련 장면을 전체 시간축에 놓고 확인해야 한다.
가장 성능이 높은 모델은 SightLine에서 54.52%의 정확도를 보였고, 주석된 증거를 제공받았을 때는 79.35%를 기록했다. 이 차이는 이미 찾은 증거를 해석하는 능력뿐 아니라 어디를 볼지, 언제 다시 확인할지도 중요하다는 점을 시사한다. 연구진은 검증된 과제에서 나온 풀이 궤적을 관찰 결정에 대한 단계별 감독 신호로 바꿨으며, 평가에 쓰인 동영상과 분리된 영상으로 학습했다. 6,000개 미만의 사례를 사용했을 때 Sight-35B의 대화형 정확도는 21.29%에서 42.26%로 올랐다고 보고했다.
NexSight의 의미는 장시간 동영상 에이전트를 최종 답만으로 평가하지 않고 탐색 과정까지 살펴본다는 데 있다. 이를 통해 시각적 이해의 실패와 핵심 장면을 놓치거나 재확인하지 못한 문제를 구분하기 쉬워진다. 다만 벤치마크 성능과 주석된 증거를 받았을 때의 성능 사이에는 여전히 차이가 있어, 신뢰할 수 있는 장시간 동영상 추론은 미해결 과제다. 앞으로는 정답률뿐 아니라 다양한 영상과 과제에서도 완전한 증거의 흐름을 안정적으로 구성하는지가 중요해질 것이다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…