TRACE가 보여준 스트리밍 비디오 평가의 새로운 기준

스트리밍 비디오 이해는 완성된 영상을 한 번에 입력하는 오프라인 비디오 질의응답과 다르다. 영상이 순차적으로 도착하기 때문에 모델은 어떤 시각적 이력을 유지할지, 언제 충분한 증거를 확보했는지, 지금 응답해야 하는지를 계속 판단해야 한다. 내용상 맞는 답이라도 근거가 나타나기 전에 생성됐다면 부적절할 수 있고, 반대로 지나치게 신중하면 유효한 응답 window를 놓칠 수 있다.

TRACE(Temporal Audit and Condition-aware Evaluation)는 이러한 차이를 드러내기 위해 제안된 평가 framework다. 기존 평가는 주로 답변의 정답 여부를 보고했지만, TRACE는 증거가 언제 유효해지는지, 모델이 어떤 이력을 실제로 처리했는지, 어떤 조건에서 응답이 발생했는지를 평가의 일부로 만든다.

핵심 내용

• 시간 감사: 시각적 증거가 유효해지는 시점을 주석으로 남겨, 충분한 근거를 얻은 뒤의 답변과 성급한 추측을 구분한다.
• 지시 의존적 trigger 기록: 능동적으로 응답해야 하는 과제에서는 답변의 품질뿐 아니라 목표 시간 window 안에서 응답했는지도 확인한다.
• 인과적 통합 프로토콜: Core–Adapter 프로토콜로 각 시점에 접근 가능한 정보를 통제하고, 실제로 처리한 history와 발생한 response event를 기록한다.
• 다차원 보고: 답변 품질, 적시성, 응답 선택, workload, 완료율, 신뢰성을 분리해 보고한다. 능동 응답에서는 응답 지연, false alarm, 목표 window 누락도 따로 구분한다.

연구진은 517개 비디오에서 수집한 1,240개 기록을 바탕으로 8개의 공개 모델 또는 시스템 구성을 평가했다. 결과는 QA 정확도를 스트리밍 성능의 대표값으로 사용하는 데 한계가 있음을 보여준다. 정확도가 거의 같아도 과제를 끝까지 수행하는 정도, 답변의 유효성, 생성 workload는 크게 다를 수 있었다. 능동 응답에서는 차이가 더욱 분명하다. 어떤 시스템은 늦게 반응할 수 있고, 어떤 시스템은 목표가 없는 시점에도 응답하며, 또 다른 시스템은 응답해야 할 window를 놓칠 수 있다. 이들은 기존 단일 점수로는 구분하기 어려운 서로 다른 운영 실패다.

TRACE의 핵심 의미는 새로운 leaderboard를 하나 더 만드는 데 있지 않다. 스트리밍 시스템의 성능을 모델의 최종 답변이 아니라 실행 조건에 따른 행동으로 바라보게 한다는 점이 중요하다. 개발자는 문제가 영상 인식에 있는지, history 관리에 있는지, 타이밍 판단이나 trigger 선택에 있는지 더 쉽게 분리할 수 있다. 실제 배포에서는 정확하지만 지나치게 자주 생성하는 모델이 높은 비용을 만들 수 있고, 반대로 오탐을 줄이는 모델은 지연 때문에 유용성을 잃을 수 있다. 따라서 workload와 완료율, 응답 타이밍을 함께 보는 것이 필요하다.

비디오 모델이 지속 모니터링, 대화형 assistant, 실시간 agent로 확장될수록 평가는 “답이 맞았는가”를 넘어야 한다. 모델이 언제 충분한 증거를 얻었고, 무엇을 처리했으며, 언제 행동했고, 그 행동에 어떤 자원을 사용했는지를 함께 확인해야 한다. TRACE는 이러한 질문을 스트리밍 비디오 benchmark에 포함시키는 실질적인 출발점을 제시한다.

출처: Hugging Face Daily Papers