NARU, 일본어 초장편 영상의 서사와 문화 이해를 평가하다

장편 영상을 이해한다는 것은 특정 장면을 찾아내는 일보다 훨씬 어렵다. 모델은 인물의 관계와 목표가 시간에 따라 어떻게 바뀌는지, 초반 사건이 후반 전개에 어떤 영향을 주는지, 직접 설명되지 않은 말과 행동이 사회적으로 무엇을 의미하는지까지 파악해야 한다. NARU는 이러한 능력을 일본어 초장편 영상에서 함께 측정하기 위해 설계된 벤치마크다.

핵심 내용

• 장시간·다차원 평가: NARU는 155편의 영상과 총 146.8시간의 콘텐츠를 바탕으로 1481개의 질문을 제공한다. 질문은 네 가지 서사 차원과 다섯 가지 문화 차원을 다루며, 하나의 프레임이나 짧은 구간만으로는 답하기 어렵게 구성됐다.
• 계층적 주석 파이프라인: 연구진은 원본 영상을 사건 수준, 서사 수준, 문화 수준의 구조화된 정보로 변환한 뒤 과제별로 질문을 생성했다. 또한 반복적인 지름길 제거 과정을 적용해 자막이나 눈에 띄는 시각적 단서만으로 답을 추측하는 가능성을 줄였다.
• 원어민 검증: 데이터 구축에는 두 단계의 일본어 원어민 검증이 포함됐으며, 총 68명의 주석자가 참여했다. 이는 문화적 의미를 묻는 질문의 자연스러움과 타당성을 점검하기 위한 절차다.
• 현재 모델의 취약점: 여덟 가지 모델 설정에 대한 실험은 멀리 떨어진 사건을 하나의 서사로 연결하는 능력과 문화적 배경을 활용해 의미를 해석하는 능력이 모두 충분하지 않음을 보여준다.

의미와 영향

기존 영상 벤치마크는 짧은 클립, 명시적 행동, 국소적인 질문 응답에 집중하는 경우가 많다. 이런 평가만으로는 모델이 영상과 자막을 인식하는지 알 수는 있지만, 긴 이야기의 흐름을 실제로 이해하는지, 간접적인 표현과 인간관계에 담긴 사회적 의미를 읽어내는지는 확인하기 어렵다. NARU는 서사 추적과 문화 이해를 동일한 장편 영상 안에서 평가함으로써 실제 미디어 소비에 더 가까운 과제를 제시한다.

이 연구가 주는 또 다른 메시지는 컨텍스트 윈도우를 넓히는 것만으로 장편 영상 이해가 해결되지 않는다는 점이다. 모델은 중요한 사건을 선별하고, 시간적으로 멀리 떨어진 장면 사이의 관계를 유지하며, 직접 설명되지 않은 의미를 적절한 문화 지식과 연결해야 한다. 일본어에 초점을 맞춘 NARU는 영어 중심 데이터와 평가에서는 드러나지 않는 다국어 멀티모달 모델의 약점을 점검하는 데도 유용하다. 향후에는 장편 영상 모델의 오류 진단, 구조화된 메모리 설계, 고맥락 환경을 반영한 다국어 평가 발전에 활용될 수 있다.

출처: Hugging Face Daily Papers