NARU：评测模型能否读懂日语长视频中的叙事与文化语境

长视频理解的难点，并不只是从数小时素材中找出某个瞬间。模型还需要知道人物关系如何变化、事件怎样推动后续情节，以及一句话或一个行为在特定文化环境中意味着什么。论文提出的 NARU，正是针对这两类能力交叉地带设计的评测基准，重点面向日语这一高语境、非英语媒体场景。

核心要点

• 规模与任务范围：NARU 建立在 155 个视频之上，素材总时长达到 146.8 小时，并提供 1481 个问题。问题覆盖四类叙事维度和五类文化维度，目标不是测试单一画面识别，而是考察模型能否整合分散在长视频不同位置的信息。
• 分层记忆式构建流程：研究团队先把原始视频整理为事件层、叙事层和文化层的结构化标注，再根据具体任务生成问题。这样的设计试图让问题同时依赖局部证据、全局情节和文化背景，而不是只凭字幕或某个显眼画面猜答案。
• 多轮质量控制：数据构建包含两阶段日语母语者核验，共有 68 名标注者参与。研究还通过迭代式“捷径移除”降低表面线索对答题的帮助，从而提高问题对真实理解能力的要求。
• 模型仍面临长程推理瓶颈：对八种模型配置的评测显示，当前多模态模型在跨时间整合叙事，以及基于文化语境解释隐含意义方面都存在显著局限。

为什么重要

现有视频基准往往偏向短片段、显性事件或单轮问答，因此模型即使擅长识别物体、动作和字幕，也未必真正理解一段内容如何发展成完整叙事，更不一定能读懂礼貌表达、社会关系和未被直接说明的文化含义。NARU 将两种能力放进同一套长视频测试中，为比较不同模型的上下文管理、记忆组织和文化推理能力提供了更具体的工具。

这项工作也提醒开发者，扩大上下文窗口并不等于获得了长程理解能力。模型还需要有效压缩和检索事件，区分叙事主线与背景信息，并在缺少显式解释时调用恰当的文化知识。由于基准聚焦日语视频，它同时为评估多模态系统是否过度依赖英语中心数据提供了一个重要切口。未来，NARU 可用于诊断模型弱点、改进长视频训练流程，并推动更贴近真实媒体消费场景的评测设计。

来源：Hugging Face Daily Papers