VIABench：来自视障者第一视角的视频辅助评测基准

导语

多模态大模型已经能看图、读视频、回答问题，但它们是否真的能帮助盲人和视障者安全地理解周围环境，仍缺少贴近现实的检验。VIABench 正是为这一问题提出的视频评测基准：它不以通用视频理解为目标，而是把评测放进视障者日常出行与交互的真实语境中。

核心要点

• 数据来自真实使用者视角：VIABench 收集了由盲人和视障者录制或分享的第一视角视频，共 761 段、46.9 小时，并配有 14,526 条人工整理标注。这使其比普通视频问答数据更接近辅助技术的实际使用环境。
• 三类任务覆盖关键辅助需求：第一类是主动提醒，要求模型理解连续视频，并提前描述可能影响导航安全的事件；第二类是视觉问答，考察模型回答用户关于环境或物体问题的能力；第三类是视觉引导交互，测试模型能否结合上下文帮助用户完成与环境的有意交互。
• 强调实时与离线两种评测：研究提出严谨的评测流程，并引入 Token-Level Prompt Activation Decoding（TPAD）两阶段框架，用于评估模型在在线和离线设置下的主动辅助表现。
• 当前模型仍不够可靠：评测结果显示，现有多模态大模型在真实视障辅助中仍难以提供全面支持，尤其是主动提醒任务。原因在于这类任务不仅要“看懂”当前画面，还要预测即将发生的导航关键事件，并在合适时间给出语言提醒。

意义与影响

VIABench 的价值在于把多模态模型评估从“能否理解视频内容”推进到“能否在高风险、强实时的生活场景中帮上忙”。对视障辅助来说，迟到的提醒、错误的判断或不完整的描述都可能影响安全，因此评测必须关注时间对齐、主动性和上下文推理，而不只是回答准确率。

这也为后续研究提出了更清晰的方向：模型需要更强的长视频理解能力、更稳定的实时推理机制，以及对用户意图和环境变化的细粒度把握。VIABench 可能成为衡量视觉辅助模型实用性的一个重要参考，推动多模态 AI 从演示能力走向真正可用的无障碍工具。

来源：Hugging Face Daily Papers