返回文章列表

视频大模型微调的“捷径”:VETO如何让模型重新看视频

阅读约 3 分钟

导语

监督微调(SFT)通常被用来提升视频大语言模型理解和推理视频的能力。但训练表现变好,不一定意味着模型真的更会“看”:它也可能抓住训练数据中反复出现的文字规律,绕过视频本身来推测答案。这样的捷径在熟悉的数据分布里不易察觉,换到分布不同的任务时,却可能削弱视频证据原本能带来的优势。

一项名为 VETO(Video-Evidence Training via Orthogonal projection)的研究,把干预点放在微调过程,而不是试图先找出并清理所有有问题的训练样本。它的目标是压制文本捷径,同时保留 SFT 带来的能力提升。

核心要点

  • 捷径藏在准确率提升背后。 论文指出,模型会在微调中学习训练数据的文本规律,并可能据此作答。摘要称,这种现象难以在数据层面明确界定,而且在不同训练轮数、数据规模和模型骨干下都会出现。因而,仅凭训练分布上的准确率上升,无法判断模型是否真正利用了视频。
  • 从更新方向下手。 VETO先校准基座模型激活中“只有文本输入”所占据的子空间,再把微调更新投影到这个子空间的正交补上。直观地说,方法不是删除某类文本,也不是规定捷径具体是什么,而是限制微调沿着与纯文本表示相关的方向写入参数,从形成阶段降低这类依赖。
  • 关注分布偏移时的证据来源。 作者报告,VETO在七个 VideoLLM 上保留了训练分布内的 SFT 收益,并抑制文本捷径;在六个分布偏移基准上,其表现优于常规 SFT。论文还称,模型的回答更多依据完整输入,而不是仅凭文本捷径。素材未提供基准名称、具体分数或提升幅度,因此不宜进一步量化这些结果。

意义与边界

这项工作的关键视角,是把多模态微调中的“学会任务”和“学会数据规律”视为可能同时发生的两件事。若模型能靠题目措辞或文本共现模式猜中答案,常规评测就可能高估它对视频内容的理解。VETO提供了一种训练阶段的控制思路:不必先完整刻画捷径的内容,也可以针对其可能占据的表示方向来约束参数更新。

不过,现有素材只概述了方法和总体实验结论,没有展开投影子空间如何校准、计算成本、各基准表现及消融结果。它支持的是“该方法在所测模型和基准上有效”的结论,而非证明所有视频任务都能消除捷径。后续仍需关注不同数据构成、模型结构和真实应用场景中的稳定性。代码已公开,便于进一步复现和检验。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章