视频理解的难点,往往不只在画面里:语音、环境声和画面之间的关系,也可能是理解事件的关键。腾讯团队提出的 WeMM-Video,试图把音频、视频、图像与文本放进同一套全模态模型体系,并重点强化音画联合感知与推理。论文介绍了 2B、4B、9B 和 35B-A3B 四种规模的中英文双语版本。
核心要点
- **两种回答模式:**模型采用混合思考范式,既能以非思考指令模式快速直接作答,也能切换到显式推理模式,逐步展开分析。
- **分阶段训练:**据论文摘要,训练数据规模约为 1.2 万亿多模态 token,流程包含渐进式预训练和多阶段后训练。后训练方法包括多教师 OPD、用于抑制重复的 MrDPO,以及面向专门能力的强化学习。
- **覆盖多类任务:**团队称模型在 120 多项基准上接受评估,涉及音视频联合理解、一般音频、无声视频、图像和文本等能力。
- **作者报告的比较结果:**旗舰版 WeMM-Video-35B-A3B 被称为在音视频联合评测中达到新的开源领先水平,并超过 Qwen3.5-Omni-Flash、Seed2.0-Mini-0428;论文还称它缩小了与 Gemini-3.0-Flash 的差距。较小的 9B 版本则据称超过参数规模更大的 Qwen3-Omni-30B-A3B-Instruct。
这些结果指向一个值得关注的方向:视频模型不再只是抽取画面内容,而是要把声音与视觉线索放在同一上下文中推断。若能在较小模型上实现可靠的跨模态推理,应用端可能更容易探索长视频检索、音视频内容分析等任务。不过,现有摘要没有列出各基准的具体分数、测试设置或误差分析,因此“领先”及模型间差距仍应结合论文完整评测表来判断;不同基准的结果也不能直接等同于真实场景表现。团队表示将公开模型系列及评测与复现相关材料,实际可用性还需进一步查看其发布内容。
评论
正在确认登录状态……
正在加载评论……