VideoChat3：面向通用视频理解的全开放多模态模型

2026年7月17日阅读约 2 分钟

导语

视频理解正在从“看懂一段短片”走向更复杂的现实场景：模型不仅要识别动作和物体，还要处理长视频中的上下文、面对流式输入进行连续交互，并在不同类型的视频之间保持稳定表现。来自南京大学 MCG 等团队的 VideoChat3，正是围绕这些问题提出的新一代视频多模态大模型。

与许多只开放部分权重或仅提供有限训练细节的项目不同，VideoChat3 的定位是“fully open”：不仅强调模型能力，也强调训练策略、代码和数据资源对社区复现与二次开发的重要性。

面向通用视频理解：VideoChat3 不只针对单一视频类型优化，而是覆盖通用视频、长视频和流式视频等场景，目标是提升跨领域泛化能力。
4B 参数规模下追求效率：论文称，VideoChat3 仅以 4B 参数，在多个视频理解基准上超过了同等或更大规模的开源模型，同时保持更高效率。
I3D-ViT 改善时空建模：团队提出 Inflated 3D Vision Transformer，用于更高效地提取视频中的空间与时间信息，减少视频输入带来的计算压力。
流式视频自适应帧分辨率：Adaptive Frame Resolution for Streaming Video Perception 让模型在处理流式视频时更灵活地分配计算资源，降低训练与推理成本。
数据合成管线补齐泛化短板：项目构建了可扩展的视频数据合成流程，并整理出 VideoChat3-Academic2M、VideoChat3-LV116K 和 VideoChat3-OL617K 三个数据集，分别面向通用、长视频和在线/流式场景。

当前开源视频 MLLM 的瓶颈，并不只是“能不能回答视频问题”，还包括是否能在不同视频形态间迁移、是否能以可接受成本部署、以及社区是否能够复现和改进。VideoChat3 的价值在于把模型结构、效率机制与数据工程放在同一个框架中处理。

如果其开放承诺能够落到代码、数据与训练流程层面，它可能成为视频理解研究中的重要基线：一方面降低团队进入长视频和流式视频研究的门槛，另一方面也为更小参数量模型追赶大模型效果提供参考。

不过，素材中披露的信息主要来自论文摘要与项目页面，具体的基准细节、对比模型范围和开放资源完整性仍需开发者进一步查阅论文与代码仓库验证。总体看，VideoChat3 的看点不在单一指标，而在“全开放 + 高效率 + 多场景覆盖”这一组合。