多模态视觉编码正在“解耦”：预训练先验不是关键，专用视觉容量才是

2026年11月13日阅读约 3 分钟

导语

多模态语言模型如何接收图像，长期以来并没有统一答案。主流方案通常采用经过预训练的视觉编码器，再把视觉特征交给语言模型；另一类方案则尝试让视觉模块与语言主干从零联合训练，甚至彻底取消独立视觉编码器。问题在于，不同论文往往同时改变数据、架构、训练预算和模型规模，因此很难判断性能差异究竟来自哪里。

题为《Unbundling Multimodal Vision Encoding》的研究，试图把视觉编码器中经常被捆绑在一起的三个因素拆开：上游预训练带来的视觉先验、额外的专用视觉容量，以及这部分容量是在多模态融合前还是融合过程中发挥作用。

研究者在统一数据和训练设置下，从头预训练多种模型，并按照匹配的生命周期计算量进行比较。评测同时覆盖视觉问答和语言任务，此外还考察了不同主干规模、将视觉编码器预训练视为“免费”的情形，以及从预训练语言模型出发的情况。这样的设计重点不是寻找某个单一架构的最高分，而是尽量隔离视觉编码方案本身的影响。

核心观察包括：

视觉预训练先验并非必要条件。 与预训练视觉编码器相比，与语言主干联合从零训练的编码器表现相当。这意味着视觉编码器的价值不必依赖一个独立的上游训练阶段。
专用视觉容量仍然重要。 去掉视觉编码器后，即使把原编码器的参数量加回语言主干，模型的视觉理解仍落后。差距在 OCR 和图表类任务上更加明显，在其他视觉问答类别中也依然存在；随着训练增加，差距会有所缩小，但没有完全消失。
视觉容量不必全部位于融合之前。 把只处理视觉信息的模块加入主干早期层、让它在融合过程中工作，效果可以接近传统的前置视觉编码器，同时可能缩短首个 token 的生成等待时间。

这项工作改变了一个常见的设计直觉：多模态模型并不一定需要“先训练好一个视觉编码器，再接入语言模型”。更关键的可能是，为视觉输入保留足够的专用建模能力，并把它放在网络早期、便于与语言表征交互的位置。

对模型设计者而言，这一结论提供了更灵活的工程路线。联合训练可以减少独立视觉预训练阶段带来的流程复杂度；融合内视觉模块则可能改善推理启动延迟。不过，研究并没有表明可以无成本地删除视觉专用模块。尤其在文字识别、图表理解等细粒度任务上，仅靠扩大通用语言主干仍不足以完全替代针对视觉输入的结构。

总体来看，研究支持的方向是：保留专用视觉容量，与多模态主干联合训练，并优先考虑将其部署在较早的网络层中。它并非否定预训练视觉编码器，而是指出其最受重视的“视觉先验”可能不是决定性能的核心因素。