LOWN：让扩散式视觉语言模型只在需要时读取图像

导语

扩散式视觉语言模型（DVLM）通常在多个去噪步骤中逐步还原被掩码的文本。问题在于，模型往往会在每一步都重新编码或处理完整图像，而图像令牌在相关基准的输入中占到89%—97%。这意味着大量计算并不是用于产生新的视觉理解，而是在反复读取同一份图像信息。

论文《Look Only When Needed》提出的LOWN（Look Only When Needed）试图改变这一默认流程：图像不再是每一步的必需输入，而是由模型在确实需要时主动调用。

核心方法：用一致性决定是否“看图”

LOWN首先观察到，去掉图像并不总会改变当前步骤中即将解掩码的文本令牌。以LLaDA-V为例，无图像和有图像预测在平均约77.2%的步骤中不会改变正在解掩码的令牌；不同基准之间，这一比例对应的“需要图像”的步骤最低可降至7.9%。

其解码流程可以概括为：

• 模型先利用文本上下文，在不读取图像的情况下预测当前被掩码令牌。
• 将这一预测与最近一次图像条件预测进行比较。
• 如果两者一致，就把旧的图像条件结果视为已被“认证”，继续复用，无需再次处理图像。
• 如果预测不一致，模型才重新读取图像，并据此更新结果。
• 已被认证的令牌数量还会决定当前步骤可以解掩码多少内容，因此计算跳过与解码进度会同时自适应调整。

这里的关键不是永久删除视觉令牌，而是暂时跳过视觉计算。相比固定间隔读取图像的策略，LOWN能够根据任务和当前生成状态动态改变访问频率。论文还指出，不同基准对图像的依赖程度并不相同，因此固定调度难以适用于所有场景。

效果与边界

在十个基准上，LOWN无需额外训练，也不依赖经过调优的阈值，平均只使用LLaDA-V 35.3%的解码FLOPs，同时保留其99.6%的得分。生成时间平均降低57.4%。它还可以迁移到其他基于LLaDA的扩散式视觉语言模型，并能与视觉令牌剪枝叠加使用。

不过，这一结果应理解为解码阶段的效率优化，而不是减少模型本身的视觉理解能力。LOWN仍会在预测发生分歧时完整调用图像信息；如果任务持续依赖细粒度视觉内容，节省空间可能相应缩小。此外，现有材料主要给出了总体指标，尚未提供不同硬件、批大小和图像分辨率下的详细延迟拆分，因此部署收益仍需结合具体系统验证。

意义

LOWN的价值在于把“每一步都看图”改造成一种由预测分歧触发的按需访问机制。它不通过训练一个额外路由器来猜测图像是否重要，而是利用模型自身的预测一致性作为轻量级信号。这为扩散式多模态模型的推理优化提供了另一条路径：在保留完整视觉信息的前提下，减少不必要的重复读取。随着扩散式语言生成应用增多，这种面向动态信息需求的路由方法，可能成为视觉输入高占比场景中的重要基础组件。

来源：Hugging Face Daily Papers