WeVisOne-VL：让视觉语言模型从识别物体走向像素级感知

导语

视觉语言模型已经能够描述图片、回答问题，但在“目标究竟在哪里”这类细粒度任务上，仍容易出现定位不准、边界粗糙或把不存在的目标误报出来的问题。腾讯团队发布的 WeVisOne-VL，试图把视觉理解进一步推进到可操作的感知层：用户不仅能询问图中有什么，还可以要求模型给出目标所在的点、边界框、像素掩码或透明度图。

核心思路：统一不同粒度的视觉输出

传统视觉系统往往为检测、分割、OCR和抠图分别配置模型或模块，使用者需要在多个接口之间切换。WeVisOne-VL 的设计目标，是让这些任务共享一个视觉语言模型，通过结构化的 next-token prediction 生成不同形式的结果。

其关键组件是特殊的 <OBJ> token。当模型判断需要输出实例级像素信息时，该 token 会连接一个轻量级 pixel decoder，进一步生成与目标相关的像素级结果。这样，语言模型负责理解指令、识别对象和组织输出，像素解码器则承担更精细的空间预测。点、框、掩码和 alpha matte 因而可以被纳入同一套交互流程，而不是完全独立的任务链。

模型覆盖的能力包括：

• 目标检测与 referring localization；
• 对图像中目标进行计数；
• 文字识别（OCR）；
• 实例或区域分割；
• 目标抠图与 alpha matte 预测；
• 针对不存在目标的查询进行拒答。

训练方式与评测信号

训练采用三阶段课程式监督微调（SFT），随后进行混合任务强化学习（RL）。从方法上看，这种安排意在先建立多任务的基本输出格式，再让模型在不同视觉任务之间学习更稳定的决策与结果生成方式。尤其是拒答能力，说明评测重点不只是“能否找到目标”，还包括模型能否识别查询与图像内容不匹配的情况。

论文报告称，WeVisOne-VL 在 30 多项目标级和像素级基准上都取得了领先或有竞争力的表现。不过，现有素材没有提供各项任务的具体分数、模型规模或推理成本，因此不宜仅凭摘要判断它在每个单项任务上的实际优势。

意义与局限

WeVisOne-VL 的价值不只在于增加任务数量，更在于尝试打通“看懂”和“指出来”之间的接口。对于图像编辑、智能标注、内容审核、文档理解以及需要精确交互的视觉应用，一个可以根据指令选择输出粒度的模型，可能比只能返回文本描述的 VLM 更容易接入实际工作流。

当然，统一架构并不自动等于可靠部署。像素级结果的边界质量、复杂场景中的多目标关系、长文本 OCR，以及强化学习带来的泛化能力，都仍需要结合完整论文、代码和公开模型进一步验证。项目已开放代码与模型，为社区复现实验和评估其真实工程价值提供了入口。

来源：Hugging Face Daily Papers