Open Vision Banana：把图像生成器改造成开放式视觉感知系统

导语

图像生成模型的能力可能并不止于“生成一张看起来合理的图片”。其预训练过程也会积累对物体、场景、空间关系和视觉语义的表征。Open Vision Banana（OVB）围绕这一点展开：研究团队尝试把预训练图像生成器转化为统一的视觉感知系统，让同一个框架处理多种视觉任务。

这一工作也回应了 Vision Banana 的开放性不足问题。后者提出了将视觉任务视为条件图像编辑的思路，但其训练数据、模型权重、代码和实现细节并未公开。OVB 则提供了一套从数据处理到训练、评估和检查点发布的完整开放配方。

核心要点

• 把感知任务转化为图像编辑。 模型不是为每项任务单独设计输出头，而是根据文本条件，将输入图像编辑成带有任务结果的视觉表示。这使语义分割、深度估计以及指代和推理分割等任务可以纳入同一生成式框架。
• 系统分析关键设计。 论文重点考察颜色编码、提示词设计、参数适配方式和任务平衡。研究指出，这些因素并非简单叠加：单独有效的设置，在与其他选择组合后可能反而损害泛化能力。
• 依托公开资源完成训练。 OVB 从 4B 和 9B 参数的开放权重基础模型出发，使用公开数据集构建约 210 万至 380 万组训练对，并发布数据构建与处理流程、训练评估代码，以及最终、阶段性和消融模型检查点。
• 零样本分割取得优势。 在 Cityscapes 上，OVB 的零样本结果达到 73.9 mIoU，高于 Vision Banana 报告的 69.9 mIoU。其深度估计表现也接近当前先进的仿射不变深度估计器。
• 能力并不完全均衡。 在指代分割和推理分割的非零样本设置中，OVB 与 Vision Banana 的差距缩小到五个百分点以内，但实例分割仍明显落后。同时，模型整体保留了基础生成模型的图像编辑能力。

一个实用的测试时扩展方法

OVB 还提出了“图例集成”。在语义分割中，模型需要把类别绑定到特定颜色，但生成式模型有时会出现颜色与类别对应不稳定的问题。图例集成会使用多套类别—颜色映射分别进行推理，再通过多数投票融合结果。该方法无需重新训练，在 Cityscapes 上最多带来 8.7 个 mIoU 点的提升，在 COCO-Object 上最多提升 15.0 个点。

意义与影响

OVB 的价值不只是复现某个模型，而是把生成式视觉感知拆解成一组可验证、可调整、可共享的工程选择。它说明，生成模型能否承担感知任务，除了取决于参数规模，也取决于输出编码、提示词和多任务训练策略之间的协同。

更重要的是，完整开放的代码、数据流程和检查点降低了后续研究的复现门槛。图例集成则展示了另一种思路：生成式模型的不稳定性未必只能通过重新训练解决，也可以在推理阶段利用多次编码和结果融合进行校正。不过，OVB 在实例分割上的差距表明，统一生成式框架距离全面替代专用视觉模型仍有一定距离。

来源：Hugging Face Daily Papers