视觉生成不只是“画图”：OmniTaskonomy揭示它如何反哺视觉理解

导语

视觉生成模型往往被认为是在学习“如何合成一张图”，而视觉理解模型则负责识别、定位、计数或回答问题。两者的训练目标看似不同：前者输出图像，后者输出文字或结构化答案。来自加州大学伯克利分校等机构的研究者在论文《OmniTaskonomy》中提出一个更具体的问题：视觉生成监督究竟在什么条件下能够提升视觉理解？

这项工作没有简单地把所有生成任务混在一起，而是对生成与理解之间的迁移关系进行受控研究。结论是，图像生成并非天然有益，但在训练配方、任务选择和数据规模合适时，图像到图像（I2I）训练能够改善图像到文本（I2T）理解表现，而且随着I2I训练数据增加，收益会进一步扩大。

核心要点

• 先比较同一问题的不同输出形式。 研究者构造了成对的I2I生成任务和I2T理解任务，让模型面对相同的视觉问题，只是输出形式分别是图像或文本。这样可以更清楚地观察生成监督是否真的带来了理解迁移，而不是把任务差异误认为能力提升。
• 建立跨任务分类体系。 OmniTaskonomy覆盖19类I2I生成任务与25项I2T视觉理解能力，并据此绘制任务迁移图。它关注的不是“生成是否有用”这一笼统结论，而是“哪一种生成任务会帮助哪一种理解能力”。
• 直观对应关系确实存在。 深度预测有助于度量三维推理，目标指向可促进计数能力，拼图重建则有利于二维顺序理解。这些结果说明，生成任务可能通过迫使模型学习空间结构和物体关系，改善相关的理解能力。
• 迁移关系也可能出人意料。 研究观察到，2.5D分割能够提升类别识别，Z深度预测则能改善定位。换言之，任务之间的帮助并不总是局限于表面上最相似的输出目标。
• 梯度对齐提供解释线索。 对生成任务和理解任务的梯度进行分析后，研究者发现，两者梯度方向越一致，通常对应更大的下游迁移收益。这为预测任务组合是否值得联合训练提供了一个可分析的信号。

意义与影响

这项研究的重要性在于，它把“生成能否帮助理解”从经验判断推进到了任务级分析。对于多模态模型训练而言，视觉生成可以不再只是用于提升图像质量的附加目标，也可能成为学习几何、空间关系和物体性的监督来源。不过，研究同时提醒业界，盲目加入生成任务并不能保证收益；更合理的做法是依据目标能力选择生成任务，并通过梯度关系评估训练组合。

OmniTaskonomy还为后续的课程学习、多任务训练和视觉基础模型设计提供了路线图。未来，研究者可以进一步探索如何自动选择生成任务、如何安排训练顺序，以及这种迁移是否能在不同架构、数据分布和实际应用中稳定复现。就目前证据而言，视觉生成与视觉理解并非彼此割裂的两条路线，关键在于找到真正共享的视觉表征。

来源：Hugging Face Daily Papers