返回文章列表

HiUni尝试让视觉理解与图像生成共享同一套主干

阅读约 2 分钟

多模态模型要同时“看懂”图像并“画出”图像,常常需要在架构上做取舍:理解任务依赖与语言对齐的语义表示,生成任务则需要保留足够细致的空间与像素信息。一些方案因此为两类任务配置不同视觉表示或主干计算,能力可以兼顾,却也削弱了模型真正共享表征与参数的程度。HiUni关注的正是这个问题:能否从一个预训练视觉语言模型出发,把理解和生成放进尽可能统一的计算框架?

核心设计:共享主干,分开输出。 HiUni让视觉理解、图像生成与编辑复用同一个语言对齐的视觉Transformer(ViT)以及密集Transformer主干。任务差异主要留在输出端:语言建模头处理语言理解,Pixel Diffusion Head则负责图像合成。也就是说,模型不为生成另设一套任务专属主干,而是让共享网络形成的表示进入不同的输出路径。

这一设计面临两项实际困难。首先,在像素空间直接优化生成目标并不容易;其次,预训练ViT所形成的表示偏重语义抽象,视觉压缩可能让生成所需的细粒度位置与局部结构信息变弱。HiUni为此采用Pixel Diffusion Head,以适配像素空间生成;同时加入轻量的HiGate残差通路,在输出阶段补充局部空间线索。按论文描述,HiGate并非另起一套庞大视觉主干,而是为共享语义表示提供细节补充。

结果与意义。 作者报告称,HiUni的平均理解得分与预训练视觉语言模型相近,在图像生成和编辑上也达到有竞争力的表现。材料还提到,受控对比和分析支持单一密集主干承担两类能力的可行性。不过,当前提供的信息没有给出具体基准、数值或资源开销,因此不宜据此判断它在所有任务上都优于分离式架构。

更值得关注的是其设计思路:统一模型未必必须把理解与生成的所有计算都混成同一种形式,也可以共享核心视觉表征与主干,再把任务专属处理压缩到输出侧。若这种路径能在更广泛任务中维持表现,可能降低架构重复,并让理解与生成之间的知识共享更直接。与此同时,像素细节如何补回、共享表示是否能适配不同任务,仍是这类模型需要持续验证的问题。

Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
视觉语言模型也有“全局工作空间”吗?一项研究尝试追踪概念如何被调用
多模态
cctest.ai
多模态

视觉语言模型也有“全局工作空间”吗?一项研究尝试追踪概念如何被调用

研究者提出 MC-Lens,将视觉与语言模型的中间状态映射到共同语义空间,观察概念何时可读、何时会被任务调用。实验发现,概念可访问性先于可靠的选择性调用形成,但这并不意味着模型具有意识。

阅读全文