WeLM-Image：把图像理解、生成与编辑合并到一个模型中

导语

图像模型正在从“根据提示词生成一张图”走向更完整的视觉交互：用户可以提供参考图片、要求局部修改，也可以让模型综合多张素材完成创作。WeLM-Image 的目标正是把图像理解、文本生成、指令编辑和多参考合成放进同一个基础模型中，并将部署效率作为设计约束之一。

核心架构：统一输入，但不强行共享所有能力

WeLM-Image 将文本、参考图像以及待生成的目标潜变量组织成一条交织序列，让模型在同一框架内处理理解和生成任务。其 Mixture-of-Transformers（MoT）骨干共享注意力机制，同时为理解路径和生成路径配置相对独立的参数。这样的设计意在减少多模态理解与图像生成在优化过程中的相互干扰。

在此基础上，两个路径都引入 Mixture-of-Experts（MoE）模块，通过稀疏激活扩大模型容量。论文给出的模型存储参数量为 31.7B；在生成时，每个目标潜变量 token 约激活 5.4B 生成参数。换言之，模型保留了较大的总容量，但并不需要在每一步调用全部参数，这与面向消费级应用的计算约束相匹配。

数据与训练：从“能生成”转向“能完成任务”

论文强调，数据工程并不是简单扩大图文对规模。团队构建了结合知识的视觉词汇，并使用大规模视觉聚类来平衡语义覆盖与编辑任务数据；训练期间还通过评估结果持续调整数据组成。双语标注和经过核验的编辑监督，则为逐步提升到原生 1.5K 分辨率提供支持。

训练策略同样采取分阶段思路。生成和编辑先分别使用基于评价标准与检查清单的奖励进行优化，再通过带噪声感知的在线策略蒸馏，将专门化能力整合到统一模型中。该流程试图兼顾生图质量、指令遵循和编辑稳定性，而不是只追求单一的视觉美观度。

结果与影响

根据论文报告，在其比较范围内，1536 分辨率版本在 PRISM-Bench、Qwen-Image-Bench 和 UnicBench 的开源模型比较中排名第一。不过，这些结论依赖论文所采用的评测设置，仍应结合任务划分、提示词和基线版本进一步解读。

此外，团队使用 MeanFlow 进行少步蒸馏，推出 WeLM-Image-Turbo。论文称，该版本在单张 NVIDIA H20 GPU 上以 8 个无引导步骤生成 1024×1024 图像，耗时 4.98 秒。对实际产品而言，统一能力和推理成本同等重要：前者减少模型切换与工作流拼接，后者决定功能能否进入大规模消费应用。

总体来看，WeLM-Image 的价值不只在于参数规模或单项榜单成绩，而在于它展示了一条将视觉理解、生成和编辑共同训练、再通过稀疏架构控制成本的路线。其后续挑战包括跨任务能力是否会互相牵制、复杂编辑的一致性，以及单 GPU 性能能否在不同硬件和真实业务负载下稳定复现。

来源：Hugging Face Daily Papers