Mage-Flow：4B 规模的原生分辨率图像生成与编辑模型

导语

大型视觉生成模型近两年的路线越来越“重”：参数量更大、训练更贵、推理显存更高。Mage-Flow 提出的方向则相反：在 4B 规模内，通过 VAE、扩散 Transformer 和训练系统的联合优化，去争取接近更大模型的生成与编辑表现。它不是单一文生图模型，而是一套共享基础组件的生成与编辑模型家族。

核心要点

• 4B 规模模型栈：Mage-Flow 面向文本到图像生成，Mage-Flow-Edit 面向指令式图像编辑，两者共享基础设计，并分别提供 Base、RL-aligned 和 4-step Turbo 版本。
• Mage-VAE 降低高分辨率瓶颈：该 VAE 使用一步扩散式编码/解码，并引入 anchor-latent 正则。素材称，它在保持接近强公开 VAE 重建质量的同时，将 token 化计算成本降低一个数量级以上；报告中还提到相对 FLUX.2-VAE，编码/解码每像素 MACs 分别约少 12 倍和 22 倍。
• 原生分辨率训练：NR-MMDiT 在 Mage-VAE 潜空间中以 rectified flow matching 训练，支持从 512 到 2048 的灵活分辨率与任意宽高比，甚至包括 4:1 这类极端比例。
• 系统层优化：通过 native-resolution packing、FlashAttention 可变长度机制、逐样本 2D RoPE 以及 CUDA kernel 融合，整体训练吞吐提升约 2.5 倍；CFG 的条件与无条件分支也可打包到一次前向中。
• 生成与编辑并重：编辑模型覆盖语义内容修改、外观转换、图像修复和结构感知输出等任务，而不是把编辑作为生成模型的附属功能。

意义与影响

Mage-Flow 的价值在于把“效率”放在了模型设计中心。对研究者和中小团队来说，4B 级别模型如果能在质量上接近更大开放系统，就意味着微调、部署和迭代的门槛会明显下降。对产品场景来说，4-step Turbo 版本尤其关键：素材显示，在单张 A100 上，1024² 分辨率下 Mage-Flow-Turbo 可达到 0.59 秒每图，Mage-Flow-Edit-Turbo 为 1.02 秒每次编辑，峰值显存约 18–20GB。

当然，素材主要来自论文页面与摘要，最终竞争力仍需看更完整的公开权重、评测细节和第三方复现。但从技术路线看，Mage-Flow 代表了一种更务实的扩散模型工程思路：少一点堆参数，多一点 tokenizer、分辨率处理和系统吞吐的联合优化。

来源：Hugging Face Daily Papers