不依赖语言预训练，Halcyon重新审视文生图模型的训练路径

导语

当前许多文本生成图像系统都建立在一个常见范式上：先通过互联网规模语料训练语言模型，再把语言理解能力接入视觉生成模块。斯坦福团队的新论文则提出了一个更直接的问题：如果目标是文生图，语言预训练真的不可或缺吗？

论文给出的答案是未必。研究者提出Halcyon系列模型，完全从零开始训练，不使用预先训练好的大语言模型，训练数据则是包含1亿组图像—文本配对的GPIC数据集。

核心方法与结果

Halcyon采用早期融合的多模态自回归架构。简单来说，图像和文本信息在模型较早阶段就被放到统一的建模流程中，而不是先分别处理，再在后期进行组合。这样的设计让模型直接围绕图文对应关系学习生成任务。

论文重点报告了两组对比结果：

• Halcyon-0.52B的gFD为48.0，对比的LlamaGen-XL/8为63.3；论文同时称，前者只使用了后者约十八分之一的预训练计算量。
• Halcyon-1.6B的gFD为35.3，对比的JiT-T2I-XXL/8++为41.0；在这一组实验中，论文报告其预训练计算量减少了275倍。
• 受控实验显示，在已有图文训练基础上加入纯文本预训练，并没有带来文生图性能提升。

这里的gFD是论文用于比较生成质量的指标，数值高低应结合论文设定理解；本文只采用论文给出的相对结果，不将其延伸为所有场景下的普遍结论。

Halcyon还探索了图像描述能力。研究者没有简单增加训练预算，而是将原本的caption dropout机制替换为图像到文本（I2T）监督，使同一训练框架同时学习文生图和图像描述。论文称，在相同预训练预算下，这种做法仍能保持有竞争力的文生图质量。

意义与局限

这项工作的重要性不在于宣称语言预训练没有价值，而在于重新划定了文生图系统的资源依赖边界。对于只关注图文生成的研究者而言，直接使用高质量图文对训练，可能比先构建庞大的通用语言模型更高效，也更容易控制训练目标。

不过，论文结论主要围绕Halcyon的架构、数据和实验设置展开。100M图文对的规模依然很大，数据质量、文本多样性以及模型在复杂指令理解上的表现，都可能影响结论能否推广到其他系统。未来更值得关注的是：早期融合是否能在更广泛的编辑、组合和多任务场景中保持优势，以及图像描述与文生图联合训练之间如何取得更好的平衡。

来源：Hugging Face Daily Papers