两人团队用约2.1万美元训练出2B参数文本生图模型

导语

训练一个有竞争力的文本生图模型，通常需要庞大的数据、算力和工程团队。Linum这支两人实验室却公布了一次约2.1万美元的训练实验：基于Pyramid-JiT（P-JiT）架构，训练出一个约20亿参数的文本生图模型，并以Apache 2.0许可开放权重。团队强调，这不是最终产品，而是面向下一代视频模型的压力测试。

核心要点

• 放弃传统VAE路径：多数潜空间扩散模型先用VAE压缩图像，再让扩散模型在潜空间中生成。P-JiT直接在像素空间工作，希望让模型同时学习压缩表示与生成过程，减少两阶段架构带来的限制。
• 更激进的Token压缩：模型把图像切分为32×32像素的Patch，并将512²图像压缩到与传统256²配置相近的Token规模。这样可将注意力上下文缩短约四倍，针对的是注意力机制随序列长度平方增长的成本问题。
• 通过辅助任务改善训练：P-JiT在主干网络中加入中间层读出，让模型预测不同分辨率的干净图像；同时使用PixelREPA，将部分隐藏状态与DINOv3-L特征对齐，以增强早期网络层的梯度信号。
• 采用分阶段训练：训练先集中于高噪声区间，让模型学习整体结构，再逐步扩大噪声范围以补充细节。模型先在512²分辨率训练，随后切换至1024²继续优化。
• 规模与成本可核对：公开记录显示，预训练使用约610百万个样本，其中512²阶段约6.1亿、1024²阶段约5000万，消耗8139个H100小时，计算成本约20348美元；整次训练约2.1万美元。

为什么值得关注

这项工作的重点并非证明小团队已经全面超越大型模型，而是展示了另一种效率取向。VAE通常承担图像压缩任务，但压缩率、重建质量与最终生成质量并不总是同步提升。Linum的判断是，扩散模型本身可以学习更适合下游生成的表示，从而在更少Token上完成计算。

如果这种方法能稳定扩展到视频，意义会更加直接。视频包含时间维度，帧数增加会进一步放大注意力和存储成本；更短的上下文和更快的收敛，可能降低迭代式创作的门槛。不过，当前发布仍是实验性图像模型，样本展示和训练成本不能直接等同于商业级质量、泛化能力或视频效果。模型的真实价值，还需要与成熟开源模型在提示词遵循、细节、编辑控制和推理速度上进行系统比较。

对开源社区而言，Apache 2.0权重和较完整的架构说明提供了可复现实验的起点。它也说明，在生成模型竞争进入大规模堆算力阶段后，架构设计、表示学习和训练流程优化，仍可能为小团队打开一条不同的路径。

来源：Hacker News