CCTest · Blog
扩散语言模型如何在测试时“多想一步”:频率感知重掩码带来更强推理探索
扩散模型
cctest.ai
扩散模型

扩散语言模型如何在测试时“多想一步”:频率感知重掩码带来更强推理探索

一项新研究提出频率感知重掩码策略,让扩散语言模型不再只依赖单步置信度决定哪些词元应被确定。通过把额外计算集中到困难样本,并追踪词元在去噪过程中的预测变化,方法提升了数学与代码任务上的测试时扩展效果。

阅读全文
CCTest · Blog
DiffusionGemma:用离散扩散打破大模型逐词生成瓶颈
扩散模型
cctest.ai
扩散模型

DiffusionGemma:用离散扩散打破大模型逐词生成瓶颈

DeepMind 团队在技术报告中介绍了 DiffusionGemma:一个基于 Gemma 4 微调而来的开放权重实验模型,用离散扩散方式并行生成文本。它的核心看点不是参数规模,而是试图把文本生成从“一个 token 接一个 token”推进到“成块迭代细化”。

阅读全文
CCTest · Blog
文本条件也有缩放规律?这篇论文重新审视视觉生成提示词
扩散模型
cctest.ai
扩散模型

文本条件也有缩放规律?这篇论文重新审视视觉生成提示词

这篇论文研究了视觉生成中文本条件的经验缩放规律,指出真正起作用的并不只是提示词长度,而是提示中结构化语言的含量。作者进一步用这些规律改进训练数据与提示生成器,使系统在多类图像生成评测中取得更强表现。

阅读全文