CCTest · Blog
Soft-MTP:从噪声梯度中找回多Token预测的有效信号
推理与部署
cctest.ai
推理与部署

Soft-MTP:从噪声梯度中找回多Token预测的有效信号

一项新研究指出,标准多Token预测训练中的梯度包含大量低信噪比残差,可能同时干扰下一Token和多Token学习。研究者提出Soft-MTP,通过直通式梯度路由仅保留有益的KL自蒸馏信号,在不增加参数和可测开销的情况下改进MTP。

阅读全文