大语言模型

这项工作提出了一种新的离策略后训练方法 TOPL，不是直接教模型“照着错误输出学”，而是让模型学会判断每个 token 是否正确。结果表明，它在摘要和翻译等忠实生成任务上，都展现出更强的跨数据集泛化能力。

Hugging Face Daily Papers 收录的论文介绍了 Loopie，一个以循环计算提升 Transformer 表达能力的 MoE 模型系列。作者称，在相同预训练计算预算下，Loopie 超过了常规 Transformer 基线，并在后训练后展现出强推理能力。

DeepLoop 关注一个容易被忽视的问题：当 Transformer 通过重复使用同一组模块来增加“展开深度”时，传统残差缩放规则不一定仍然适用。论文提出按参数被重复访问的方式重新设定缩放，从而提升循环式语言模型的训练稳定性与效果。

GigaWorld-Policy-0.5 试图解决世界动作模型在推理阶段“太重”的问题：训练时利用未来视觉动态，部署时只解码动作。其混合训练、专家化 Transformer 与 AutoResearch 搜索流程，共同指向更高效的机器人策略学习。

一篇 arXiv 论文提出 Deep Interaction，让用户在大模型原始回答中直接编辑错误推理步骤，再将修正后的思路提炼成提示，引导模型沿正确路径继续推理。

这篇 arXiv 论文从“秩是否能穿越深层网络”的角度，重新解释 Transformer 前馈块中残差连接、归一化位置和宽度扩展的作用。作者认为，许多看似用于控制数值幅度的设计，本质上也在调节梯度路径中的秩塌缩风险。

这篇 arXiv 论文提出 DeltaMerge-LowRes，尝试用“语言 delta + 任务 delta”的方式降低低资源语言任务适配成本。核心发现是，不同合并规则会显著影响模型保留语言能力、执行任务和校准置信度的方式。