扩散模型的强化学习后训练,可能主要是在做激活引导
一项研究发现,少量固定的引导向量就能复现扩散模型强化学习后训练的大部分奖励提升。这提示模型未必需要学会复杂的新变换,后训练也可能是在引导已有能力更稳定地显现。
阅读全文一项研究发现,少量固定的引导向量就能复现扩散模型强化学习后训练的大部分奖励提升。这提示模型未必需要学会复杂的新变换,后训练也可能是在引导已有能力更稳定地显现。
阅读全文一项覆盖1668次运行、六个模型的研究发现,在公平计算预算下,蒙特卡洛式密集过程奖励并未击败标准GRPO。研究也表明,训练“最有希望改变结果”的题目,可能比设计更复杂的奖励更有效。
阅读全文腾讯混元团队提出 FewStepRL,将多种扩散模型强化学习目标系统地改写为适用于少步采样器的形式。研究表明,可微且梯度成本可控的奖励更适合梯度型方法,而 DiffusionNFT 风格方法在其他场景下也能较快获得较高奖励。
阅读全文vLLM Blog 介绍 REINFORCE Zero:通过让 rollout 与训练端的计算内核逐位对齐,再用不裁剪的重要性采样修正权重滞后。该方法在高策略延迟下保持稳定,并显著提升训练吞吐。
阅读全文TurnWise针对流式视频理解中的多轮决策问题,将强化学习的信用分配从整条轨迹细化到每个交互回合。该方法旨在减少重复回答,并鼓励模型在合适时机继续观察或进行后续响应。
阅读全文一项针对多轮智能体强化学习的研究发现,RL 的优势高度依赖可用交互轮数。它真正擅长的并非普遍提升每一步决策,而是帮助智能体纠错并坚持完成长程任务。
阅读全文大语言模型强化学习常假设采样与训练使用同一个当前策略,但现实系统中的推理引擎与训练器往往不同步。最新研究将错配拆分为数值差异和策略滞后,并提出DLC方法稳定异步训练。
阅读全文一项新研究提出“统一训练”框架,尝试用同一种基于似然的训练算法覆盖预训练、SFT 与强化学习。模型训练的关键因此从“切换算法”转向“如何安排数据与生成样本”。
阅读全文LongZero提出一种无需外部语料或更强教师模型的长上下文强化学习方法。模型先自行构造问题、答案与证据,再将证据扩展为长文档和多轮检索任务,并通过GRPO完成训练。
阅读全文一项对20个公开发布强化学习模型的比较研究显示,Outcome RL带来的pass@1提升,主要来自更少超出Token预算和更高的完成可靠性,而不是发现了基础模型无法解决的新题。
阅读全文长程智能体的一次行动往往包含数百甚至数千个Token,但真正影响结果的可能只是其中一个工具调用。Multiscale Policy Optimization试图在回合级别更新策略,同时保留Token级信用分配的精细度。
阅读全文基于评分标准的强化学习容易把模型训练成“内容越多越好”,却忽视冗余和事实错误。卡内基梅隆大学团队提出FORK奖励,同时优化覆盖率与精确率,在保持任务覆盖的同时压缩无效内容。
阅读全文一篇最新研究指出,经过价值型强化学习训练的LLM,其现有的RL Critic可以直接复用为置信度估计器。这样既无需新增训练数据和计算,也不会改变策略模型的任务表现。
阅读全文一项针对开放模型训练历史的研究发现,推理模型常写出的“{wait}”并不必然是强化学习创造的。它更多取决于基础模型是否已从训练数据中继承这一标记,以及后续训练配方如何放大、削弱或改变其用法。
阅读全文一项研究提出 Harness Scaling,将智能体执行方式纳入强化学习的扩展维度。结果显示,经过结构化多 Harness 训练的模型,不仅更能适应未见过的配置,也能迁移到外部黑盒 Harness。
阅读全文TreeOPSD提出一种无需评论家模型的长程智能体强化学习方法。它通过共享前缀的多分支采样获得隐式的逐轮信用,并以有界教师分布缓解固定批次反复更新带来的策略陈旧问题。
阅读全文FC-SWE 将验证失败后的修复尝试纳入强化学习训练,并把失败补丁与测试反馈作为下一次尝试的上下文。在 SWE-bench Verified 上,它提升了多次尝试场景下的软件修复成功率。
阅读全文Lean4AgenticRL 将 Lean4 形式化方法引入开放式智能体强化学习,为工具调用、工作流阶段和最终结果提供可验证的多层奖励。其训练出的 LAR-27B 在 TerminalBench-2.1 上取得 77.3% 的成绩。
阅读全文Mosaic 针对上下文压缩、子智能体分叉带来的多会话执行问题,提出分层的无评论家强化学习方法。它不仅评估任务是否完成,还尝试判断每个会话的实际贡献与资源使用效率。
阅读全文一项针对 Qwen3 的研究指出,NO-THINK 模式下的强化学习收益,可能主要来自重新激活模型原有的 THINK 能力,而不是学会了全新的推理策略。
阅读全文一项研究发现,只检查格式和约束是否满足,可能让模型用几乎没有实质内容的回答拿到高分。研究团队提出 CALIF,在不增加评审模型的情况下,缓解强化学习带来的质量下降。
阅读全文