让模型不只会提好点子：用集合级强化学习推动科学创意多样化

导语

让大语言模型阅读论文并提出研究方向，已经成为科研自动化流程中的重要尝试。但“提出一个看起来不错的点子”和“提出一组彼此不同、又都值得验证的点子”并不是同一个问题。现有训练与评测往往更重视单个想法的质量，模型因此容易围绕最熟悉的路径反复改写，输出表面不同、实质相近的方案。

一篇发表于 Hugging Face Daily Papers 的研究，尝试用集合级强化学习解决这一问题。它的核心不是单独奖励某个答案，而是把同一次生成中的多张想法卡片作为整体进行评价。

核心方法：让后续想法主动“换方向”

在任务设定中，模型需要根据输入论文生成 K 个结构化的科学想法。每个想法都要与来源文献建立联系，同时具备一定质量，并且和已经生成的想法保持清晰区别。

研究者设计的评分机制包含两个关键维度：

• 质量：想法是否合理、有潜在价值，并且确实受到输入论文启发；
• 差异性：当前想法与此前想法之间的距离有多大。

后一个维度改变了模型的生成目标。如果模型已经提出一种实验路径，继续沿着同一方向做小幅变体，就很难获得高的集合级回报。模型需要在保持文献依据的前提下，寻找不同的问题切入点、方法路线或验证方式。换言之，强化学习的优化对象从“最好的单点答案”变成了“更有覆盖面的答案组合”。

研究结果：多样性增加，并未明显损害可执行性

据论文摘要，研究团队训练了一个 8B 模型，并在无污染基准上使用结合质量与多样性的“创意效用”进行评估。该模型的表现优于论文中对比的 Claude Opus 4.8 与 GPT-6 Astra。这里的重点并不只是小模型击败大模型，而是说明合适的目标函数可能比单纯扩大模型规模更直接地改善科学创意生成。

人类评估仍处于试点阶段，参与者为四位专家。结果显示，训练模型生成的想法集合在潜在价值上与 Claude Opus 4.8 相当，并包含略多的独特想法。与此同时，当编码代理对这些想法执行概念验证实验时，模型的 success@k 与 Claude Opus 4.8 相近。这意味着增加方案多样性，并没有在该实验中带来明显的可执行性损失。

意义与局限

这项工作的价值在于，它把科研创意生成中的一个常被忽略的目标明确化：研究者通常需要的是一组可比较、可筛选、覆盖不同方向的候选方案，而不是一个孤立的“最佳答案”。集合级训练还可能适用于研究计划、实验设计、材料发现或药物研发等需要探索多个路线的任务。

不过，现有证据仍应谨慎解读。专家研究规模较小，指标如何衡量“创意距离”和“质量”也会影响结论；概念验证成功同样不能等同于真正完成科研。未来还需要更大规模的人类评测、更长期的实验追踪，以及对模型是否只是学会制造形式差异的检验。总体而言，这项研究提示，科学智能的下一步不只是让模型提出更好的想法，也要让它知道什么时候应该提出另一个不同的想法。

来源：Hugging Face Daily Papers