返回文章列表
AI 科研

科学发现中的测试时适应:记忆演化能否取代训练

阅读约 2 分钟

导语

让模型在推理过程中继续学习,正在成为科学发现系统的重要方向。传统推理通常依赖固定参数,而测试时训练(Test-Time Training,TTT)会在任务执行期间在线更新模型权重,从而让模型根据当前发现过程调整自身。不过,权重更新也带来了额外计算成本,模型规模越大,这一负担越难忽视。

一篇发表于 Hugging Face Daily Papers 的研究提出了测试时记忆演化(Test-Time Memory Evolution,TTME),试图以更轻量的方式完成类似的适应过程。

核心方法

TTME不直接训练模型,也不改变其参数。它的基本思路是:持续从探索、验证和反思过程中提炼有用经验,并把这些经验写入外部记忆;后续步骤再读取这份不断演化的记忆,为新的科学发现提供指导。

这一区别使TTME与TTT形成了清晰对照:两者使用相同的科学发现框架,只替换测试时适应模块。这样,结果差异更可能来自“更新外部记忆”与“更新模型权重”两种机制本身,而不是系统架构的其他变化。

研究给出的主要结果包括:

  • 在五项数学任务上,TTME的表现均超过TTT;
  • 与TTT相比,TTME将计算量(FLOPs)降低82.8%至84.6%;
  • 运行时间减少47.7%至58.4%;
  • 方法具备即插即用特征,不需要对基础模型进行在线权重更新。

意义与边界

这项工作说明,测试时适应未必需要把“学习”写入模型参数。对于科学发现这类长流程任务,许多经验可能只需在当前探索过程中保留和复用,外部记忆因此成为一种更经济的适应载体。相比频繁进行权重更新,记忆演化有望降低部署门槛,也更适合计算预算有限或需要扩展模型规模的场景。

不过,现有结论来自论文所评估的五项数学任务和特定发现框架,不能直接等同于TTME在所有科学领域都优于TTT。外部记忆如何筛选经验、如何避免积累错误,以及记忆规模增长后是否影响检索效率,仍是值得进一步研究的问题。更广泛的化学、物理、生物发现任务,以及不同模型和验证机制下的表现,也需要后续实验确认。

总体而言,TTME提供了一个重要视角:科学智能体的在线进化不一定依赖参数更新,结构化、可复用的外部经验同样可能成为提升发现能力的关键。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
Principia:让大语言模型在推理时把实验观察提炼成科学原则
AI 科研
cctest.ai
AI 科研

Principia:让大语言模型在推理时把实验观察提炼成科学原则

KAIST AI 提出的 Principia,尝试让大语言模型在测试时从输入与结果的对比中形成假设,再将反复出现的关系归纳为可迭代更新的科学原则。该框架已应用于分子优化、蛋白质工程、基因扰动和分子性质预测等任务。

阅读全文