Agent Plasticity：评估智能体如何从经验中自我改进

导语

一个智能体能在基准测试中拿到高分，并不意味着它擅长从经历中学习。现实任务往往持续变化，系统需要识别失败、总结经验，并把这些经验交给后续实例使用。围绕这一问题，论文《Agent Plasticity: Measuring Self-Improvement Through Experience》提出了新的评估视角：不只看智能体“现在会什么”，还要看它能否以合理成本变得更强。

从终点能力转向学习过程

现有评测通常在固定条件下给出一次性分数，适合比较静态能力，却难以回答三个关键问题：未来表现是否真的提升？学习需要付出多少交互成本？改进在哪些环节失效？研究者因此构建了一个受控环境，让智能体把过往互动加工成可复用的工具、技能、文字化经验或记忆，并由后续实例继承这些产物。

论文将“智能体可塑性”定义为：智能体把学习成本转化为未来留出环境表现提升的效率。评估在不同检查点进行，同时观察训练分布和未参与学习的交互，从而区分记住已有模式与获得可迁移能力之间的差别。

核心发现

• 不同前沿模型拥有相近的学习机会，却呈现出明显不同的改进轨迹。有些系统能取得持续收益，另一些则长期接近初始水平，甚至表现下降。
• 最终成绩最高的智能体，不一定是学习效率最高的智能体。一个系统可能起步较慢，却能以更低成本积累能力；另一个系统则可能依赖更多经验才达到更高终点。
• 训练环境中的进步只能部分迁移到分布外条件。看似有效的经验，可能只是针对原任务的局部策略，而非更一般的解决能力。
• 自我改进不是简单的“检索记忆”。系统还必须产出真正有用的经验载体，并在后续任务中准确调用和执行它们。检索、生成与应用任一环节出错，都会削弱学习闭环。

意义与影响

这项工作提醒我们，未来的 agent 评测需要加入学习曲线、单位成本收益、留出任务泛化和失败诊断等维度。对产品开发者而言，持续运行并不自动等于持续变强；更重要的是确认经验是否被正确压缩、是否能被可靠复用，以及收益是否超出记忆原任务的范围。

对研究者而言，“可塑性”提供了一种连接能力评测与学习效率的框架。它也揭示了一个实际难题：智能体的自我改进可能卡在经验选择、产物质量、调用时机或执行可靠性上。只有拆开这些环节，才能知道系统究竟不会学、学得太贵，还是学会后用不出来。

如果 AI agent 将成为长期运行的软件基础设施，那么衡量它们的标准也应从一次性能力扩展为“能否稳定地从经验中变强”。

来源：Hugging Face Daily Papers