SPyCE：让多模态智能体在训练中沉淀并复用“技能”

导语

多模态智能体正在从“看图回答”走向更复杂的“边看、边想、边调用工具”。在这类任务中，模型往往需要多轮操作视觉证据：裁剪、放大、比较、调用外部工具，再根据中间结果继续推理。论文《SPyCE: Skill-Policy Co-evolution for Multimodal Agents》关注的正是这一类长链路、多步骤的视觉推理问题。

作者认为，现有方法存在一个共同短板：强化学习通常把整条轨迹压缩成一个奖励信号，策略需要在新任务中反复摸索工具使用模式；而记忆式方法虽然保存历史经验，但多依赖测试时检索，并没有真正让策略在训练中吸收这些经验。SPyCE的核心思路，是把轨迹转化为可复用的“技能”，并让技能库与策略模型在训练过程中相互促进。

核心要点

• 技能不是静态案例，而是训练资产：SPyCE会从策略产生的有价值轨迹中提炼技能，并在强化学习过程中持续更新技能库。
• 层级化技能设计：论文将技能分为两类。执行技能关注局部视觉操作，例如如何处理某类视觉证据或调用某个工具；工作流技能则表达更高层的流程先验，用来组织多步工具使用。
• 策略与技能闭环进化：训练时，策略会根据检索到的技能来引导 rollout；而更强的策略又会生成更有价值的轨迹，进一步改进技能库。
• 对比基线更稳健：论文称，在八个基准测试中，SPyCE持续优于强化学习类与记忆类基线；进一步分析也显示，层级技能与共同进化机制都是关键组件。

意义与影响

SPyCE的价值在于，它把多模态智能体的经验从“一次性奖励”或“外部记忆”提升为可被策略吸收的结构化知识。对于需要长程推理、反复操作图像、依赖工具链的任务，这种机制可能减少重复探索，让模型更快学会稳定的操作套路。

这也提示了智能体训练范式的一个变化：未来的多模态代理不只是优化策略参数，还可能同时维护一套不断演化的技能系统。策略负责探索与执行，技能库负责沉淀可迁移经验，两者共同成长。对于构建更可靠的视觉工具使用智能体、复杂任务规划系统和面向真实应用的多模态代理，这类“技能—策略联合优化”值得持续关注。

来源：arXiv