持续适应如何不忘旧能力？CABA用“锚点”给模型更新设闸门

导语

持续适应的难点，不只是让模型学会新数据，还要避免更新后悄悄改变那些原本受到保护的行为。尤其在传感器、代理系统或长期运行的软件中，一次看似有效的参数更新，可能让旧任务性能逐步退化。来自阿里格？（素材未提供机构信息）的研究者提出了 Certified Anchor-Based Adaptation（CABA，认证锚点式适应），试图把“是否应该提交这次更新”变成一个有明确预算和检查步骤的决策。

核心机制：先留锚点，再验更新

CABA并不限定候选更新必须由某一种训练算法产生，因此具有候选生成器无关的特点。它的流程主要包括：

• 从历史观测中预留一部分“锚点”，这些数据不参与候选更新的优化；
• 在固定的表示空间上，比较旧策略与候选策略的输出分布；
• 使用锚点上的最坏前向KL散度衡量行为变化；
• 在一组预先测试的插值系数中，选择仍未超过预算的最大系数，从而尽可能保留更新收益。

这项有限检查不需要动作标签，也不要求拥有完整轨迹。换言之，系统可以只利用历史观测和可比较的策略分布，对一次候选更新进行“提交前”审查。不过，这种检查依赖候选模型能够暴露可比的策略分布，同时还需要事先声明允许的行为变化预算。

“认证”边界在哪里

论文的重要之处在于区分了两类结论。锚点上的保留结果是直接测得的；而锚点之外的统一行为保证，则需要额外假设，包括表示空间对受保护支持集具有足够覆盖，以及策略满足一定的Lipschitz正则性。在这些条件下，作者推导了关于仿射软最大化分类头的正则性界、覆盖与压缩的概率保证、插值单调性条件、网格分辨率误差，以及轨迹级和连续组合场景下的保证。

因此，CABA不是凭少量样本就宣称模型在所有未见输入上绝不会改变，而是把“可观测的锚点保留”和“依赖条件的域外推断”分开。这个边界对于实际部署尤其关键：通过行为保留检查，并不等于新任务效用已经得到证明。

实验显示稳定性换来可塑性成本

研究使用UCI Human Activity Recognition数据集，构造一个非平稳传感器策略代理实验。在预算 ε=0.05时，CABA将平均遗忘从不受约束适应的1.01%降至0.00%；但最终平均准确率也从93.04%下降到88.48%。这组结果清楚呈现了持续学习中的经典权衡：越严格地限制旧行为变化，模型留给新任务的调整空间可能越小。

意义与局限

CABA的价值不在于保证所有持续适应都安全，而在于提供了一个可记录、可复核的更新闸门。它适合被纳入候选模型生成、行为审计和上线审批之间的流程。与此同时，锚点代表性、预算设定、表示覆盖范围和当前任务评估仍决定了结论的可信度。论文实验只是受控的代理研究，尚不能据此推导基础模型或机器人系统的实际表现。

来源：arXiv