机器遗忘如何从数学证明走向可执行认证

导语

当用户要求删除数据、历史记录过期，或训练数据被发现存在质量问题时，机器遗忘希望避免每次都从头训练模型。过去的研究往往提供数学上的遗忘保证，但实际部署还要面对浮点数、软件实现和状态存储带来的偏差：论文中被证明的对象，可能并不是系统最终准备发布的模型文件。

来自 arXiv 的这项工作提出 Executable Release Certification（ExecCert），把认证环节前移到“发布时”。它不只验证抽象算法或理想化状态，而是检查本次执行后真正准备交付的候选产物。

核心要点

• 面向实际产物补上证明缺口。 如果原机器遗忘方法已经有自己的证书，ExecCert 会进一步确认该证书适用于本次执行得到的候选模型；若无法直接完成，则转而采用重新训练参考验证（RRV）。
• 用重新训练结果作为参照。 RRV 关注的是：删除请求发生后，当前保留数据集上重新训练得到的模型，与待发布模型之间是否足够接近。这比只检查系统保存的方程或中间状态更贴近最终目标。
• 处理连续删除的状态分离问题。 在多次删除组成的服务流程中，精确的保留集参考会持续变化，而系统内部保存的数值状态也会独立演进。两者并不天然同步，因此不能简单复用一次性的验证过程。
• 为特定模型结构提供增量实现。 对冻结表示、仅更新岭回归头的场景，研究者维护跨请求累积的认证证据，避免每次发布都从头重建验证过程。
• 改变发布决策，而非只给出理论指标。 在四个已发表的机器遗忘实现上，ExecCert 保留了有效证书，收紧了过于保守的界限，也能识别具体输出实际支持的重新训练参考保真度。连续服务实验显示，RRV 可以消除由“验证存储方程”造成的错误发布，并较好追踪实际误差；当发布检查足够频繁时，增量认证的成本低于重新计算或持续维护验证因子。

意义与影响

这项工作的价值不在于重新定义机器遗忘算法，而在于补齐从算法证明到系统发布之间经常被忽略的一层。对需要响应删除请求的模型服务而言，“算法声称能够遗忘”与“这次生成的模型确实满足要求”是两个不同问题。ExecCert 将后者变成可操作的发布门槛，使系统可以拒绝不满足验证条件的候选产物，也能报告其相对于重新训练基线的实际可信范围。

不过，论文目前展示的增量方案聚焦于冻结表示和可变岭回归头，不能直接视为适用于所有深度网络或任意遗忘流程的通用方案。未来，认证方法仍需扩展到更多模型结构、数值实现和复杂连续服务场景。总体而言，ExecCert 提供了一种值得关注的工程思路：把机器遗忘的可证明性，从论文中的抽象对象延伸到真正要被系统交付的文件与状态。

arXiv