ReproBridge：让机器学习复现实验不再依赖“猜”

导语

机器学习论文通常会公开代码，但“有代码”并不等于“能复现”。依赖版本、参数选择、数据处理、运行顺序以及失败后的修复方案，往往散落在论文、仓库和实验产物中。对编码智能体而言，复现实验不仅是执行脚本，更是补全这些没有明确写出的操作知识。

ReproBridge 关注的正是这一交接环节：如果把智能体在复现过程中恢复出的步骤、判断和修复经验保存下来，后续智能体能否更可靠地完成同一实验？

核心做法

ReproBridge 定义了一套“精炼复现工件”（Refined Reproducible Artifact，RRA），主要包括四部分：

• 经过整理和修复的代码库；
• 明确的环境安装与配置方案；
• 可直接调用的实验启动脚本；
• 复现指南，记录参数设置、操作理由以及修复过程。

其工作流可概括为“Specify → Execute → Preserve”：先根据论文和官方仓库明确任务，再实际运行和排查问题，最后将有效步骤与决策沉淀为可复用工件，并由独立 Reviewer 检查结果。

研究团队还发布了 ReproBridge-Bench，覆盖36篇论文、387个实验和1029项任务。每项任务都有5次人工复现得到的参考分数，用于避免仅凭一次运行结果判断成功与否。评测时，智能体在全新会话中分别使用原始代码和RRA，尽量将差异归因于交接材料本身，而不是记忆或上下文残留。

结果与意义

在四个编码智能体上，使用精炼工件后，平均复现成功率从76.4%升至92.6%，后续API开销平均下降19.7%。不同模型之间的成功率差距也从21.6个百分点缩小到3.9个百分点，四个模型的平均成功率均超过90%。消融实验进一步显示，移除任一组成部分都会带来损失，其中代码和环境信息的缺失影响最大。

这项工作的重要启示是：复现能力并不只取决于模型本身，也取决于研究成果是否保存了可执行的“过程知识”。原始仓库更像是交付代码，而RRA则试图交付一条经过验证的执行路径。对研究团队而言，记录为什么这样设置、哪些修复真正有效，可能和发布最终脚本同样重要。

不过，材料也提示了评测边界。独立 Auditor 需要根据输出文件、执行记录和脚本追踪结果；与两名人工审核者对照时，其精确率为88.6%，召回率为79.5%。此外，项目页面显示代码和数据仍在内部审核，尚未完全开放。因此，ReproBridge 的结论更适合被理解为一种有潜力的复现工作流和评测框架，后续仍需要更多公开验证。

Hugging Face Daily Papers