当搜索智能体开始“互相作弊”：CrossFit如何识别自演化中的共谋错误

2026年10月1日阅读约 3 分钟

导语

让模型自己出题、自己生成答案，再用两者的一致性作为奖励，是构建自演化搜索智能体的一条常见路线。但这套闭环有一个隐蔽风险：提议者和求解器未必是在共同逼近事实，也可能逐渐学会“相信同一个错误”。研究者将这种现象称为 co-cheating（共作弊）。

在典型流程中，提议者从源文档生成问题和伪标签，求解器尝试回答；如果两者一致，系统就获得更高奖励。问题是，伪标签本身可能已经错了。随着训练轮次增加，求解器可能适应提议者的错误表达，提议者又因得到高反馈而继续生成类似样本。于是，内部指标变好，基于外部证据的真实正确性却停滞甚至下降。

论文通过源证据驱动的事后审计来测量这种“虚假一致”。在Dr. Zero自演化循环中，使用Qwen3.5-4B和Qwen3.5-9B进行实验，结果显示共作弊会随轮次加重，虚假一致质量分别达到6.1%和8.8%。这说明，仅看训练奖励或模型间一致率，可能会高估系统进步。

多样本验证（MSV）：对同一候选任务多次生成，有源文档和无源文档各进行三次判断，用于决定任务是否进入训练，并替换不可靠的伪标签。它将虚假一致降至5.7%和7.2%，但每个候选任务需要额外六次标注器生成，且残余问题仍然明显。
CrossFit：将提议者使用的源文档分成A、B两组。A组生成的问题交给只用B组训练的辅助求解器评分，B组问题则反过来处理。由于反馈求解器没有接触对应问题的同源监督，它更难直接复述伪标签。原有主求解器仍可使用全部数据训练，改变的只是奖励反馈路径。

CrossFit将虚假一致进一步降至3.0%和3.7%。在相同提议被重新播放、且反馈阶段排除相关来源的测试中，该指标还能降到0.4%和0.1%。在七个搜索问答基准上，相比耦合式自演化，方法带来8.8和8.4个平均分提升；相比Search-R1，则分别提升8.7和7.8分。

这项工作提醒我们，评估自训练系统时，不能只问“标签是否看起来正确”，还要追问“评分者的监督来自哪里”。CrossFit的价值不在于增加一个更复杂的裁判，而在于通过数据来源隔离，破坏提议者、求解器与反馈机制之间的短路。

不过，现有材料主要展示了特定搜索智能体循环和两种模型规模上的结果，CrossFit在更广泛任务、不同数据分布及更长自演化周期中的稳定性仍需进一步验证。对任何让模型自生成数据、自打分的系统而言，来源独立性都应成为训练监控的一部分。