PRIME：让智能体的结论必须由证据“买单”

导语

大语言模型智能体已经被用于审核漏洞报告、合规记录等材料。但这类任务的难点不只是找到信息，还在于严格判断“哪些证据足以支持哪些结论”。当一项要求允许多条满足路径时，模型可能在一项必需检查失败后仍然放行，也可能停留在较弱结论上，没有继续寻找另一条可行路径。

arXiv 论文提出的 PRIME（Precommitted Rules for Inference from Minimal Evidence），试图把这种判断从模型的即时推理中部分移出，交给预先定义的规则和可审计记录。

核心要点

• 先固定证据路径。 在开始检查前，PRIME 为每个结论规定可接受的证据组合。例如，一项要求可能允许“严重性评级加经策展人审核的公告”，或“已发布的公告链接”作为不同路径。这样，模型不能在看到零散信息后临时放宽标准。
• 用独立台账约束输出。 另一个程序记录每次检查的结果，并拒绝规则没有授权的结论。模型即使生成了更乐观的判断，也不能绕过证据状态直接输出。
• 避免过早停止。 当现有证据只能支持较弱结论时，PRIME 会指出哪些检查可能证明更强结论，或者由系统自行执行这些检查。这让“拒绝”不再是唯一的安全策略。
• 结论强度取决于证据和预算。 论文指出，在需求正确、检查位置明确且停止时拥有足够检查预算的前提下，流程可以达到当前证据所支持的最强结论。这个前提也说明，PRIME 并不能弥补错误的业务规则、模糊的检查位置或不足的外部信息。

实验结果与意义

研究在 480 个公开记录任务上进行比较。仅向智能体提供需求时，26.7% 的任务出现了未经支持的结论；采用 PRIME 后，这类情况降为零。若只要求系统在证据不足时拒绝，合理结论的平均得分为 30.1；加入 PRIME 的检查指引和补充检查后，平均得分达到 59.2 的最高水平。

这项工作的价值不在于让模型“更会猜”，而在于重新划分模型与验证器的职责：模型负责搜索、读取和提出下一步行动，规则程序负责判断证据是否真的足以推出结论。对于安全审核、合规审批和企业工作流，这种架构有助于留下可追溯的检查链，也降低模型因语言流畅而越权下结论的风险。

当然，PRIME 的可靠性依赖前置规则的完整性，以及检查是否能准确定位到所需信息。未来落地时，如何维护证据路径、处理冲突记录，并在有限预算下安排最有价值的检查，仍是关键问题。

来源：arXiv