导语
临床智能体要调用数据库、分析工具等外部能力,既要理解医生的请求,也要把参数准确传给工具。依赖云端大语言模型(LLM)会带来敏感数据外传风险;改用本地模型虽能减少数据离开机构的顾虑,却仍可能产生幻觉。论文《System 1 agents: a method for local, reliable and fast agentic AI》提出另一条路径:让模型不自由生成工具调用文本,而是在结构化选项中作出选择。
核心方法:把生成改成选择
System 1 Agents 使用确定性编译器,将工具的模式定义(schema)和用户请求转换成一系列多项选择题。候选项来自请求内容及工具定义,再由一个单次决策模型选择适用工具、参数值,或表示无法匹配的选项。由于模型是在已有候选项中作答,而不是自行拼写参数,设计目标是降低工具调用中凭空补值的可能。
研究者也说明了“答案不在选项中”时的处理方式:工具选择题提供“以上都不是”,每个参数则有“未说明”选项。若必填参数缺失,系统留空并依据工具定义用固定提示向用户追问;若参数可选,则保留工具默认值。没有合适工具时,智能体可以拒绝调用。这些退出机制很重要,因为选择式架构并不意味着每个请求都能被现有工具完整处理。
测试结果
论文在 1,952 条请求和 157 个生物医学工具上评估该方法。表现最佳的 System 1 智能体在选择正确工具或正确拒绝方面达到 97.0%,高于所比较的 18 种本地 LLM 智能体设置中最佳的 95.2%。在 6,056 个请求中明确给出的参数值里,System 1 填写正确的比例为 97.0%。研究还报告,System 1 的工具调用没有包含编造内容;相比之下,LLM 调用中出现此类内容的比例为 5.5%至19.7%。这些数字反映的是论文所设定的测试任务,不应直接等同于临床部署效果。
意义与边界
这项工作的价值不只是强调“本地运行”,还在于把工具调用从开放式文本生成收窄为可检查的决策步骤。对医疗场景而言,参数是否来自用户请求或工具定义,可能比回答写得是否流畅更关键;遇到缺失信息时追问或拒绝,也比猜测一个值更可控。另一方面,选择质量仍受工具模式、候选项构造及请求理解能力影响。现有结果说明这一设计在所测生物医学工具任务中有潜力,但不能单凭基准测试证明其适用于所有临床流程。框架已作为开源软件发布,后续仍需在更广泛、贴近实际使用的场景中检验其可靠性。
评论
正在确认登录状态……
正在加载评论……