LifeSearch:真实生活场景仍是深度研究智能体的难题
导语
能够自动搜索网页、整理资料并生成长篇报告的深度研究(Deep Research,DR)智能体,正在从实验性功能走向日常使用。但学术型基准和合成任务,往往难以回答一个更实际的问题:当用户希望比较产品、规划行程、处理工作信息或做生活决策时,智能体到底能不能给出完整、准确且可核验的结果?腾讯混元团队发布的 LifeSearch,正是针对这一缺口设计的评测基准。
核心要点
- 任务来自真实需求。 LifeSearch 包含 203 个中文和英文任务,覆盖 7 类具体的生活与生产力场景。任务并非只考查单轮问答,而是要求智能体进行多步搜索、信息筛选、推理和证据整合。
- 评分标准更细。 研究团队投入超过 4500 小时进行人工标注,构建了 4000 多条专家编写的评分规则。评分既考察报告的覆盖度与准确性,也核对具体值、单位、日期和 URL 等容易被忽略的细节。
- 统一比较多种智能体。 论文在统一评测框架下测试了 12 个先进深度研究智能体,并分析它们在信息搜集、事实核验和结果组织方面的表现与失败模式。
- 高分仍不等于可靠。 论文称,表现最好的前沿智能体 GPT-5.6 Sol 得分为 63.4%。这一结果说明,智能体即使能够生成看似完整的报告,也可能在关键事实、细节覆盖或证据对应关系上出现问题。
- 自动评分与人工判断较一致。 研究团队比较了候选大模型评审器与人工评分结果,并通过人工排序研究验证整体排名的有效性。论文报告的 Spearman 相关系数为 0.89,Kendall 相关系数为 0.81。
为什么重要
LifeSearch 的价值不只是增加了一个排行榜,更在于改变了深度研究智能体的评价方式。现实任务通常没有唯一的标准答案:用户可能关心多个约束条件,信息来源也会随时间变化。因此,单纯判断“答案像不像一篇好文章”并不够,还必须检查是否遗漏关键要求、是否准确引用来源,以及数字和时间信息能否被复核。
这种设计也揭示了当前系统的结构性短板。智能体擅长搜索和组织语言,并不意味着它能稳定完成事实对齐、细节核验和长链条任务管理。63.4%的最高得分,更像是一个能力边界信号:深度研究距离“可以放心委托”仍有距离。
对模型开发者而言,LifeSearch 可用于定位搜索策略、引用机制和最终校验环节的问题;对用户而言,评测结果提醒人们不要仅凭报告的篇幅和表达质量判断可信度。未来的深度研究系统,除了找到更多信息,还需要更好地说明证据对应什么结论,并在输出前主动检查遗漏与冲突。
评论
正在确认登录状态……
正在加载评论……