企业智能体不只要会检索,还要判断哪些记录值得相信
导语
企业知识库并不是一份静态、整齐的答案集。一个项目的结论可能先出现在聊天中,随后被写入文档,又在会议图表或修订版文件里发生变化。当不同成员留下的记录互相矛盾时,企业智能体面对的就不再是普通的检索题,而是一个需要追踪证据、判断版本并管理不确定性的推理任务。
MMEnterprise-Bench 正是针对这一现实问题设计的评测基准。它以模拟团队协作项目为基础,整理出7,140条文本和视觉记录,并构造1,613道问题,考察多模态智能体能否在持续演化的工作空间中给出可靠回答。
核心要点
- 不只考查“能否找到证据”:问题覆盖证据推理、冲突解决和不可回答性判断三类能力。模型需要综合文档、聊天、图表等不同载体,而不是只匹配某个关键词。
- 冲突既可能来自来源,也可能来自时间:同一事实在不同文件中可能出现不同版本,较新的记录也不一定自动代表正确答案。智能体必须比较上下文和记录关系,而非机械地选择最后出现的内容。
- 多图像推理仍然困难:当答案分散在多张图片或视觉记录中时,模型需要先整合信息,再完成推断,这比处理单一页面更容易出错。
- “无法确定”也是一种正确结果:如果现有材料不足以支持结论,可靠系统应当明确说明证据不充分,而不是凭经验补全答案。
- 检索规模不是万能药:评测显示,增加检索预算或使用更大的检索器可以提升证据召回,但并不稳定地转化为更高的回答准确率。问题的瓶颈可能已经从“找不到”转向“不会判断”。
评测揭示了什么
研究团队使用该基准评估了10个专有和开源多模态大模型。整体结果表明,即使是表现最强的模型,在跨来源或时间冲突、以及需要联合多张图像的任务上仍会遇到明显困难。这说明企业智能体的能力不能只用检索命中率或常规问答准确率来衡量,还要看它是否能够解释证据之间的关系,并在证据不足时保持克制。
意义与影响
对于企业应用开发者而言,MMEnterprise-Bench 提供了一个更接近实际工作流的测试视角:知识库建设需要保留版本、来源和时间信息,检索系统也应把相关证据及其上下文一并交给模型。对于模型研究者,下一步优化重点可能不只是扩大上下文或增加召回数量,还包括冲突检测、证据排序、跨模态信息整合和不确定性表达。
这项工作也提醒用户,企业智能体的“会回答”并不等于“值得信任”。真正可用的系统,应能区分已被证据支持的结论、存在竞争版本的事实,以及当前材料根本无法确认的问题。
评论
正在确认登录状态……
正在加载评论……