PremiseCheck:把同行评审事实核查拆成可验证的前提
同行评审意见可能误读论文,人工与大模型撰写的评论都不例外。PremiseCheck先让大模型提取评论中的明确前提,再由成本更低的决策模型逐项对照论文,以较低成本完成事实核查。
阅读全文同行评审意见可能误读论文,人工与大模型撰写的评论都不例外。PremiseCheck先让大模型提取评论中的明确前提,再由成本更低的决策模型逐项对照论文,以较低成本完成事实核查。
阅读全文一项新研究提出 Harness-Delta Attribution 评估协议,试图拆分智能体框架优化带来的收益:哪些来自搜索集过拟合,哪些只是增加了测试时计算,哪些可能具备泛化性。
阅读全文LeanPRM借助Lean证明助手,自动为AI生成的自然语言数学证明创建步骤级正确性标签,从而减少对人工标注的依赖。实验显示,这种形式化支撑的过程监督能显著提升证明验证器的判断能力。
阅读全文WorldMemBench 提出一套面向视频世界模型的记忆评测框架,区分静态内容保持与动态状态演化。对 260 个测试案例和 9 个代表性模型的评估显示,能记住场景外观,并不意味着模型能持续维护世界状态。
阅读全文OmniCompass 是一个面向全模态视频定位与理解的综合基准,覆盖时间定位、空间定位和问答三类任务。它还通过文本与文本加图像两种目标指代方式,检验模型是否真正理解视频证据,以及在不同提示形式下能否保持一致。
阅读全文FDE-Gym 将智能体置于更接近真实客户交付的环境中:需求并不完整,系统可以被修改,成功与否取决于业务指标是否真正改善。评测显示,发现隐含约束仍是模型完成端到端交付的最大障碍。
阅读全文RoTA-Bench通过交互式投影对齐,测试视觉语言模型能否从二维轮廓推断三维结构,并据此连续执行精确旋转。结果显示,模型在任务成功率、姿态判断和细粒度控制上仍明显落后于人类。
阅读全文上海交通大学团队提出 SWE-at-Scale,通过逆向利用历史 Bug 修复记录,自动生成更贴近真实开发场景、可执行且具有多样性的 SWE 任务。该方法旨在缓解真实 issue 数量有限、人工构造成本高的问题。
阅读全文Orbia 提出一套面向交互式视频世界模型的三维一致性评测框架,重点检查模型在探索、离开与重访过程中,能否持续维护同一个空间。它将评测拆分为输入保真、生成内容持久性和三维自洽性三个维度。
阅读全文SWEeper-Bench 将软件缺陷发现纳入代码智能体评测,要求智能体通过真实的多步浏览器交互定位并修复问题。15 个前沿智能体中表现最佳者仅通过了 59.0% 的任务。
阅读全文ProbabilityBench 构建了三个带有精确实例级类别概率的模拟文本环境,让研究者能够直接衡量模型输出概率与真实不确定性之间的差距。它还可用于检验校准指标和贝叶斯误差估计器本身是否可靠。
阅读全文大模型评测基准不断增加,但不同任务之间可能存在明显冗余,完整跑完一套基准的成本也随之上升。这篇综述梳理了119篇相关研究,试图回答:如何用更少的测试,尽可能可靠地推断完整评测结果?
阅读全文CLASHarness针对计算机使用场景中的多智能体冲突,提出一套可控、可执行、可验证的任务生成与评测框架。它通过预先锁定视觉事实并从参考轨迹生成评分器,构建了包含600个多轮任务的基准。
阅读全文Doc2Harness 将评测对象从“使用固定代理框架完成任务”推进到“让模型自己构建代理框架”。结果显示,即使表现最好的模型,也只能通过约一半测试,长程 Harness 工程仍是编码智能体的明显短板。
阅读全文许多大模型智能体的失败并不源于工具本身,而是源于与用户沟通不当。τ-Emotion-Bench将情绪变化引入长流程工具调用任务,揭示智能体在真实用户行为面前的交互脆弱性。
阅读全文文本到图像模型已经能够生成可读的中文,但笔画缺失、增添或部件变形等局部错误仍可能逃过 OCR 和视觉语言模型。TextVerifier 将中文字符结构纳入验证流程,专门判断图像中的字符是否正确呈现。
阅读全文Last Secure Code Benchmark 对六个前沿编程代理进行测试,结果显示:代码通过功能测试,并不代表能够抵御真实安全漏洞。即使表现最好的模型,同时满足功能与安全要求的任务比例也只有 25.1%。
阅读全文腾讯混元团队推出 LifeSearch 基准,尝试用真实生活与生产力任务检验深度研究智能体。结果显示,即使表现最好的前沿智能体,得分也只有 63.4%。
阅读全文NVIDIA 研究团队提出 PhyProbe,只需输入视频即可评估其中的物理一致性违背程度。该方法结合排序、回归与锚点校准,试图让评测结果既能正确比较,也具备稳定的分数尺度。
阅读全文一张图片即使不是AI生成,也不代表其中描述的事件真实发生。EviScene提出图像事实性评估,让多模态智能体自主发现可疑点、检索外部证据,并给出有依据的支持或驳回结论。
阅读全文一项针对大语言模型“无思考”能力的研究发现,即使用户明确要求模型只给答案,模型仍可能输出可见的推理过程。研究者将这种现象称为“思考惯性”,并提出了更细致的评估方法。
阅读全文