SWE-Bench Pro Verified:给软件工程智能体一次更可信的测评
SWE-Bench Pro Verified针对原基准中的答案泄漏、隐藏评测信息和任务设计缺陷进行修订,试图让软件工程智能体的成绩更接近真实能力。初步评测显示,部分前沿模型在验证版上的表现明显下滑。
阅读全文SWE-Bench Pro Verified针对原基准中的答案泄漏、隐藏评测信息和任务设计缺陷进行修订,试图让软件工程智能体的成绩更接近真实能力。初步评测显示,部分前沿模型在验证版上的表现明显下滑。
阅读全文PlannerForge 将场景生成、筛选、修改、规划器测试与结果分析纳入统一的大模型智能体框架,并进一步尝试用智能体改进和基准评测自动驾驶系统。
阅读全文Φ-Bench 将大模型评测从孤立算子和内核生成,推进到真实代码仓库中的长周期基础设施工程。它关注的不是模型能否写出一段代码,而是能否理解系统、完成实现并持续优化端到端性能。
阅读全文SAEScientist-Bench将稀疏自编码器(SAE)研究转化为可测评任务,检验AI智能体能否自主发现模型内部具有语义意义的特征。结果显示,智能体已能筛选出有价值的候选特征,但在因果操控和实验结果解读上仍明显落后于专家。
阅读全文DF26基准测试显示,面对由新一代文生视频和图生视频模型生成的全合成视频,人类与现有深度伪造检测器的判断能力都接近随机水平。问题不只是视频更逼真,也在于评测体系没有跟上生成模型的分布变化。
阅读全文Discovery Certification Protocol提出一套可执行的审计流程,用“复现挑战”检验AI研究智能体的成果是否只是利用了既有信息。该协议还进一步测量真实反馈对结果的独立贡献。
阅读全文τ^τ-Bench 将“构建可用智能体”本身变成评测任务,要求编码智能体在真实业务约束下完成从理解需求到部署验证的完整流程。实验显示,当前最强配置与专家方案之间仍存在明显差距。
阅读全文一项新基准将视觉语言模型的拒答能力从“整道题是否拒绝”推进到“问题中的哪些部分应当拒绝”。结果显示,面对混合了可答与不可答内容的复合问题,模型更容易出现误答、过度拒答或无依据作答。
阅读全文Enoki 提出一种基于文本锚定关系事实的多层级幻觉检测框架,在同一表示下完成声明级核验与文本片段定位。该方法还发布了配套的 EnokiQA 数据集,支持更细粒度的评测。
阅读全文HarvestBench把“避免伤害”转化为一次有真实代价的决策:大模型要么免费碾过田间动物,要么支付燃料绕行。测试显示,模型的行为差异巨大,道德提示和价格都会显著改变结果。
阅读全文PerfReasoning 将大语言模型置于硬件性能建模场景中,分别考察其分析推理能力与生成模型代码的能力。结果显示,模型可以给出看似合理的架构判断,但距离稳定构建可执行、可验证的性能模型仍有明显差距。
阅读全文Harbor Adapters 将 80 多个智能体基准接入统一评测框架,Harbor-Index 则从中筛选出 82 个高难度任务,试图让智能体能力比较更可复现、更具可操作性。
阅读全文不同语音脑机接口使用不同数据集、词汇表和解码指标,系统之间很难直接比较。研究者提出开放词汇互信息(OVMI),同时衡量解码准确性与系统覆盖的用户语言范围。
阅读全文视频看起来流畅,并不意味着其中的物体运动、空间关系和事件时序符合物理规律。VeriPhy 将提示词编译为可检查的物理约束,再通过带 provenance 的证据记录输出可审计结论。
阅读全文视频生成模型可以产出逼真的运动画面,却未必遵守牛顿力学。Principia 提出一种不依赖相机标定的关系式评测方法,让模型的物理漏洞更容易被量化。
阅读全文AFAC2026吸引全球5027支队伍、近2万名选手参赛,赛题覆盖市场分析、金融文档、自动化实验和长文本Agent。赛事与开源数据集共同呈现了金融AI从单点模型走向系统化落地的变化。
阅读全文ExecRetrieval构建了包含近乎相同但实际有错代码的检索基准,专门测试代码嵌入能否把正确实现排在错误变体之前。结果显示,模型在扩大召回范围后表现很好,但首位排序仍存在明显功能性缺口。
阅读全文一项新研究提出知识门控任务构造协议,通过私有知识工件、泄漏审计和可验证结果,区分智能体因缺少知识而失败,还是因能力不足而失败。实验显示,部分任务在提供工件时通过率显著提升,但研究尚未证明这些任务能改善模型训练。
阅读全文S³Gym 是一个评估大语言模型自我改进能力的交互式基准,考察智能体能否通过自测、判断经验并改进后续决策。研究发现,经验是否有效转化为能力,取决于任务结构与记忆方式。
阅读全文上海交通大学团队提出 EarlyEval,通过分析智能体执行过程中的中间行为,提前判断任务成功或失败,从而减少不必要的模型调用和评测成本。在三个基准上的实验显示,它在较小精度扰动下可削减部分执行步骤与输入输出 token。
阅读全文AgentJudgeBench 将 LLM 评审置于依赖驱动的工具调用工作流中进行测试。结果显示,任务难度而非模型规模,可能才是评审可靠性的主要瓶颈。
阅读全文