RealSWE:真实用户请求如何改变编程代理评测
SWE-bench中的问题通常完整、正式且信息丰富,而真实用户往往只给出简短描述。RealSWE通过控制信息组成和语言风格发现,贴近现实的输入会让模型平均解决率下降,并可能改变模型排名。
阅读全文SWE-bench中的问题通常完整、正式且信息丰富,而真实用户往往只给出简短描述。RealSWE通过控制信息组成和语言风格发现,贴近现实的输入会让模型平均解决率下降,并可能改变模型排名。
阅读全文E-Commerce Bench把LLM放进一个持续365天的电商经营环境,要求智能体同时处理选品、谈判、销售、履约与现金流。结果显示,赚钱能力并不等于全面的经营能力。
阅读全文SpanCalib-VLM 将生成式视觉语言模型与多模态序列标注器结合,用校准后的置信度重新评估疑似幻觉文本片段。在 SHROOM-Visions 英文评测中,系统兼顾了跨度定位、置信度校准与检测效率。
阅读全文一项覆盖 15 个开放权重模型的 FACE-Eval 研究发现,偏好线索出现的位置和表达方式,会显著影响模型是否在思维链中披露其影响。来自工具返回或原始资料的隐性线索,更容易被模型采用却不被监测器识别。
阅读全文同一个基准测试分数,可能同时混合安全、推理、知识理解等多种能力。Ai2推出的BenchMIRT借助多维项目反应理论,把模型能力与单个题目的影响拆开分析。
阅读全文EASEL 将多模态智能体放进一个看似简单的绘画任务:根据参考图像逐步操作画布。结果显示,模型不仅看不准,还难以在执行过程中持续校正。
阅读全文LoopArena 将编码智能体开发中的“控制循环”单独抽离出来,测试一个模型能否持续指导另一个固定编码智能体完成长期任务。结果显示,长程循环控制仍是当前代理系统的明显短板。
阅读全文一项新的移动智能体基准 GMA 扩展了应用覆盖和任务复杂度,用七款开源应用与 300 个任务检验模型能否完成从单步操作到多步骤工作流的真实需求。研究显示,任务越复杂,现有智能体的表现下降越明显,而合理的 harness 设计能够改善部分工作流执行效果。
阅读全文一项基于固定代码提交版本的审计发现,评测脚本能够定义计算过程,却未必足以支撑与指标绑定的历史性结论。研究对 124 个 Inspect Evals 单元进行盘点,其中 110 个在进入确定性推断前就因证据或语义问题停止。
阅读全文UrbanGround 将香港全域三维地理数据构建为可交互的城市沙盒,用于测试多模态大模型能否把局部视觉理解转化为持续、可靠的导航行动。研究显示,当前模型擅长短距离感知,却难以在长程探索中维持方向感并及时纠错。
阅读全文FIRM-Video提出“先核查、后评分”的清单式框架,把视频奖励模型的判断拆解为可验证标准。论文同时发布90K训练数据和人工标注基准,并展示其在视频筛选中的效果。
阅读全文AnTrap 将弹窗、状态卡死和动作误用等运行时异常引入 Android GUI Agent 的执行过程,系统评估智能体在动态对抗环境中的鲁棒性。研究发现,现有模型普遍会受到干扰,而深层上下文陷阱仍超出单纯训练的解决能力。
阅读全文Video-IFBench 将评测重点从“答对视频问题”推进到“是否完整遵守复杂指令”,覆盖视觉、音频、语义和格式等多重约束。对20多个近期多模态大模型的评测显示,视频指令遵循仍是明显短板。
阅读全文VGI-Bench 将评测重点从视频画质推进到动态视觉推理,考察模型能否理解并生成符合逻辑的视觉过程。结果显示,当前系统虽已展现部分能力,但距离可靠推理仍有明显差距。
阅读全文Google DeepMind联合新加坡人工智能安全研究所等机构,试点一种基于机密计算的“双盲”AI评测。该方法旨在同时保护模型权重与评测提示词,降低基准污染风险。
阅读全文一项面向整仓库技术栈迁移的新基准显示,代码智能体在“改得对”和“确实完成迁移”之间仍存在明显鸿沟。520 次实验中,仅 5.4% 同时通过迁移审计、行为测试和智能体验证。
阅读全文FrontierChallenge 将科学任务从“答对一个问题”推进到“完整交付一套工作流”。评测显示,前沿模型在跨学科科研流程上的真正完成率仍然有限。
阅读全文一项针对检索增强问答系统的研究发现,即使模型、提示词和生成控制项保持不变,扩充语料索引仍可能让系统给出不同答案。研究提出“快照兼容性审计”,用于区分真正的索引影响与模型自身的随机波动。
阅读全文GameXpert-Bench 将游戏编码智能体置于完整开发周期中评测,覆盖生成、修复与多轮优化三个阶段。结果显示,智能体擅长实现明确需求,却仍不善于主动发现缺陷、验证运行行为和避免回归。
阅读全文MobilePA-Bench 提出一个面向移动规划智能体的交互式评测环境,重点考察工具调用、长程规划、记忆、技能与子智能体协作。研究显示,现有前沿大模型在严格工具顺序、权限限制和运行时错误下仍不够可靠。
阅读全文Thinkingbox 将智能体评测从“答对或调用对工具”推进到真实业务流程的最终状态验证。其基准显示,模型偶尔完成任务与稳定完成任务之间仍存在明显差距。
阅读全文