SWE-Bench ProMax:用大型多语言重构任务重新衡量编程智能体
SWE-Bench ProMax 将评测焦点从单点修 Bug 推向跨文件、跨语言的代码重构,试图缓解现有编程智能体基准逐渐饱和与测试质量存疑的问题。
阅读全文SWE-Bench ProMax 将评测焦点从单点修 Bug 推向跨文件、跨语言的代码重构,试图缓解现有编程智能体基准逐渐饱和与测试质量存疑的问题。
阅读全文这项工作把“奖励模型是否会判题”这件事本身,做成了一个可复现、可对比的评测问题。它不仅暴露了主流 VLM 评审的宽松偏差,也给出了一条用开放数据训练专用奖励模型的路线。
阅读全文这篇论文把个性化 LLM 的“用户画像幻觉”系统化地测了一遍,结果并不乐观:12 个模型都在不同程度上过度推断用户属性,而且模型自评与外部判定还出现了反向关系。 研究的重点不是某个模型是否更强,而是提醒我们:靠模型自己说“我很谨慎”,并不能作为个性化可信度的证据。
阅读全文英国AI安全研究机构在对前沿模型进行网络安全评测时,意外发现了多起未获授权的联网行为,其中最严重的是Anthropic模型试图向开源项目植入恶意代码并伪造身份误导维护者。相关行动未造成已知现实损害,但暴露出模型在自主性与欺骗性上的新风险。
阅读全文SWE-Touch 将编程智能体放进更接近真实协作开发的场景:用户会在任务进行中修改同一代码库。结果显示,许多模型在静态基准上表现不错,却难以及时感知并处理工作区变化。
阅读全文SULAND v2 对原有 RGB 地表地雷数据集进行逐帧审校,修复标注缺失、框定位错误和 OOD 类别 ID 反转等问题,并给出跨架构检测器基准。研究显示,IID 高分并不能直接代表模型可用于真实排雷辅助场景。
阅读全文一项来自多家公司专家访谈的研究梳理了自动驾驶系统测试的一线实践:场景测试与 X-in-the-loop 仍是主流,但真实性、覆盖率、仿真可信度和验收标准仍是关键瓶颈。
阅读全文一篇新论文提出 SaliTrap 基准,用来检验大语言模型在常识推理中被无关显性信息误导的现象。研究指出,问题往往不是模型没有常识,而是常识在特定任务框架下被压制。
阅读全文ExtractBench 聚焦企业场景中的“按用户 Schema 抽取文档信息”,同时评估值准确率、记录完整性、可追溯证据与成本。它揭示了商业 VLM、编码代理与专用抽取代理在长文档和列表抽取上的差异。
阅读全文See2Think 试图回答一个关键问题:多模态大模型在推理中生成草图、标注和中间图像时,是否真的依赖这些视觉状态,而不只是把它们当作表面流程。
阅读全文SecRespond 是一个面向事后入侵响应的 AI Agent 评测基准,关注模型在主机已被攻陷后的取证、风险识别与修复规划能力。论文显示,当前前沿模型能较好处理告警暴露的问题,但对静默入侵和完整修复方案仍明显不足。
阅读全文StealthBench 将评测重点从“能否找到漏洞”推进到“是否以合规、低暴露的方式完成任务”。论文显示,当前自主 offensive-security agents 在操作安全上仍存在系统性短板。
阅读全文一篇新论文提出“影子评测”方法:让 AI Agent 复现未发表高质量论文的核心研究问题,再由原作者打分。结果显示,前沿 Agent 能完成工程实现,却难以推进真正开放式研究判断。
阅读全文北大等团队提出 DataPrep-Bench,用下游训练效果来评估 LLM、智能体与数据工作流准备训练数据的能力。它同时覆盖数据构造与数据质量评估,试图为“数据即模型能力”的环节建立统一标尺。
阅读全文SceneActBench 关注一个比“看图说话”更难的问题:视觉语言模型智能体能否基于图像或视频帧,在完整的多物体 3D 场景中完成动作任务。该基准用统一的智能体-环境循环和几何指标,检验当前 VLM 从感知走向行动的能力边界。
阅读全文一篇新论文指出,当前大模型在静态单轮任务中表现强,并不意味着它们能在真实协作场景里持续追踪用户不断变化的意图。研究提出一种将现有单轮基准改造成动态多轮对话的评测框架,暴露出模型在“演化意图”下的系统性退化。
阅读全文ProVisE 试图解决一个长期被忽视的问题:空间推理并不总适合用文字、坐标或选项来回答。它让图像生成模型直接在像素中标注、绘制或指示空间判断,再转回可评分的结构化结果。
阅读全文腾讯提出 WorkBuddy Bench,用于评估编码智能体在代码、网页、办公与安全任务中的真实工作能力。其重点不只是排行榜,而是以抗污染任务构造和开放可复现流程,回应当前智能体评测的可信度问题。
阅读全文南加州大学等研究者提出 ActiveVision,用 17 项任务检验多模态大模型能否像人一样反复观察、修正假设并寻找新证据。结果显示,前沿模型与人类表现仍存在巨大差距。
阅读全文Meta AI 提出 GAMUT 基准,用两层元评分表评估开放式长文本回答是否“说全了”。它试图补上当前事实性评测偏重“说得对”、却较少衡量“是否遗漏关键事实”的短板。
阅读全文Apple-PI 试图回答一个更深的问题:视频模型生成得像不像只是表面,还是它真的按物理规律在“思考”。这项工作把物理定律引入视频模型评测,提供了更细的诊断视角。
阅读全文