OSWorld-Pro:从“结果对不对”走向“过程哪里错”
OSWorld-Pro 将计算机使用智能体的评测拆解到连续子目标,借助人工标注与对齐的人类判断器,定位键盘输入、鼠标点击和无关操作等过程性失误。
阅读全文OSWorld-Pro 将计算机使用智能体的评测拆解到连续子目标,借助人工标注与对齐的人类判断器,定位键盘输入、鼠标点击和无关操作等过程性失误。
阅读全文一项研究显示,面对新一代生成器和对抗扰动,传统深伪检测器的准确率会显著下降。研究团队转而检测图像是否能被已知生成器忠实重建,并通过校准控制误认证风险。
阅读全文一项针对医疗长文本事实核查的研究发现,检索—验证系统在封闭式基准上表现良好,但面对开放式临床答案时性能显著下滑。研究进一步将失败拆分为检索质量与验证推理两类问题。
阅读全文SimuVerity 提出一套面向工程要求的 Simulink 智能体评测基准,覆盖 101 个文本到可执行模型的任务。研究显示,能编译或看起来相似,并不代表模型真正满足工程需求。
阅读全文HyperBrowseComp 是一个面向网页浏览智能体的高难度评测基准,覆盖 13 种语言与多种证据形态。它关注的不是模型能否直接回答,而是能否在开放网络中持续寻找、验证并串联线索。
阅读全文AI生成论文的问题不一定出在句子或引用,而可能隐藏在整篇文章的结构、论证和实验之间。新研究提出SciSlopBench与SciSlopHarness,尝试识别并修复这类“科学垃圾”。
阅读全文一项研究利用带有完整来源链的合成任务,检验哪些预训练数据真正影响表格基础模型的表现。结果显示,行为归因能够指导有效的数据移除,但“来源相似”与“因果贡献”并不总是一致。
阅读全文ArrivalBench指出,智能体生成的数据管道在固定快照上通过,并不代表能处理真实世界中的迟到、重复、乱序与重试数据。该基准通过可重放的对抗性到达顺序,检验管道最终状态是否真正正确。
阅读全文微软与 Hugging Face 推出的 ThinkingBox 不再只看代理说了什么、调用了哪些工具,而是检查任务结束后数据库留下的真实状态,并通过 20 次重复运行衡量可靠性。
阅读全文KaliBench 面向 Kali Linux 上的自然语言到命令行转换,试图填补网络安全模型评测中“会不会生成可执行命令”的空白。它通过细粒度数据、规范化命令和多阶段验证,评估模型选工具与组装参数的准确性。
阅读全文PhysVista 提出一个面向视觉语言模型的物理智能评测框架,将物理状态感知、动力学推理与物理合理性判断纳入同一认知闭环。基准同时覆盖真实视频与 AI 生成视频,用于检验模型是否真正理解动态世界,而不只是识别画面内容。
阅读全文OpenTumorBoard从219场公开肿瘤委员会会议中整理出611个病例和近两万轮讨论,为评估模型参与复杂、多专家协作式临床决策提供了新基准。结果显示,即使是前沿通用模型和医疗模型,在复现专家回答与委员会结论方面仍有明显差距。
阅读全文语音大模型能够识别指令并调用工具,但未必能判断这句话是否真正对自己说。VGBench显示,声源变化会显著考验语音智能体的“该不该行动”能力。
阅读全文Argo-Bench 不再只检查模型能否生成正确 SQL,而是模拟一个拥有 235 张表、75 亿行数据的企业仓库,评估智能体能否基于数据完成分析并采取有效行动。测试结果显示,当前模型在跨表推理、统计分析和业务决策上仍存在明显短板。
阅读全文AutoDataBench 提出一个受控测试平台,将训练框架、超参数和算力等因素固定下来,专门评估智能体诊断、组织和构造训练数据的能力。研究还考察模型能否预测数据干预的效果,以及基准测试轨迹能否反过来成为训练数据。
阅读全文同一项科学工作换一种写法,AI审稿人可能给出不同判断。新研究提出“修辞鲁棒性”指标,并用SciCore将全文评审与结构化科学核心结合起来。
阅读全文奖励模型可能把更长、更自信或更迎合的回答误判为更优,进而让语言模型追逐表面分数。BiasReducer通过只修改线性奖励头,并按数据集选择相关偏差,降低这类失真。
阅读全文A2Z GameSpec-Bench以100份长篇游戏设计文档为基础,评估编码智能体生成的游戏是否真正符合设计意图,而不只是能够编译运行。基准将代码检查、场景回放与自适应试玩结合起来,重点检验相互依赖的需求能否被同时满足。
阅读全文一项新研究发现,非侵入式脑到文本系统的部分效果可能来自词语时长这一隐性线索,而非脑信号本身。研究者通过独立处理窗口、结合重复观测与语言模型,获得了更可靠的解码结果。
阅读全文