ClawProBench:让智能体评测从“答对”走向“做对”
ClawProBench提出一种面向运行时的智能体评测框架,不只检查最终答案,也审查证据获取、工具路由、安全边界与重复执行表现。研究显示,运行时原生任务明显更难,封闭测试集与完整测试集的排名也并不一致。
阅读全文ClawProBench提出一种面向运行时的智能体评测框架,不只检查最终答案,也审查证据获取、工具路由、安全边界与重复执行表现。研究显示,运行时原生任务明显更难,封闭测试集与完整测试集的排名也并不一致。
阅读全文LongRCA Bench 将长程智能体失败诊断拆分为“责任角色识别”和“最早根因定位”两个任务,并用 1140 条真实失败轨迹进行评测。其配套的免训练方法 RCTA,在根因步骤定位上显著超过基线,但整体结果仍显示长轨迹调试困难。
阅读全文FlavourBench 将开放式语言模型评测转化为可复核的组合选择问题:模型从八种食材中选出三种,由版本化烹饪系统统一评分。在覆盖 27 个前沿模型端点的测试中,Grok 4.6 获得最高点估计,但只有部分模型差异达到统计可区分水平。
阅读全文一项新研究指出,混合思考多模态大模型在“思考”和“不思考”模式之间,存在明显的响应行为失配。研究者提出 PatternEval 与 PatternRL,尝试同时评估并改善答案正确性之外的输出质量。
阅读全文Hume AI 的研究提出了一套衡量 ASR 基准优化的方法:部分高分模型可能在复现公开数据集的参考文本,而不是真正依据音频完成转写。这一发现提示,单一公开基准上的优异成绩未必等同于通用语音识别能力。
阅读全文QuoteBench指出,编码智能体的成功率不仅取决于模型生成了什么,还取决于命令经过怎样的序列化、包装和解析。若只看最终匹配分数,接口引入的失败可能会被误判为模型能力不足。
阅读全文一项新研究提出 Chain-of-Experience(CoE),通过在测试时累积交互痕迹与反馈,让大模型不再局限于一次性零样本回答。实验显示,自反馈、正确性信号和代码测试结果等机制可以共同推动模型迭代改进。
阅读全文NARU 是一个面向日语极长视频理解的新基准,联合考察叙事演进追踪与文化语境推理。研究显示,现有多模态模型在跨长时段整合情节和理解隐含社会意义方面仍存在明显不足。
阅读全文一项围绕希腊语推理的研究发现,准确率几乎没有变化,并不意味着语言适配没有发生。监督微调让模型开始用用户语言思考,强化学习则进一步修复格式和通道控制问题。
阅读全文一项覆盖 37 项任务的系统评测显示,LLM 与专用 Embedding 模型的总体表现几乎持平,但推理成本和速度差距悬殊。更现实的方案不是二选一,而是按任务分工。
阅读全文SWE-bench Science将科学软件工程带入仓库级评测,覆盖98个GitHub仓库和20个科学领域。结果显示,编码智能体即使能通过表面测试,也未必真正修复了科学问题。
阅读全文FM-Bench把大模型放进一个持续20年的足球管理环境,观察它们如何在预算、交易、续约、青训和董事会压力下做出连贯决策。结果显示,真正拉开差距的不是模型规模或推理花费,而是管理行为。
阅读全文PTXBench 将功能正确性、目标指令运行情况与实际加速效果放到同一套测试中,检验大模型能否利用架构特定 PTX 优化 GPU 内核。结果显示,生成正确代码与获得真实性能收益之间仍有明显鸿沟。
阅读全文ASI-Bench试图测量AI最难被传统基准覆盖的能力:自主探索未知、选择研究方法,并将想法转化为可验证结果。测试显示,一旦人类逐步撤去方法指导,现有系统的表现会显著下滑。
阅读全文StartupBench不再从研究者预设的任务出发,而是从已有市场需求的AI创业产品及其工作流中构建端到端评测。结果显示,即使是表现最强的模型,也只能可靠完成约30%的任务。
阅读全文一项覆盖100项真实前沿科研任务的评测,追踪了8种模型与智能体框架组合产生的800条完整轨迹。研究认为,当前系统的主要瓶颈不是能力不足,而是缺少持续自检、质疑与纠错的元认知闭环。
阅读全文一项针对真实收据字段抽取的研究发现,常见的置信度阈值方法可能在文档级相关性、评分泄漏和分数并列等问题下失去风险控制。研究进一步提出从平均风险到文档级 PAC 证书的有效性阶梯,并说明何时应使用条件化校准。
阅读全文一项针对37个大语言模型的心理测量审计发现,模型能够复现人类态度关系的大致方向,却难以稳定保留真实受访者数据的联合分布、潜在结构和人口统计效应。
阅读全文Ventor-QTest 提出一种无需目标 API 提供概率信息的黑盒审计方法,通过重复请求和长序列探测,衡量托管模型输出的稳定性与极端偏离。
阅读全文一篇新论文把“能否始终不跑题、不自相矛盾”变成了可自动评测的任务。NCP-Bench 显示,即便语言表现很强的模型,在长轮次互动里也很容易失守。
阅读全文