VerifierBench:让智能体证明自己的验证器真的可靠
LLM 智能体不仅要完成任务,还要判断答案是否有效。VerifierBench 发现,模型生成的可执行验证器往往“拒错有余、验对不足”,过度严格成为更隐蔽的失败模式。
阅读全文LLM 智能体不仅要完成任务,还要判断答案是否有效。VerifierBench 发现,模型生成的可执行验证器往往“拒错有余、验对不足”,过度严格成为更隐蔽的失败模式。
阅读全文FrontierCS 2 将大模型智能体置于真实的计算机科学研发环境中,通过持续提交补丁和隐藏测试,评估其能否完成开放式科研任务。结果显示,当前最强智能体距离稳定承担前沿研发仍有明显差距。
阅读全文Quant-Arena 将大模型放入从提出假设、编写信号到回测和冻结策略的完整量化研究闭环,并用真实 A 股数据检验其能否跨越样本外周期。结果显示,表现最好的模型仍未在 2024 年跑赢等权市场。
阅读全文SpatialScout提出一项面向视觉语言模型智能体的主动三维建图基准,要求模型控制相机、搜集视觉证据,并在统一坐标系中定位物体。结果显示,模型能够恢复大致布局,但距离完整、精确的空间地图仍有明显差距。
阅读全文StreamEval 发布了一套面向交互式流式视频生成的统一评测基准,覆盖数字人、世界生成与视频编辑等五类任务。评测显示,模型能生成高质量画面,并不意味着它能可靠执行持续到来的用户指令。
阅读全文视频生成模型已经能够产出视觉上颇具吸引力的画面,但“看起来像真的”并不等于遵守物理规律。PVBench尝试用对象级测量,系统评估生成视频中的几何、运动、材质与力学合理性。
阅读全文DecisionPivot 是一个面向 LLM 决策模型的诊断基准,重点考察模型在受控变化下是否能稳定做出正确判断,以及置信度是否可靠。评测结果显示,接近的总体分数可能对应截然不同的对比组表现。
阅读全文EdgeKernelBench针对边缘硬件异构、软件栈碎片化和资源受限等问题,建立统一中间表示与分层评测体系。实验显示,代码“能运行”与“跑得快”之间仍存在明显鸿沟,LEKA则通过分层优化显著提升了高性能内核生成率。
阅读全文Lean 能证明生成的声明语法和类型正确,却无法保证它表达了用户原本想说的定理。新研究在没有标准 Lean 答案的情况下评估语义忠实度,发现编译通过率显著高估了自动形式化质量。
阅读全文MMEnterprise-Bench 将企业协作中不断更新、彼此冲突的文本与视觉记录,转化为对多模态智能体的系统测试。结果显示,找全证据并不等于能够正确回答,识别无法确定的情况同样关键。
阅读全文CyberArena将网络安全评测从静态靶场推进到实时、对称的攻防对抗。12个前沿模型在40个挑战、466场比赛中同时扮演攻击者与防守者,模型之间的差异由此被进一步拉开。
阅读全文OR-License将来自真实付费项目的业务材料、数据与交付要求引入评测,检验LLM代理能否独立完成从需求理解到优化方案交付的完整流程。结果显示,模型在可行性与端到端可靠性上仍未达到专家水平。
阅读全文AdaExploreBench 关注一个常被忽略的问题:智能体能否主动获取证据、推断隐藏规则,并在规则悄然变化后及时重新学习。实验显示,当前大模型更擅长利用现成信息,而不是主动寻找关键信息。
阅读全文BlenderWorld 提出了一套面向真实场景的 3D 创作评测基准,覆盖建筑、产品、自然环境和科学可视化等任务。评测显示,前沿模型已经能够理解大致需求,但在空间关系、结构复原和可编辑项目交付上仍存在明显短板。
阅读全文长链路智能体的成败证据往往分散在环境状态与执行轨迹中,传统评测器容易遗漏信息,甚至采信智能体自报的结果。Sauron提出“证据优先”的验证方式,在给出判断前独立核验每项主张。
阅读全文现有网页生成基准多围绕一次性、固定规格展开,难以反映真实产品的连续开发过程。EvoWeb通过32个应用和320项累积请求,评估编码智能体能否在修改代码时保持长期一致性。
阅读全文LiveMACE 提出了一种面向过程的智能体评测方法:不只看交易收益,还分析工具使用、持久记忆、规则遵循和多智能体协作等机制。研究显示,收益表现与能力测量之间可能存在明显差距。
阅读全文DuoDiscover提出一种面向工程优化的自主搜索框架:让每个编码代理同时寻找优化目标和快速代理评估器,再用真实评估持续校准代理评估器。该方法试图解决代码改动快、完整测试慢所造成的搜索瓶颈。
阅读全文BizBench 将真实支付业务流程引入长周期智能体评测,重点检查规则适用性、授权时序、资源约束和中间过程合规性。结果显示,许多模型虽然能够完成目标,却会在执行途中违反关键业务条件。
阅读全文