DialFork:别只检查事实,也要识别对话流程幻觉
一个对话代理可以句句通顺、内容大体正确,却始终没有完成用户真正要办的事。DialFork 通过构造“分叉对话”,把这种偏离流程的失误纳入可测量的评估框架。
阅读全文一个对话代理可以句句通顺、内容大体正确,却始终没有完成用户真正要办的事。DialFork 通过构造“分叉对话”,把这种偏离流程的失误纳入可测量的评估框架。
阅读全文Continual Learning Exam(CLE)将大模型评测从一次性任务完成,推进到跨任务、跨阶段的经验积累与能力提升。结果显示,即使是表现最好的系统,也仅完成了不到一半的关卡。
阅读全文CRM-Agent-Bench 将智能体评测从回答是否正确,推进到业务流程是否真正执行成功。该基准覆盖 555 个有状态、多轮任务,并同时考察结果、轨迹、运营成本与政策合规。
阅读全文iPrefBench 将个性化移动智能体置于可执行的 iOS 环境中,测试它们能否从用户历史推断偏好,并在无法推断时主动提问。实验显示,智能体的操作能力与真正完成符合用户意图的任务之间仍存在明显差距。
阅读全文InteractiveWorld 针对物理世界中的人机协作,构建了一个以人为中心、可闭环验证的模拟环境。配套的 InteractiveBench 显示,当前多模态大模型距离成为可靠的实时助手仍有明显差距。
阅读全文Δτ-Bench把智能体置于持续变化的工具生态中,测试其发现新路径、修复旧流程和更新程序性知识的能力。结果显示,即使是最强的被测模型或执行框架,任务成功率也只有42.3%。
阅读全文AgentProofBench 提出了一套面向可复用验证器的 Web 智能体基准,将固定验收规则的测试结果与后续执行表现配对分析。实验显示,验证器在需求层面的正确性,与智能体能否在真实部署状态下完成任务密切相关。
阅读全文ParetoRSI-Gym把递归自我改进中的数据研究、训练与评估,转化为一个多领域、可重复的代理评测环境。实验显示,代理不仅要提升单项分数,还要在数学、代码、金融、医学和科学之间平衡收益与回退。
阅读全文EmbodiedLab 将具身智能体的评测从“把东西放到指定位置”推进到“通过物理交互获得未知信息”。智能体需要自行设计实验、操作实验装置,并依据仪器读数完成科学判断。
阅读全文一项新基准将模型能力与 Agent Harness 可靠性拆开评估。结果显示,任务完成率并不能充分说明代理系统的运行机制是否真正稳健。
阅读全文DetectorScope 通过稀疏自编码器从神经文本检测器中提取可读的语言特征,再用这些特征构建轻量分类器。研究显示,这种方法有望在保留检测能力的同时,提升模型决策的透明度与跨分布表现。
阅读全文Kolab 将评测重点从“代理能否独立完成任务”转向“专家如何采纳、修改或拒绝代理贡献”。基于 50 位专业人士、115 小时以上屏幕录制的数据集显示,现有前沿模型仍难准确理解长期协作质量。
阅读全文UserArena 将真实电商会话、可交互环境与生产 A/B 测试结果连接起来,用于评估购物智能体和用户模拟器是否能复现长期行为。论文还提出 OPTD,以轨迹级意图提升模拟器的行为保真度。
阅读全文Dual Exam 提出一套双轨评测框架:在固定环境响应下考察多模态智能体的行动选择,在固定动作干预下检验世界模型的状态演化。初步结果显示,模型在单项能力上的高分,并不意味着它们已经具备稳定协同完成任务的能力。
阅读全文一项研究指出,自动评分器的总体准确率或 F1 并不能保证提示词比较可靠。若评分器在不同提示条件下产生不均衡误差,最终结论可能被放大、削弱,甚至反转。
阅读全文一项针对近500场美国中期选举竞选的研究发现,Grok与OpenAI模型在被要求直接推荐候选人时呈现出明显不同的党派倾向。研究也显示,模型的偏向可能来自训练数据、搜索路径以及不可见的系统指令。
阅读全文一项新研究提出视频中心型深度研究报告生成任务,并发布 OmniDR-Bench,用于评估智能体能否把视频内容、外部证据和交互式报告真正连接起来。
阅读全文Code2Video-Compass 面向代码驱动的视频生成,覆盖文本、图像和视频三类输入。它用 2104 项任务考察模型从需求理解、程序执行到视频质量与参考一致性的完整链路。
阅读全文分割式语言模型虽将原始文本留在客户端,但中间表示和训练梯度仍可能泄露内容。LLM-Attacker通过记录攻击条件、复用消息和保存预测结果,试图让不同隐私研究能够被检查、比较和复评。
阅读全文AgentVQA 汇集五类智能体任务中的 1000 个真实案例,评估视觉语言模型在网页、机器人、游戏等环境中的视觉理解能力。结果显示,当前最佳模型准确率仅为 58.5%,主要短板并非推理,而是视觉定位、运动理解和状态跟踪。
阅读全文OpenDS-World试图回答一个关键问题:AI搜索代理能否在开放、动态且格式混杂的真实网页中,独立完成一项多步骤研究任务?评测显示,前沿模型距离稳定可靠的自主研究仍有明显差距。
阅读全文