模型评测

一项针对大语言模型“无思考”能力的研究发现，即使用户明确要求模型只给答案，模型仍可能输出可见的推理过程。研究者将这种现象称为“思考惯性”，并提出了更细致的评估方法。

AgentSWE 提出一个关键问题：编码智能体交付的系统，究竟是在满足需求，还是只是在演示案例上看起来有效？这项基准测试显示，当前编码智能体距离可靠完成智能体开发任务仍有明显差距。

一项基于真实 IDE 使用记录的研究显示，软件工程师与编码智能体的交互远比 issue 驱动基准更复杂。评测如果忽略任务类型切换和多轮流程，可能无法准确反映智能体的实际表现。

人类能从一眼画面中推断事件因果、空间可行性、社交关系和潜在规则，但多模态模型在这些直觉任务上仍明显落后。HSS基准试图把这种隐含视觉推理能力变成可测量指标。

一项覆盖6,342名医护人员的研究显示，临床AI最常处理的是文档与行政工作，而不是诊断。现有基准测试与真实工作任务的重合度有限，模型分数未必能代表部署后的实际表现。

静态代码基准容易因数据泄漏和能力饱和而失效，SWE-Duel尝试把任务生成、测试和对抗过程放到评测现场。两个编程智能体轮流扮演出题者与修复者，让基准难度随参与者能力变化。

SpireBench把完整商业游戏《杀戮尖塔》变成长期智能体评测场景。研究发现，前沿模型能接近普通玩家，却在连续决策、风险管理和跨局学习上明显落后于专家。

U-Space尝试用机制可解释性揭示语言模型在生成答案时何时产生怀疑，以及怀疑来自哪里。其配套方法U-Lens结合内部表征与预测熵，在单次生成中评估答案可靠性。

一项来自约翰斯·霍普金斯大学的研究提出，用“认识、解决、升级”三个维度评估LLM智能体在知识冲突中的认知谦逊。结果显示，任务准确率高并不意味着智能体善于表达和处理不确定性。

一项研究发现，前沿大模型可能将患者就诊之外的闲聊写入病历，甚至错误归因或用于临床推理。研究提示，临床 AI 的评测不能只看答案质量，还必须测试模型抵抗背景噪声和无关信息的能力。

TestPrism指出，代码智能体生成测试的真实质量，不能只看它是否通过单一参考实现。研究通过多种有效与无效实现重新定义测试评估，并提出TestHelix改进测试生成流程。

新基准测试不再把规则提前写进提示词，而是让 LLM agent 通过反复交互、试错和反馈掌握陌生游戏。研究显示，完整保留经验、合理设计 agent harness，可能比单纯总结策略更有助于提升表现。

一项基于 HotpotQA 和 MuSiQue 的研究，比较了问题覆盖、搜索轨迹与重复作答三种评测预算分配方式。结果显示，在相近模型 token 预算下，扩大问题覆盖通常比增加轨迹或重复读取更有效。

一项研究提出“智能体可塑性”指标，用于衡量 AI agent 将交互经验转化为未来泛化能力的效率。结果显示，最终表现、学习速度与跨分布迁移能力并不总是同步。

Recurrent Looped Transformer（RLT）将Transformer层拆分为并行因果编码器与递归解码器，通过逐token反馈累积状态。在多项算法任务中，它展现出比标准Transformer更强的长度外推能力。

SWE-Game 将游戏开发拆解为 247 项任务，系统评估代码智能体从需求理解、实现到修复和跨引擎迁移的能力。结果显示，智能体已经能够完成部分可玩的游戏，但在需求覆盖和玩法逻辑上仍存在明显短板。

UltraText Bench针对图像生成模型中的密集视觉文本，提供覆盖中英文、多区域和多难度的评测框架。结果显示，文字清晰度、内容准确性与空间布局并不总是同步提升。

思维链并不总是模型真实计算过程的可靠窗口。纽约大学团队提出CIA指标，用可解释性工具对照模型的文字推理与内部策略，并尝试通过后训练提升二者的一致性。

科学智能体能力提升后，固定基准容易被“刷穿”。AutoSciBench尝试自动生成并迭代科学任务，让评测集根据模型暴露出的捷径和失败模式持续更新。

一项研究发现，测试时训练若持续吸收模型自身生成的文本，可能在长上下文中形成自我强化的退化循环。研究进一步表明，在提交参数更新前用独立真实文本验证，是降低风险的有效办法。

UndoBench 将工具调用智能体的任务能力与故障恢复能力拆开评估。结果显示，智能体往往能完成任务，却未必能在工具调用异常后避免重复操作和外部副作用。