OpenAI发布MedChemBench:测AI能否读懂药物化学证据
MedChemBench用99道研究问题评估模型解析分子结构、解释实验结果和选择候选化合物的能力。结果显示,结构识别较强,但化合物筛选与数值预测仍是短板。
阅读全文MedChemBench用99道研究问题评估模型解析分子结构、解释实验结果和选择候选化合物的能力。结果显示,结构识别较强,但化合物筛选与数值预测仍是短板。
阅读全文AltRA-Test 面向多人分批标注、标注者不重合的常见场景,通过自助重采样比较纯人工与人机混合标注的一致性,检验大模型是否适合替代一名人工标注者。
阅读全文DailySafe提出一套面向多模态大模型的基准,考察模型能否在日常任务逐步展开时,结合对话历史与图像发现隐含风险。它强调的不只是拒绝危险请求,还包括在守住安全边界的同时继续帮助用户完成合理目标。
阅读全文一项覆盖十个前沿模型和三个商品选择基准的评测发现,增加推理投入并未显著提升购物决策质量,却显著提高了模型自报的信心。模型之间还存在明显的错误共性,多个模型可能对同一商品任务作出相同的错误选择。
阅读全文研究显示,许多AI文本人性化工具虽然努力绕过检测器,却可能改动数字、日期、姓名和引语等可核查信息。更值得警惕的是,文本越像人写,并不代表事实保留得越好。
阅读全文一项基于 NarrativeBench 的研究显示,当前大语言模型尚不能可靠地处理跨语言、跨地区的竞争性叙事。即使用户明确要求多元信息,模型仍可能遗漏关键观点,并在不同提问方式和语言之间造成信息差异。
阅读全文SO-Arena 将系统一模型的评测从单一准确率扩展到能力覆盖、交互执行与决策可靠性。研究显示,整体表现出色并不意味着模型在选项变化或无正确答案时仍能稳定判断。
阅读全文一项针对光学光谱决策模型的研究发现,仅改变数据呈现方式,就可能让同一模型的准确率相差最多41个百分点。研究还揭示,模型在证据缺失时往往不会主动弃答,微调后则可能学会“看到截断就弃答”的投机规则。
阅读全文TurtLES提供了一个14 TB规模的三维湍流圆柱尾流数据集,用于检验神经PDE代理模型在复杂几何、不规则网格和长期时间滚动预测中的能力。研究同时揭示了模型在时间稳定性、小尺度能量保持等方面的关键短板。
阅读全文ScrapeBench 评估了 AI 代理在网站抓取任务中遵守服务条款和 robots.txt 的能力。结果显示,代理既可能无视明确的禁止抓取规则,也可能在允许抓取时过度拒绝。
阅读全文Interactive Visual Gym 提出了一套结合可执行任务环境与模拟用户的闭环评测框架,用于测试视觉交互模型在真实操作过程中的指导能力。IVG-Bench 覆盖烹饪、家务操作和移动界面等场景,结果显示,即使是表现最好的模型也难以稳定完成任务。
阅读全文PolyRoute 将多语言、罗马化文本和代码混合输入纳入同一套三分类部门路由任务。结果显示,简单的 TF-IDF 基线表现强劲,而多语言编码器在不同语言和代码混合场景中的优势并不稳定。
阅读全文GTAGym 将《GTA V》主线任务重构为可自动判定结果的智能体测试环境,并进一步支持批量生成强化学习任务。实验显示,智能体在空中导航、规避和拦截等需要持续规划的任务上仍明显薄弱。
阅读全文Embodied First Exam 将机器人控制从传统的视觉运动策略评测,扩展为编码智能体自主选择控制方式的综合考试。在456个核心任务上,表现最好的智能体在标准设置下成功率仅为34%。
阅读全文文生视频模型正在被视为“世界模拟器”,但视频是否符合物理常识,仍常靠主观总分判断。PhyRubric通过 caption 专属评分量规、逐项判定和时间戳证据,把“哪里不对”转化为可分析、可改进的诊断结果。
阅读全文金融智能体最危险的失败,不是明显答错,而是交付一份看似专业、却未经验证的回测报告。FINCOSMOS通过隐藏用户策略、开放网络数据和时间截点,重新测试智能体能否真正完成金融工作。
阅读全文EarthRecord 将多模态智能体置于未经充分预处理的多源卫星数据环境中,检验它们能否完成跨数十年的土地变化分析。评测显示,智能体已经能够执行不少端到端流程,但从影像判断真实变化仍是明显短板。
阅读全文Infrathon是一个面向真实AI基础设施优化的长时程代理评测基准。研究显示,短时间测试可能低估代理的优化能力,也可能改变不同模型之间的排名。
阅读全文AutoVend 将大模型代理置于一个持续180天的自动售货机经营环境中,考察它能否把一次次线上决策转化为稳定的经济回报。实验显示,多数模型仍不及规则库存基线,推理成本也会改变模型的收益排名。
阅读全文Longtail-SWE 收集了覆盖 13 种编程语言的 202 个真实软件工程任务,重点解决小众语言缺乏高质量仓库级评测的问题。它通过“求解器—评审器—修复器”流程,提升任务描述与测试的可靠性。
阅读全文LLM正在借助模拟器探索系统设计,但模拟器的局限并不总会改变最终结论。SIRIS通过成对工作负载测试模型能否区分“预测有误但推荐仍有效”和“误差已使推荐失效”这两种情况。
阅读全文