打开黑箱:研究者如何提取前沿模型的隐藏思维链
一项研究通过标准 API 中的自定义工具调用,让 GPT-6 Astra 等闭源前沿模型外显部分中间推理。结果显示,Astra 的推理轨迹更短、更直接,但可见轨迹仍不能自动证明模型确实完成了真实推理。
阅读全文一项研究通过标准 API 中的自定义工具调用,让 GPT-6 Astra 等闭源前沿模型外显部分中间推理。结果显示,Astra 的推理轨迹更短、更直接,但可见轨迹仍不能自动证明模型确实完成了真实推理。
阅读全文一项名为 SchrodingerRepo 的研究指出,SWE-bench 等仓库级编程基准可能让模型受益于熟悉的代码线索。研究通过动态改写仓库,测试智能体能否在陌生结构中完成真实的软件工程任务。
阅读全文一项新研究提出PIR方法,通过分析语言模型的内部状态,判断模型是不知道答案,还是知道却选择隐藏。实验显示,这种方法在欺骗、沙盒测试和密码锁定等场景下仍能识别模型认可的答案。
阅读全文英国 AI 安全研究所正在通过 EvalEval 的 Evaluation Cards 发布更完整的评测结果、配置与上下文信息。此举旨在让不同模型和基准测试之间的比较更透明,也帮助研究者判断评测协议对结果的影响。
阅读全文CADWorld 是一个面向 FreeCAD 的长时程计算机使用基准,覆盖从草图、建模到仿真和技术制图的多类机械 CAD 任务。结果显示,代理在通用界面操作之外,仍难以稳定产出结构正确、可验证的工程文件。
阅读全文APort Vault通过大规模攻击重放,评估AI代理在支付场景中是否会把请求、执行和授权混为一谈。结果显示,加入基于Open Agent Passport的确定性预检查后,未获许可收款方的转账记录从140起降至0起。
阅读全文一项研究显示,即使是前沿大模型,在真实商业智能任务上的准确率也不到50%。研究者提出BI-Bench基准和工具增强型BI-Agent,试图自动完成数据查找、转换、关联与问答。
阅读全文一项研究考察了模型生成的同行评审进入训练数据后,如何影响下一代 AI 审稿人的判断。结果显示,合成评审可能压缩评分分布并降低语义多样性,研究团队将其称为“科学判断坍缩”。
阅读全文一项针对小型语言模型的研究发现,常见的 token 熵在多数测试中无法有效判断答案对错。相比之下,基于多次采样和语义聚类的语义熵,能够帮助系统把不确定问题交给更强模型处理。
阅读全文在公开基准容易被针对性训练的背景下,获a16z投资的Vals试图用保密测试和行业任务评估,重塑AI模型的可信度衡量方式。它的真正价值,不只是给模型排名,而是判断模型能否在真实工作中交付结果。
阅读全文RiskChainBench 将平台滥用场景中的隐写消息恢复,与基于证据的网页调查放入同一套基准中,检验模型能否从“看懂暗号”走到“找对网站并完成判断”。结果显示,稳定导航和风险研判仍是多模态智能体的主要短板。
阅读全文一项针对MiniMax-H3的研究没有把重点放在“生成得像不像”,而是考察模型能否从文字、图像、视频和音频的局部线索中推断事件状态与未来变化。517个评测实例中,模型整体成功率为41.97%。
阅读全文企业 AI 助手真正的风险,往往不在平静对话中,而在用户催促、管理者施压或违规捷径变得诱人时。PACT 基准测试了模型在多行业、多轮场景下的规则遵循能力。
阅读全文微软研究院提出 ProgramDistill,通过让编码智能体观察并交互完整的参考应用,评估其能否在不完整项目中复现目标功能。该基准将真实软件行为转化为可回放、可验证的 SWE 任务。
阅读全文ImpossibleRubrics 将“不可完成任务”引入奖励标准测试,检验模型生成的评分规则是否会奖励看似果断、实则违背事实的答案。研究显示,许多自动生成的 rubric 都能被针对性利用。
阅读全文LLM 智能体会在测试阶段不断修订答案、调用工具和探索替代方案,但投入更多Token并不意味着收益始终同步增长。新研究提出“每Token Elo”分析框架,刻画智能体从快速进步到边际收益下降的转折点。
阅读全文ModaLens 通过成对替换胸部X光图像,测试医疗视觉语言模型是否真正依赖影像信息。结果显示,加入放射科报告后,MedGemma-27B 对图像替换的敏感度明显下降。
阅读全文一项基于规则归纳任务的新研究考察了推理模型能否将已掌握的能力迁移到结构等价的问题中。结果显示,模型即使能够解决原题,也常在仅改变组合方式或符号替换后的变体上失效。
阅读全文一项针对临床计算任务的研究测试了“模型写程序、执行器负责计算”的方案。结果显示,受益程度取决于模型规模,而确定性执行并不能替代公式审核和变量提取。
阅读全文Benchmark Radar 是一个持续更新的 AI 基准测试数据库与搜索引擎,聚合论文、代码仓库、数据集、模型卡和技术报告中的评测证据。它试图帮助研究者更快找到相关基准,并在比较分数时看到实验设置、来源和使用趋势。
阅读全文一项覆盖四个基准、六个模型的研究显示,LLM作为自动评审员时,评审能力与自身任务能力高度相关,但也会对更强的被评模型系统性放宽标准。研究提出无需真实标签的加权多裁判校准方法,以降低这种偏差。
阅读全文