Longtail-SWE:让小众编程语言进入代码智能体评测
Longtail-SWE 收集了覆盖 13 种编程语言的 202 个真实软件工程任务,重点解决小众语言缺乏高质量仓库级评测的问题。它通过“求解器—评审器—修复器”流程,提升任务描述与测试的可靠性。
阅读全文Longtail-SWE 收集了覆盖 13 种编程语言的 202 个真实软件工程任务,重点解决小众语言缺乏高质量仓库级评测的问题。它通过“求解器—评审器—修复器”流程,提升任务描述与测试的可靠性。
阅读全文一项新研究指出,蛋白质支架设计即使通过静态结构检查,也未必能在分子运动中保持功能相关构象。研究提出BILBY-PRO与BILBY-MD,将基准覆盖范围和分子动力学稳定性纳入统一评估。
阅读全文金融文档识别的关键,不是系统读对了多少字符,而是输出的金额、日期、标识符和业务事实是否足以支撑决策。该研究提出以证据、风险约束和人工复核为核心的评估方法。
阅读全文LongBanana 面向一次需要理解数十张参考图像的复杂生成任务,评估模型能否检索分散视觉证据、排除干扰并正确绑定实体关系。该基准还配套了面向长流程图像生成的智能体框架 LongBanana-Gen。
阅读全文Frontier3DBench将物体、场景和交互式开放世界纳入同一套3D编码智能体评测框架。结果显示,智能体更擅长生成“看起来合理”的内容,却难以精准复现参考对象,并完成需要协同行动和持续状态的复杂活动。
阅读全文OpenFrontiers将12151个开放研究问题与一个可形式化评测的数学问题基准连接起来,试图区分大模型的独立推理、知识回忆与网络检索能力。结果显示,在闭卷条件下,AI对已解决研究问题的“重发现”仍十分少见。
阅读全文VisSearch-Bench 将视觉理解、网页检索和多步推理放进同一套评测中。结果显示,即使配备搜索工具,最佳多模态模型也只完整解决了 26.47% 的任务。
阅读全文TB-MathModel 将真实数学建模竞赛题放入容器化终端,要求智能体读取材料、编程求解并提交结构化结果。它不只看答案是否接近参考值,还检查结果是否满足可判定的可行性约束。
阅读全文一项针对AI代理重启监控器的研究指出,90%的分类准确率并不意味着重启策略有效。真正关键的是,触发报警后重新尝试的成功概率,以及现有轨迹是否足以支持继续或重启的选择。
阅读全文一项基于近7000条论文修订轨迹的研究发现,作者做出的实质性改进并不总能转化为AI审稿分数。更值得警惕的是,简短的负面评价可能改变模型对修订版本的判断。
阅读全文DNA 基础模型不应只会预测序列,还要能判断修改带来的功能变化,并据此找到更好的设计方案。BEND 2.0 通过八项任务检验了这些能力,显示模型已具备一定通用性,但距离可靠设计仍有明显差距。
阅读全文RoboColosseum 将分散在不同地点的机器人接入统一评测框架,比较通用机器人策略在多种本体、任务和环境中的表现。研究显示,零样本排名并不能可靠预测微调后的能力,而“完成率”也不足以反映机器人的真实进展。
阅读全文CrossSWE 将软件工程评测从单仓库任务扩展到多仓库联合开发。结果显示,即使是表现最好的模型,在需要同步修改多个相互依赖的仓库时仍会频繁失误。
阅读全文一项来自斯坦福大学团队的研究,将AI智能体放进类似真实团队的协作场景中评估。结果显示,单体能力强并不意味着善于配合,顶尖模型在判断、谈判和接手他人工作时仍存在明显短板。
阅读全文一项研究提出认证锚点式适应方法(CABA),在模型更新前保留一批历史样本,用它们检查新旧策略的行为差异,再决定更新幅度。实验显示,该方法能显著降低遗忘,但也会牺牲一部分新任务准确率。
阅读全文一项针对公开模型仓库的审计发现,少数低比特 GGUF 模型虽然文件完整、甚至能够被精确复现,却几乎无法完成代码任务。问题可能不在文件损坏,而在未校准的量化流程与模型规模之间的组合。
阅读全文Investor’s Last Exam试图在严格冻结决策时点信息的条件下,评估AI能否完成从证据检索到投资判断的完整链条。结果显示,模型擅长整理已发生的事实,却仍难把研究转化为可靠预测。
阅读全文一项研究提出“指令容量”指标,用可计算、彼此独立的词语替换规则,测量语言模型在负载增加时如何退化。对 GPT-4o mini 的测试显示,模型能稳定执行的规则数量会随替换密度明显下降。
阅读全文Omni-InteractScope 评估了多模态模型在连续视听流中的主动响应与工具调用能力。结果显示,模型不仅容易错过最佳干预时机,也难以在没有用户提问时主动提醒,并完成跨多个阶段的持续指导。
阅读全文