安全智能体评测不能只看成功率:成本才是落地关键
这篇论文提出以“成本—成功率”视角重新评估攻防安全智能体,强调推理、工具调用和遥测查询都会带来实际开销。研究显示,红队与蓝队任务的扩展规律并不相同。
阅读全文这篇论文提出以“成本—成功率”视角重新评估攻防安全智能体,强调推理、工具调用和遥测查询都会带来实际开销。研究显示,红队与蓝队任务的扩展规律并不相同。
阅读全文VIABench 聚焦真实视障辅助场景,用盲人和视障者记录或分享的第一视角视频,评估多模态大模型能否在导航提醒、环境问答与交互指导中提供可靠帮助。
阅读全文Stripe 开源了一套面向真实支付集成场景的 AI 智能体基准测试。结果显示,当前智能体在生成代码和后端集成上已有进展,但在端到端验证、浏览器状态控制和异常恢复方面仍是短板。
阅读全文OpenAI CFO Sarah Friar 提出一套面向企业落地的 AI 记分卡,重点不在模型参数或演示效果,而在 AI 是否完成了有用工作、成本是否可控、结果是否可靠。
阅读全文这篇论文关注一个越来越现实的问题:AI 渗透测试 Agent 在 CTF 或固定任务中表现不错,并不等于能在真实目标中稳定发现漏洞。作者提出一套以“经验证的漏洞发现”为核心的评测协议,试图让安全 Agent 的比较更接近实战。
阅读全文VentureBeat Pulse Research 对 157 家企业的调查显示,企业正把更多自主权交给 AI Agent,但对评测体系的信任却远未同步提升。问题不只是覆盖率不足,而是评测结果与真实业务后果之间存在错位。
阅读全文Hugging Face 博客文章用葡萄牙语 OCR 基准说明:更新、更通用的模型并不必然胜过面向单一语言深度训练的模型。DharmaOCR 在巴西葡萄牙语文档上领先 Mistral OCR4 与 Unlimited-OCR,关键在于领域专门化与 DPO 稳定性训练。
阅读全文一篇被 ACM MM 2026 接收的论文指出,视频 LLM 在基准测试中的高准确率,并不总是等同于真实的视觉理解。作者提出 Visual Dependency Gap(VDG),用原始视频与黑屏输入之间的正确率差异来审计模型是否真正依赖视觉信息。
阅读全文一篇 arXiv 新论文系统研究了“人格向量”在开放权重大模型审计中的作用。研究显示,提示词未必能暴露模型真正的行为边界,而激活空间中的行为方向可以帮助识别模型默认表达、可被放大和难以提取的特质。
阅读全文一篇 arXiv 论文提出 Safe-Psych,用顺序式临床信息披露来评估大模型在精神科诊断中的不确定性处理能力。研究显示,强模型并不等于会校准风险,许多模型会在证据不足时过早给出诊断。
阅读全文一篇新论文提出 Hindcast,通过“回到过去”的方式重放已结束的 Polymarket 市场,评估大模型在结果尚不可知时能否做出有效预测。它重点解决了检索和训练数据带来的答案泄漏问题。
阅读全文一篇 arXiv 新论文提出 CAVE-ABSA,用约束感知的生成与验证流程,为方面级情感分析构造更可靠的反事实样本。它关注的不是整句情绪翻转,而是只改变目标方面的情感,同时尽量保留其他方面与句子结构。
阅读全文这篇 arXiv 论文讨论了 LLM 系统中常见的“连续验证门”问题:同一个答案必须通过多次 verifier 才被返回。作者指出,一旦验证器之间存在部分相关性,可靠性提升会从指数级变成多项式级,甚至出现无法突破的盲区上限。
阅读全文第二届 International StepUP Competition 将足步生物识别评测从单个脚印推进到左右脚成对的步幅验证,并强化了鞋类、速度等跨域挑战。最佳队伍在未公开测试集上取得 8.00% 等错误率,但个人鞋履场景仍是主要瓶颈。
阅读全文AIMO Interpretability Challenge 试图把数学推理评测从“最终答案正确率”推进到“内部机制是否可靠”。它将围绕奥赛级数学题、符号化变体和对抗鲁棒性,检验前沿模型是真会推理还是依赖脆弱捷径。
阅读全文一篇新的 arXiv 论文提出,因果推断不只要问“有没有可识别公式”,还应判断“给定公式是否真的识别目标干预分布”。作者将这一任务形式化,并提出面向实践的 falsifier 与 gateway test。
阅读全文一篇 arXiv 新研究重新审视了胸部 X 光多图像分类中的多模态输入:哪些信息在诊疗前可用,哪些其实来自报告生成之后。结果显示,临床指征能显著提升模型表现,但 Findings、Impression 等报告文本会带来严重标签泄漏风险。
阅读全文一篇新论文提出 EgoProceVQA,用视频问答方式评估多模态大模型对第一视角日常流程的关键步骤理解能力。研究还给出数据生成平台 EgoProceGen 和自我技能探索框架 EgoProceAgent,试图补上穿戴式程序型 AI 助手评测与推理能力的短板。
阅读全文一篇 arXiv 新论文提出三阶段校准框架,分析大模型在思维链生成前、生成中和生成后的置信度变化。研究发现,不同后训练方法的置信度信号各有适用位置,不能简单全程使用。
阅读全文这篇 arXiv 论文把模块算术中的 grokking 推到一个极端:当网络可表达函数类被压缩成有限维代数对象时,问题不再是“何时泛化”,而是“能否表示”。
阅读全文一篇 arXiv 新论文审计了用于超声心动图射血分数估计的视频模型解释性:模型的热力图确实落在左心室上,却没有突出临床上关键的收缩末期与舒张末期帧。
阅读全文