Sauron:让智能体评测先找证据,再下结论
长链路智能体的成败证据往往分散在环境状态与执行轨迹中,传统评测器容易遗漏信息,甚至采信智能体自报的结果。Sauron提出“证据优先”的验证方式,在给出判断前独立核验每项主张。
阅读全文Claude API 中转站避坑指南、检测原理与大模型 API 实测经验
共 2320 篇文章
RSS 订阅长链路智能体的成败证据往往分散在环境状态与执行轨迹中,传统评测器容易遗漏信息,甚至采信智能体自报的结果。Sauron提出“证据优先”的验证方式,在给出判断前独立核验每项主张。
阅读全文一项针对护栏分类器的研究发现,安全基准分数很大程度上取决于训练标签采用了哪种“有害”定义。即使模型架构和优化设置不变,极少量参数与教师软标签也可能让结果发生巨大变化。
阅读全文StopLoss 用一个经过结果监督训练的小型外部监控器,判断代码智能体是否正在走向失败,并在合适时机提前终止任务。研究显示,它能以远低于通用大模型裁判的成本减少无效运行。
阅读全文CoPE 为语言智能体强化学习加入多步动作预测,让模型不只依赖轨迹末端的奖励,也能从成功轨迹中的中间动作获得训练信号。在五个智能体基准测试中,该方法展现出优于 GRPO 等基线的整体表现,并将样本效率最高提升至约 2 倍。
阅读全文HandsOn 提供了一个面向跨本体灵巧操作的可组合仿真平台与基准,覆盖多种机械臂、灵巧手和近 200 类物体。实验显示,即使是当前多任务策略,在复杂接触、动作协调和任务迁移上仍存在明显瓶颈。
阅读全文JEPA正在从表征学习工具走向支持预测、规划与控制的潜在世界模型,但其内部状态缺少直观的人类解释接口。一篇最新观点文章提出“Ground–Structure–Verify–Act”四阶段框架,推动可解释性从读取信息转向理解潜在世界的运行方式。
阅读全文HERA提出让智能体框架与执行环境共同进化,通过自动构造可行与不可行任务,训练模型判断何时行动、何时拒答。实验显示,该方法在保持任务完成率的同时,显著提升了智能体的安全性与泛化能力。
阅读全文一项新研究通过 EC2-Bench 评估长流程 LLM 智能体中的边云协作,比较任务效果、资源成本与隐私暴露。结果显示,随着边缘模型增强,协作模式正从“云端执行”转向“边缘决策、云端建议”。
阅读全文一项研究把科学想法生成从“单个答案打分”推进到“整组方案联合优化”。研究显示,经过集合级强化学习训练的8B模型,在兼顾质量与差异性的指标上表现突出。
阅读全文CyberArena将网络安全评测从静态靶场推进到实时、对称的攻防对抗。12个前沿模型在40个挑战、466场比赛中同时扮演攻击者与防守者,模型之间的差异由此被进一步拉开。
阅读全文OR-License将来自真实付费项目的业务材料、数据与交付要求引入评测,检验LLM代理能否独立完成从需求理解到优化方案交付的完整流程。结果显示,模型在可行性与端到端可靠性上仍未达到专家水平。
阅读全文AdaExploreBench 关注一个常被忽略的问题:智能体能否主动获取证据、推断隐藏规则,并在规则悄然变化后及时重新学习。实验显示,当前大模型更擅长利用现成信息,而不是主动寻找关键信息。
阅读全文BlenderWorld 提出了一套面向真实场景的 3D 创作评测基准,覆盖建筑、产品、自然环境和科学可视化等任务。评测显示,前沿模型已经能够理解大致需求,但在空间关系、结构复原和可编辑项目交付上仍存在明显短板。
阅读全文一项新研究发现,语言模型中用于触发拒答的内部表示,可能跨越文本、图像和视频模态发挥作用。基于这一发现,MARS提出了一种无需训练、无需多模态安全数据的安全控制方法。
阅读全文一项研究提出集体经验学习框架,让机器人车队共享执行数据,并从成功轨迹中寻找与失败场景相关的动作。实验显示,这种方式无需额外专家纠正,也能持续提升多机器人系统的任务成功率。
阅读全文OpenVLHarness 为多模态模型提供统一的工具调用层和持久化多模态记忆,使模型能够结合视觉感知、网页搜索与 Python 计算完成复杂推理。研究显示,在 22 个基准测试中,工具增强方案相较无工具基线取得了显著提升。
阅读全文微软研究院等团队提出Self-HPO,通过让编码智能体分析自身失败、提出新的Harness方案,再用强化学习更新策略模型,实现编码智能体的递归改进。在三个代码基准上,Qwen3.5-35B-A3B的平均解决率从57.8%提升至64.8%。
阅读全文AffordanceWAM提出一种面向可供性的联合世界—动作模型,用人类视频学习物体、交互区域与场景变化,再结合有限的机器人轨迹生成控制动作。它不要求为人类视频补充动作标签,也不需要进行运动重定向。
阅读全文长时域视频世界模型容易因误差累积而逐渐漂移。Frechet Forcing不依赖教师模型或长视频,而是用自生成轨迹与真实数据统计约束模型的场景一致性和视觉真实感。
阅读全文清华大学团队提出 Stateful Harness,将世界状态演化与视频渲染拆开处理,让交互式世界模型能够依据不可见状态执行持久规则。其在 WorldState-Bench 上将同一视频模型的双案例正确率提升至 92%。
阅读全文斯坦福团队提出Halcyon,完全从零开始在100M图文对上训练早期融合多模态自回归模型。实验显示,互联网规模的纯文本语言预训练并非获得强大文生图能力的必要条件。
阅读全文