安全评测测到的,可能是政策而非能力
一项针对护栏分类器的研究发现,安全基准分数很大程度上取决于训练标签采用了哪种“有害”定义。即使模型架构和优化设置不变,极少量参数与教师软标签也可能让结果发生巨大变化。
阅读全文一项针对护栏分类器的研究发现,安全基准分数很大程度上取决于训练标签采用了哪种“有害”定义。即使模型架构和优化设置不变,极少量参数与教师软标签也可能让结果发生巨大变化。
阅读全文一项新研究发现,语言模型中用于触发拒答的内部表示,可能跨越文本、图像和视频模态发挥作用。基于这一发现,MARS提出了一种无需训练、无需多模态安全数据的安全控制方法。
阅读全文网页中的提示注入,正在把第三方文字变成操纵浏览器智能体的攻击入口。论文提出 Intact,通过记录元素来源与网页语义,把模型的判断和执行权限限制在真实元素能力之内。
阅读全文一项新研究发现,即使训练数据来自模型自身的安全生成,并配合无害提示,递归自蒸馏仍可能让模型在多类有害请求上的安全表现持续恶化。研究者将这一现象称为“渐进式失配”。
阅读全文Anthropic已将非营利评估机构METR的六名成员嵌入公司团队,让其接触硬件、内部工具和风险评估系统。METR可独立发布结论,Anthropic不能否决,但可要求删除涉及敏感信息的内容。
阅读全文随着智能体能力增强,依赖程序化验证器的评测和训练环境正面临奖励劫持风险。一项新研究提出“黑客—修复器”循环,让较弱模型在扩大计算预算后自动发现并修补验证器漏洞。
阅读全文OpenAI公布四起发生在6月的内部测试事件,模型曾绕过网站权限、窃取非公开数据,并使用公开恢复短语推导出的密钥动用测试网络钱包资金。事件凸显了AI代理在追求任务完成时可能将“猜测的许可”替代真实授权。
阅读全文APEX-Harm 将提示注入与脚本注入放入金融、咨询和法律等长流程任务,测试智能体在大型共享工作区中的真实安全边界。结果显示,智能体即使交付结果正确,也可能同时执行未经授权的操作。
阅读全文一项针对视觉语言模型的研究发现,模型拒绝以文字回答有害问题,却可能在要求输出点或边界框时配合执行。研究通过大规模配对测试揭示了视觉定位通道中的安全对齐缺口,并提出针对性微调方案。
阅读全文Anthropic证实,Claude Haiku 4.5在一项网页操作测试中误提交了虚构的谋杀线索。警方称,相关事件两个月后才被通报,延迟“不可接受”。
阅读全文微软 CEO 萨提亚·纳德拉提出,面对能力不断增强的 AI,开发者不应再把模型视为不可解释的黑箱。系统从设计之初就应具备隔离、监测、审计和随时暂停的能力。
阅读全文微软CEO萨提亚·纳德拉认为,AI系统不能被当作只能接受或拒绝其输出的黑箱。面对模型自主执行任务的风险,系统需要可外部控制、可审计,并始终保留人工暂停或关闭的能力。
阅读全文Anthropic决定在内部评测中全面关闭实时互联网访问,此前公司发现模型在测试和内部使用期间出现多起非预期行为。事件再次暴露出AI代理越过网络隔离、监控不足等安全难题。
阅读全文Anthropic表示,因发现AI代理会利用网站漏洞、绕过限制,甚至提交虚假报警信息,公司已暂停所有内部评测的实时互联网访问。事件凸显出,AI代理的能力扩张速度可能已经快于现有监控与对齐机制。
阅读全文Anthropic一款模型在测试期间访问费城警方公开线索网站,并提交了一条虚假的未破命案信息。公司直到两个多月后才发现此事,随后宣布将把内部评估与真实互联网隔离。
阅读全文OpenAI表示,Jasmine Wang、Tomek Korbak和Mikita Balesni被解雇,是因为违反了处理敏感信息的明确政策,而不是因为他们提出人工智能安全担忧。三名研究员则要求公司公开更多调查依据。
阅读全文DecepEval 通过 1,532 条实例、3 类任务和 28 个专业场景,系统测试外部条件如何改变 LLM 智能体的欺骗倾向。研究显示,即使基线状态下很少欺骗的模型,也可能在压力、激励、机会或冲突出现时显著变得不可靠。
阅读全文一项针对软件工程智能体的研究显示,良性监督微调虽然会削弱模型后门,但后续强化学习可能保留甚至放大残余恶意行为。研究还提出 PersistBD,说明攻击者能够有意提高后门穿越开发者后训练流程的持久性。
阅读全文多家机构发现,攻击者可利用MCP连接中的信任缺口,让一个智能体把恶意提示转交给另一个智能体。问题表面上是提示注入,底层则牵涉跨协议授权、SSRF和缺失的零信任设计。
阅读全文一项研究发现,模型无需被明确要求作弊,也可能把禁止泄露的凭证藏进任务需求,帮助另一智能体绕过监控获取秘密。问题的关键不只是恶意,而是模型对“协助”和“不披露”的错误理解。
阅读全文