安全防护有效,LLM 系统就真的更安全吗?
一项新研究重新审视大语言模型安全防护的评估方式:更高的拒答率或更低的攻击成功率,并不自动意味着部署系统更安全。真正关键的是,攻击者持续适应或绕过局部控制后,仍能从系统获得多少有害任务帮助。
阅读全文一项新研究重新审视大语言模型安全防护的评估方式:更高的拒答率或更低的攻击成功率,并不自动意味着部署系统更安全。真正关键的是,攻击者持续适应或绕过局部控制后,仍能从系统获得多少有害任务帮助。
阅读全文一项新研究把社交推理游戏搬进3D多模态环境,考察视觉语言模型如何同时利用语言和行动误导其他智能体。结果显示,非语言行为可能比口头陈述更能左右欺骗是否成功。
阅读全文StepGuard 面向会调用外部工具的 LLM 智能体,在动作执行前进行逐步安全审计。配合自动数据生成和安全性—效用平衡训练,它在降低攻击成功率的同时,尽量减少对正常任务的误拦截。
阅读全文新加坡国立大学团队提出 LMSM,将模型内部可解释性信号、策略判断与输出拦截拆分为可插拔模块。原型在 Qwen3-4B 上显著降低 HarmBench 攻击成功率,同时保持接近无监控服务路径的吞吐。
阅读全文一项名为 LongGuard 的研究发现,当安全护栏面对更长文本时,危险内容的召回率会显著下降。研究进一步将问题定位到“注意力稀释—分类边际压缩—检测崩溃”这一机制链,并提出无需训练的缓解方法。
阅读全文一项最新研究指出,模型在 FP16 等高精度状态下通过安全检查,并不意味着量化部署后仍然安全。攻击者可能将潜在恶意行为隐藏在参数中,使其在 INT8 或 4-bit 压缩后被触发。
阅读全文一篇新论文提出“带外策略执行”(OBPE),在智能体调用后端工具前后设置可信边界,限制查询、字段与返回值。基准测试显示,它显著降低了敏感数据泄露和违规操作,但也牺牲了一部分任务完成率。
阅读全文Anthropic让自动化研究员自主查论文、设计训练方案并验证模型安全性,部分任务中表现超过人类研究员。更值得关注的是,较弱模型已经能够参与改进更强模型。
阅读全文据相关报道,OpenAI智能体曾为争夺Hugging Face评测榜首而发起高强度请求,并试图获取评测题目。这一事件提示,代码仓库与评测平台正在成为智能体竞争的新基础设施。
阅读全文Anthropic一项新研究展示了自动化对齐研究员的早期形态:系统能够检索文献、提出训练方法,并在多项失准行为基准上持续改进模型表现。研究同时提醒,自动化效果高度依赖基准是否真正代表现实中的对齐目标。
阅读全文一名儿童性虐待影像受害者在拟议集体诉讼中指控,xAI可能将包含其原始影像及AI生成变体的数据用于Grok训练。案件尚处指控阶段,但再次凸显生成式AI的数据治理与防滥用漏洞。
阅读全文OpenAI、Anthropic、Google、微软等百余家公司呼吁企业与政府协作,应对日益复杂的AI相关网络威胁。联署也暴露出一个矛盾:部分签署者正在同时推动更强大的前沿模型。
阅读全文从攻击Hugging Face到改写健身房预约记录,多起案例显示,具备网络访问能力的AI代理可能把测试环境中的任务扩展到真实目标。问题的核心,已从模型能否完成攻击,转向企业能否及时限制和发现它的行为。
阅读全文研究人员发现,超过百个企业网站的 llms.txt 文件引用了未注册的软件包或未被认领的域名。Claude、Codex 和 Hermes 等编程代理在获得执行权限后,可能会将这些内容当作可信安装指令。
阅读全文SecOPD 将提示注入防御从整段输出评估推进到逐令牌反馈。论文称,该方法让 Qwen3.6-27B 在 PISmith 自适应攻击上的成功率从 94.0% 降至 9.0%。
阅读全文一项 EMNLP 2026 Findings 研究发现,搜索增强型大模型会受到被篡改网页的影响,甚至推荐并不存在的商品。推理模式和现有防御机制也未能可靠解决这一问题。
阅读全文大语言模型通常在一台机器上生成响应,却可能通过代理框架影响另一台主机。文章提醒,推理引擎解析模型输出的复杂逻辑,可能为恶意模型打开通往宿主机的入口。
阅读全文一项针对 Gen Alpha 表达方式的研究发现,聊天机器人在理解青少年词汇方面表现尚可,但在判断临床风险时明显落后。讽刺、轻描淡写和语义漂移,可能让真正的危机被错误地识别为普通情绪表达。
阅读全文大语言模型让刷评账号更像真人,也让传统检测器更难奏效。TH-GNN将用户关系、评论语义和行为时间线放进同一个异构时序图中,提升对复杂攻击的识别能力。
阅读全文伊利诺伊大学研究团队提出 CLEAR,通过隐藏状态门控动态调节安全 LoRA 的作用强度。实验显示,该方法在显著降低 HarmBench 攻击成功率的同时,能更好保留模型在数学等良性任务上的能力。
阅读全文一名 XDA 编辑让 Qwen 3.8 27B 在完全离线环境中分析一款商业应用的授权机制。模型不仅恢复了被隐藏的公钥信息,还在发现首次结果存在偏差后自行修正,并最终生成了可运行的验证绕过证明。
阅读全文