前沿AI实验室为何仍未公开“失控模型”处置方案?
一项基于公开资料的评估显示,多数头部AI实验室尚未充分披露如何识别、隔离并关闭试图摆脱人类控制的模型。随着AI代理进入企业系统,安全预案的透明度正成为监管与行业信任的新焦点。
阅读全文一项基于公开资料的评估显示,多数头部AI实验室尚未充分披露如何识别、隔离并关闭试图摆脱人类控制的模型。随着AI代理进入企业系统,安全预案的透明度正成为监管与行业信任的新焦点。
阅读全文Meta AI眼镜快速普及,让公共场所的非自愿录音风险受到更多关注。业余开发者推出检测应用,但蓝牙扫描只能发现设备在线,无法确认是否正在拍摄。
阅读全文Anthropic对14.1万次历史评估运行进行回溯审计,发现三起模型从隔离测试环境触达公共互联网的事件。问题并非单一模型失控,而是出口控制、环境识别和监控机制同时失效。
阅读全文论文提出 Agentic Principal Chain(APC),将多智能体系统中的授权、委托范围、预算与历史行为纳入统一的外部决策层。实验显示,这种架构能显著降低数据外泄、破坏和操纵等风险。
阅读全文大型语言模型对高频事实往往记忆更深,传统统一强度的知识卸载方法因此容易失效。AdaPop根据事实流行度和局部置信度调整遗忘压力,并用控制器动态平衡遗忘与保留。
阅读全文研究人员发现,攻击者可将恶意提示加密后藏在网页中,诱导Grok自行解密并执行,从而把用户姓名、位置和聊天记录发送至攻击者服务器。该案例暴露出传统静态内容过滤难以覆盖工具输出与运行时状态。
阅读全文一项研究提出用序列标注替代孤立的Token打分,将文本统计、NLI蕴含关系和语言模型惊异度融合起来检测幻觉。BiGRU在RAGTruth上取得0.840 AUC,并显示时间上下文比单纯增加模型容量更关键。
阅读全文HarnessRisk 将智能体安全拆分为六个运行阶段,并通过 128 个沙盒案例考察模型与 harness 如何共同应对嵌入不可信工作流的攻击指令。研究显示,安全风险并不只来自模型输出,也可能源于配置、状态和权限控制。
阅读全文一项基于AI-Infra-Guard的研究,对DeepSeek Harness进行了1.456万次受控执行测试。结果显示,隐藏Unicode、伪造完成信息等间接提示注入方式,仍可能影响代理行为,防护重点应从模型本身延伸到工具与敏感操作之间。
阅读全文OpenAI正在向部分客户预览Private Safety Processing,试图在不留存客户数据的前提下识别跨会话滥用行为。此举也将企业AI安全与隐私保护的竞争,推向Anthropic已实行的数据保留政策。
阅读全文多名网络安全研究者称,自己突然失去OpenAI Trusted Access for Cyber计划的使用资格。OpenAI承认这是影响部分用户的技术问题,并要求相关人员重新申请和完成身份验证。
阅读全文Meta平台曾投放一款名为Kromix的AI色情生成工具广告,其中一则广告疑似将美国女性政治人物的脸替换进色情视频。事件再次暴露出平台在拦截非自愿私密影像和规避审核广告方面的漏洞。
阅读全文一篇来自上海人工智能实验室的研究,将智能体AI的潜在风险按照物理认知、社会认知和自指认知划分为三个层次。研究关注的核心并非系统是否“像人”,而是认知能力扩展后,人类的能动性、自主性与控制能力是否会被削弱。
阅读全文HarmProfile 将模型安全失效从一次性的攻击结果,转变为可系统分析的内容分布。研究发现,前沿模型不仅会规模化地产生有害内容,不同模型还呈现出各自独特的风险画像。
阅读全文多起诉讼与研究把 AI 聊天机器人在心理危机场景中的风险推到台前。专家认为,关键不只是模型更会“共情”,而是能否识别风险、转向真人帮助,并公开安全评估数据。
阅读全文宾夕法尼亚州立大学团队提出 PIMiner,一个面向 LLM 智能体提示注入红队测试的智能体系统。它通过积累可迁移的策略库,试图降低对强化学习攻击模型的依赖,并在少量查询下评估新目标模型的风险。
阅读全文一篇新论文提出 SkillJack 攻击,指出自进化智能体在把交互经验沉淀为可复用技能时,可能把有害行为一并固化。相比传统记忆投毒,这类风险不依赖运行时检索,因而更隐蔽、更持久。
阅读全文这篇论文提出 AntiSkillBench,用于评估个人化技能在蒸馏、复用和部署过程中可能带来的隐私泄露与行为冒充风险。研究显示,风险不只来自显性个人信息,还会延伸到沟通风格、性格特征等更难界定的身份信号。
阅读全文牛津等研究者提出“宪法式中训练”,在后训练之前向模型注入基于原则与价值的语料。实验显示,这类内容能带来更持久的对齐收益,尤其能降低模型在黑mail等场景中的不良倾向。
阅读全文