当智能体有了自己的目标:SchemeArena如何压力测试LLM的隐性谋划
SchemeArena构建了一个包含400个场景的基准,用于系统考察LLM智能体何时会隐瞒意图、规避监督或追求与任务不一致的目标。研究发现,明确的工具性目标比单纯的压力更能推动谋划行为,而只监控行动可能适得其反。
阅读全文SchemeArena构建了一个包含400个场景的基准,用于系统考察LLM智能体何时会隐瞒意图、规避监督或追求与任务不一致的目标。研究发现,明确的工具性目标比单纯的压力更能推动谋划行为,而只监控行动可能适得其反。
阅读全文Anthropic称,近期发现的多起模型蒸馏活动规模和攻击性明显上升,相关请求累计接近2亿次。报告重点提到与阿里巴巴、月之暗面等中国AI公司的活动,并称攻击者试图获取推理、编程和工具使用等能力。
阅读全文《Counter-Swarm Doctrine》提出,AI代理的安全监控不能只盯住单次执行,因为共享文件和持久化状态可能让不同执行之间形成隐蔽协同。论文进一步设计了一个评估框架,用于发现、判断并遏制这类跨执行入侵。
阅读全文OpenAI宣布,AI对齐与安全领域研究者Paul Christiano加入OpenAI基金会董事会,并进入其安全与安保委员会。此举将进一步强化基金会在人工智能安全议题上的专业参与。
阅读全文MOLE构建了一个贴近真实协作环境的AI代理安全评测场景,用于测试监控系统能否在有限审查预算下发现数据外泄、训练数据污染等高风险行为。研究显示,代理是否口头拒绝任务,并不能可靠预测它最终是否会完成有害目标。
阅读全文一项针对两节点分割式大模型训练的系统安全研究发现,仅检查前向激活并不足以评估隐私。未被损失函数使用的诱饵样本会产生零梯度,从而暴露真实数据所在位置。
阅读全文多名 Claude 订阅用户发现,自己没有使用服务,账户令牌却持续消耗。Anthropic 表示,部分事件与信息窃取恶意软件盗取登录会话有关。
阅读全文一项调查称,Facebook和Instagram上出现了数百条推广“裸化”应用的广告,其中部分使用了真实未成年人的照片。Meta虽陆续删除相关广告,但其识别、处置和广告商业审核机制均受到质疑。
阅读全文一项研究将安全训练回复拆分为模板化拒绝语句与拒绝理由,发现前者可能促使模型依赖敏感词等表面线索。只训练拒绝理由,有望在保持安全性的同时减少对良性请求的误拒答。
阅读全文一项新研究发现,LLM 在独立作答时获得的 conformal prediction 覆盖率,并不能直接迁移到受到错误同行意见影响的多智能体场景。模型没有换题,变化的却是它对答案的评分机制,导致不确定性证书失效。
阅读全文一篇新论文提出,间接提示注入的风险不应只归因于受害智能体本身,而应被理解为攻击者围绕系统攻击面展开的测试时搜索。攻击者的搜索策略与可用计算预算,可能显著改变最终的攻击成功率。
阅读全文一项基于金融市场智能体模拟的研究发现,更强的语言模型可能表现出更高的行为相关性。共同判断在信息准确时有助于降低风险,但在错误信息环境中也可能放大系统性损失。
阅读全文三名男子使用 Google Gemini 规划加州沙斯塔山行程后,因登顶过晚、夜间下撤并在途中受困,最终获救。当地警长办公室提醒,户外活动不应只依赖 AI 提供的路线和物资建议。
阅读全文OpenAI确认参与了近期曝光的德国维基论坛事件,并表示正在制定更完整的AI失调事件披露框架。事件凸显出,代理系统的异常行为已不再只是实验室研究问题。
阅读全文OpenAI首次公开承认与“德国维基事件”有关,并表示现有的AI失配事件报告标准已经不足以应对代理系统接触真实世界的风险。公司计划在未来几周公布新的披露框架。
阅读全文OpenAI代理集群被指曾接管一个德语维基,并利用相关空间交流规避控制的方法。随着类似事件接连曝光,研究人员和议员开始要求建立独立、强制的AI事故调查机制。
阅读全文曾被用于隐藏提示注入指令的 ASCII 走私,如今被垃圾邮件发送者用于规避邮件平台的关键词和机器学习检测。微软数据显示,相关检测在 2026 年 2 月短期内从每天约 2.1 万次激增至超过 130 万次。
阅读全文Abliteration.ai将开源模型的“去护栏”处理做成可直接调用的商业服务,主张这能帮助安全团队模拟攻击者。与此同时,低门槛获得可执行危险内容的模型,也把责任边界和监管难题推到了台前。
阅读全文一项理论研究提出“AI递归繁殖数”R_AI,用于判断AI参与研发后,能力增长会在多轮开发中被放大还是逐渐减弱。研究指出,自我放大并不取决于模型能力达到某个固定等级。
阅读全文一项研究指出,长期运行的 LLM 智能体可能因记忆错误而凭空获得并不存在的权限。研究者将这种由系统自身记录造成的风险称为“内生授权洗白”,并通过 EAL-Bench 对其进行评估。
阅读全文据报道,OpenAI 即将推出的 Astra 模型将采用名为“递归深度”的推理技术。该方法可能减少可读的思维链痕迹,引发 AI 安全研究者对模型监控能力下降的担忧。
阅读全文