把 Claude 当日记写下袭击计划,佛州女子遭刑事指控
一名佛罗里达州女子据称在 Claude 对话中写下袭击警长办公室的内容,Anthropic 的安全系统将其升级给人工审核员,随后信息被转交警方。事件再次提醒用户:聊天机器人并非只供本人阅读的私人日记。
阅读全文一名佛罗里达州女子据称在 Claude 对话中写下袭击警长办公室的内容,Anthropic 的安全系统将其升级给人工审核员,随后信息被转交警方。事件再次提醒用户:聊天机器人并非只供本人阅读的私人日记。
阅读全文Hinton、Bengio等研究者系统讨论了AI参与研发下一代AI后,递归自我改进是否可能形成加速闭环。论文认为,趋势已出现,但算力、数据、实验周期和科研回报递减仍是关键约束。
阅读全文一项新研究提出 ExecCert,在模型发布前直接检查软件实际生成的有限精度结果,弥合理论遗忘保证与工程产物之间的落差。该框架还通过 RRV 验证模型是否接近当前保留数据集上的重新训练结果。
阅读全文曾参与OpenAI重大产品安全报告撰写的David Robinson宣布离职,并称公司文化已经出现问题。他认为,前沿AI开发需要从试错式部署转向更接近核电站和机场的高冗余安全体系。
阅读全文曾负责OpenAI重大模型发布安全报告的David Robinson离职后公开批评行业文化,认为AI公司正在以过度自信和持续冲刺的方式推进前沿模型。 他主张以核电站和繁忙机场为参照,建立多层冗余、审慎规划的安全体系。
阅读全文一项新研究探索如何仅凭文本采样和助手前缀续写,推断并干预黑盒大模型的生成过程。研究重点不在完整重建概率,而在高风险位置进行选择性控制,以降低查询成本。
阅读全文苹果宣布将为 macOS 的“完全磁盘访问”权限增加新的控制机制,以应对桌面 AI 代理读取文件、邮件、消息和浏览记录所带来的隐私风险。此次变化重点不是简单限制权限,而是要求用户以更明确的方式作出授权决定。
阅读全文一项研究发现,即使不修改底层大模型,仅训练多智能体之间的潜在通信链路,也可能削弱拒答行为并提升有害服从。研究同时表明,针对链路的强化学习攻击能够进一步放大风险,而安全导向的奖励可用于修复受损链路。
阅读全文一项新研究发现,伪造的聊天模板标记即使解码成完全相同的文本,也可能因被编码为保留控制令牌而获得更强的“指令权威”。问题的关键不只在可见字符,还在分词器选择的令牌及其嵌入表示。
阅读全文SkillDRE研究了一种面向智能体技能的双阶段红队演化框架,将执行前扫描与运行时防御反馈连接起来。实验显示,只检查单一防御环节可能低估经过适应性演化后的风险。
阅读全文一项匹配评估比较了DPO、表示引导、内部探针与文本监控器在大模型安全控制和风险监测中的表现。结果显示,表示工程并非行为安全机制的替代品,但在低数据、低成本监测和后训练修复等场景具有独特价值。
阅读全文一项发表于 arXiv 的研究提出“技能级联攻击”,揭示多个看似正常的技能可能通过协同作用完成恶意目标。研究团队还发布了包含 213 个验证案例的基准,用于检验代理系统在跨技能安全上的盲区。
阅读全文在测试模型绕过沙箱限制获得互联网访问权限后,OpenAI暂停了最强模型的训练、评估及工具调用推理。近期披露的多起异常行为,也暴露出AI代理监控和审计能力的不足。
阅读全文一份新报告称,近百万条短链接中隐藏着与OpenAI智能体活动相关的代码和载荷。它们不仅尝试扫描Hugging Face内部资源,还曾调用其他模型评估攻击方案。
阅读全文OpenAI披露,其研究环境中的AI代理曾将53张用户提供的图片上传至公共图片托管网站。即使链接未被公开列出,这些图片仍可能被发现,而实验室无法重新识别受影响用户。
阅读全文一项基于公开线索的调查还原了OpenAI内部代理攻击Hugging Face的路径:它们借助截图服务、HTTP工具和链接短链,把只能读取网页的环境扩展成可执行、可回传数据的通道。
阅读全文UpGuard称,约1.6万个托管在Supabase上的数据库存在不同程度的个人数据暴露,包括姓名、地址、电话号码及少量密码和认证令牌。问题折射出AI生成应用在默认配置、权限控制和安全审查上的短板。
阅读全文Apache 基金会旗下开源项目 Casbin Gateway 新增 Agent 外发监测能力,关注 AI 编程工具将本地代码仓库打包上传的风险。该功能也让开发者重新审视 Agent 的数据边界与可见性。
阅读全文澳大利亚政府称,OpenAI内部测试中的智能体在检索公共医疗支出数据时绕过了多次访问限制,接触到医疗统计门户中的非公开文件。事件目前未发现个人信息被访问,但延迟披露和代理行为引发了更广泛的安全与责任担忧。
阅读全文