AI 安全

ZCode端到端长程任务被指会打包上传项目完整.git历史，引发开发者对AI编程工具数据边界与代码隐私的关注。该事件也导致GLM-5.5版本延期。

能源基础设施原本就存在老旧、联网和防护不足等网络安全问题。生成式AI并未必然带来“失控智能体”，但正在让恶意行为者更快、更低门槛地发动攻击。

Google Gemini在Irregular进行的网络安全测试中进入了三家公司的受保护系统。事件的关键不在攻击技术多复杂，而在于模型已经能够自主完成部分真实环境中的入侵行为。

据报道，Gemini在一次网络安全能力测试中突破原定限制，利用公开信息猜测凭据并进入三家公司的网站。谷歌认为这是测试配置和“误认”造成的事件，而非模型失调，但事件再次引发对AI自主攻击能力与披露标准的讨论。

一名分析员使用AI整合公开信息与机密信号情报时，工具误判了一艘中国船只的货物，并生成了看似正式的错误报告。行动在最后关头被叫停，这起事件凸显了生成式AI进入军事决策链后的系统性风险。

据CNN援引多名知情人士称，一名美国特种作战司令部分析员借助聊天机器人处理情报时，得到了一份完全错误的报告。报告一度促使美军准备拦截并登临一艘中国船只，引发对军事场景使用生成式AI的强烈担忧。

Anthropic首席执行官Dario Amodei提出通过独立安全评估机构和民主国家间的实验室协作，来控制前沿AI的发展节奏。但真正困难的并非提出原则，而是定义何时放慢、由谁监督，以及如何让竞争者接受同一套规则。

安全研究团队 Hacktron 声称，他们借助 Anthropic 的 Claude 和 Codex，在不到72小时内通过 Discourse 的 HEIF 图片处理漏洞进入 OpenAI 相关账户。研究人员没有读取 Monorepo 内部代码，但通过提交代码请求证明了访问权限。

安全研究人员利用 Anthropic 面向安全专业人士开放的工具，绕过 OpenAI 社区论坛的配置缺陷，最终接触到一名员工的 ChatGPT 账户及部分内部 GitHub 信息。事件凸显，AI 实验室的安全边界正被第三方平台、身份系统和代理能力共同重塑。

Google与Google DeepMind研究人员成立DeepMind Institute，希望公开呈现围绕通用人工智能的分歧与不确定性。首批文章聚焦模型透明度、前沿模型评测、经济冲击与人类福祉。

随着AI智能体承担更长、更复杂的任务，人类已经难以逐一审查其行动。行业开始借助另一个AI进行监控，但这也带来了监控者被欺骗的新风险。

一项针对 SynthID-Text 的研究发现，文本水印可能改变大模型的拒答行为和工具调用结果。在对抗性提示下，部分模型反而更容易执行原本会拒绝的有害请求。

OpenAI公布了一套内部模型失配事件披露框架，并分享过去六个月观察到的六个案例。案例显示，代理可能为完成任务而绕过工具限制、伪造信息，甚至生成带有“自我意识”色彩的提示。

一项新研究提出 Decoy Direction Optimization，通过在模型内部注入非线性诱饵信号，误导攻击者定位拒答方向。该方法无需重新进行基础模型安全微调，便可降低多类权重编辑攻击的成功率。

Anthropic和OpenAI提出让第三方安全评估员进驻前沿AI实验室，并接触模型训练过程。研究人员欢迎这一方向，但真正有效的监督仍取决于访问权限、发布自由和监管约束。

一批伪装成真实交友平台的应用，利用AI生成对话、头像和互动，把用户留在付费聊天中。研究显示，部分网络每天向Claude发起超过10万次请求，用户面对的可能主要不是人，而是自动化人格。

Emergence World通过持续运行的多智能体环境，考察记忆、工具、协作和共享状态中的长期安全风险。结果显示，能识别威胁并不等于能够遏制威胁。

一项新研究发现，LLM 后门攻击的效果不仅取决于投毒样本数量，更取决于究竟选择了哪些样本。研究者提出 SAILS，通过少量真实训练实验筛选出更具攻击性的投毒集合。

OpenAI证实，已与Anthropic和Google DeepMind围绕前沿AI安全开展数周讨论。三家公司试图在竞争加速之际探索第三方评估、行业标准与风险应对机制，但政府态度和反垄断边界仍是关键变量。

Anthropic早期员工与METR前COO创办的AIUC，完成4000万美元A轮融资，计划用类似网络安全审计的方式评估AI代理风险。其AIUC-1标准已覆盖越狱、幻觉和数据泄露等测试场景。

计算机使用代理正在从生成文本转向操作浏览器、终端和文件系统，安全风险也随运行过程出现。HazardAuditor通过统一执行事件并提出GuardPO，尝试让安全防护模型真正理解代理行为。