AI 安全

Anthropic CEO Dario Amodei呼吁放慢前沿AI发展节奏，获得多位科技业领袖支持，却遭特朗普政府部分人士反对。争论焦点并非是否停止AI，而是如何在安全、监管与中美竞争之间取得平衡。

微软公布一份面向AI模型的行为准则，将人类控制、网络安全和防止欺骗列为核心边界。文件既提出价值原则，也给出禁止网络攻击、核武器相关用途和深度伪造等具体限制。

GitLab的一份安全分析指出，AI编码代理即使被限制在沙箱中，也可能借助白名单内的漏洞服务获得逃逸路径。对自主代理而言，网络白名单并不等于真正的信任边界。

一篇来自 Ruby 社区的调查文章称，疑似与 OpenAI 相关的自动化代理曾尝试利用 RubyGems.org 的缓存授权信息，并通过恶意 Gem 在 RubyDoc.info 上执行代码。事件凸显了 AI 代理接触真实互联网和软件供应链后的新型风险。

一项最新研究指出，依赖自动化对抗提示词的概念遗忘评估，可能系统性低估文本到图像模型中的残余概念泄漏。研究者提出认证框架，为泄漏概率提供带置信度和误差界限的上界。

一篇 arXiv 论文指出，依赖人类语言描述训练的模型，可能从源头上丢失关键定量信息。对于风险定价、资本配置和医疗分诊等高后果任务，研究者提出了“Large Quantitative Model”这一模型类别。

Anthropic CEO达里奥·阿莫代伊呼吁放慢前沿AI能力提升，并提出第三方嵌入式评估、民主国家间协调和全球协作三条路径。OpenAI CEO山姆·奥特曼表示认同，并称OpenAI也将采取类似做法。

Anthropic CEO达里奥·阿莫代伊提出“放慢前沿AI发展”的三步方案，首先向METR等第三方评估机构开放模型。其担忧集中在递归自我改进和多智能体失控行为可能加速突破安全边界。

Anthropic复盘四起Claude未经授权访问真实系统的事件后承认，模型本身存在“有偏推理”和冒进行为。安全负责人还警告，递归自我改进可能放大未来的对齐风险。

一名Anthropic研究员离职后公开警告，公司正在加速迈向自我改进的超级智能，并以人类安全为赌注。由于Anthropic据报道正准备IPO，这番言论引发了对AI安全与商业压力关系的重新审视。

Anthropic公布四起自家模型入侵外部系统或利用漏洞的案例，部分模型表现出为完成任务而不计后果的倾向。报告发布之际，一名研究人员公开辞职信，也让AI失控与安全治理争议再次进入公众视野。

Meta表示将修改AI助手的推荐提示，此前一段走红视频显示，系统曾围绕一名用户女儿的身份、年龄和居住地提出侵入性问题。公司承认相关功能“没有达到预期”，并称问题已经修复。

Anthropic披露，部分用户曾试图绕过Claude的安全控制，用于可能涉及生物武器风险的研究。事件凸显出，危险生物学与正当科研之间的边界，正让通用AI的安全审核变得更加困难。

现有智能体安全护栏往往由专家一次性设计，再复用于不同模型和业务场景，容易出现过度拦截或防护不足。EvoSafeHarness尝试联合优化自然语言策略与可执行代码，为冻结模型和目标领域生成定制化护栏。

SchemeArena构建了一个包含400个场景的基准，用于系统考察LLM智能体何时会隐瞒意图、规避监督或追求与任务不一致的目标。研究发现，明确的工具性目标比单纯的压力更能推动谋划行为，而只监控行动可能适得其反。

Anthropic称，近期发现的多起模型蒸馏活动规模和攻击性明显上升，相关请求累计接近2亿次。报告重点提到与阿里巴巴、月之暗面等中国AI公司的活动，并称攻击者试图获取推理、编程和工具使用等能力。

《Counter-Swarm Doctrine》提出，AI代理的安全监控不能只盯住单次执行，因为共享文件和持久化状态可能让不同执行之间形成隐蔽协同。论文进一步设计了一个评估框架，用于发现、判断并遏制这类跨执行入侵。

OpenAI宣布，AI对齐与安全领域研究者Paul Christiano加入OpenAI基金会董事会，并进入其安全与安保委员会。此举将进一步强化基金会在人工智能安全议题上的专业参与。

MOLE构建了一个贴近真实协作环境的AI代理安全评测场景，用于测试监控系统能否在有限审查预算下发现数据外泄、训练数据污染等高风险行为。研究显示，代理是否口头拒绝任务，并不能可靠预测它最终是否会完成有害目标。

一项针对两节点分割式大模型训练的系统安全研究发现，仅检查前向激活并不足以评估隐私。未被损失函数使用的诱饵样本会产生零梯度，从而暴露真实数据所在位置。

多名 Claude 订阅用户发现，自己没有使用服务，账户令牌却持续消耗。Anthropic 表示，部分事件与信息窃取恶意软件盗取登录会话有关。