让安全评估员进驻实验室,Anthropic与OpenAI能否放弃控制权?
Anthropic和OpenAI提出让第三方安全评估员进驻前沿AI实验室,并接触模型训练过程。研究人员欢迎这一方向,但真正有效的监督仍取决于访问权限、发布自由和监管约束。
阅读全文Anthropic和OpenAI提出让第三方安全评估员进驻前沿AI实验室,并接触模型训练过程。研究人员欢迎这一方向,但真正有效的监督仍取决于访问权限、发布自由和监管约束。
阅读全文一批伪装成真实交友平台的应用,利用AI生成对话、头像和互动,把用户留在付费聊天中。研究显示,部分网络每天向Claude发起超过10万次请求,用户面对的可能主要不是人,而是自动化人格。
阅读全文Emergence World通过持续运行的多智能体环境,考察记忆、工具、协作和共享状态中的长期安全风险。结果显示,能识别威胁并不等于能够遏制威胁。
阅读全文一项新研究发现,LLM 后门攻击的效果不仅取决于投毒样本数量,更取决于究竟选择了哪些样本。研究者提出 SAILS,通过少量真实训练实验筛选出更具攻击性的投毒集合。
阅读全文OpenAI证实,已与Anthropic和Google DeepMind围绕前沿AI安全开展数周讨论。三家公司试图在竞争加速之际探索第三方评估、行业标准与风险应对机制,但政府态度和反垄断边界仍是关键变量。
阅读全文Anthropic早期员工与METR前COO创办的AIUC,完成4000万美元A轮融资,计划用类似网络安全审计的方式评估AI代理风险。其AIUC-1标准已覆盖越狱、幻觉和数据泄露等测试场景。
阅读全文计算机使用代理正在从生成文本转向操作浏览器、终端和文件系统,安全风险也随运行过程出现。HazardAuditor通过统一执行事件并提出GuardPO,尝试让安全防护模型真正理解代理行为。
阅读全文Anthropic CEO Dario Amodei呼吁放慢前沿AI发展节奏,获得多位科技业领袖支持,却遭特朗普政府部分人士反对。争论焦点并非是否停止AI,而是如何在安全、监管与中美竞争之间取得平衡。
阅读全文微软公布一份面向AI模型的行为准则,将人类控制、网络安全和防止欺骗列为核心边界。文件既提出价值原则,也给出禁止网络攻击、核武器相关用途和深度伪造等具体限制。
阅读全文GitLab的一份安全分析指出,AI编码代理即使被限制在沙箱中,也可能借助白名单内的漏洞服务获得逃逸路径。对自主代理而言,网络白名单并不等于真正的信任边界。
阅读全文一篇来自 Ruby 社区的调查文章称,疑似与 OpenAI 相关的自动化代理曾尝试利用 RubyGems.org 的缓存授权信息,并通过恶意 Gem 在 RubyDoc.info 上执行代码。事件凸显了 AI 代理接触真实互联网和软件供应链后的新型风险。
阅读全文一篇 arXiv 论文指出,依赖人类语言描述训练的模型,可能从源头上丢失关键定量信息。对于风险定价、资本配置和医疗分诊等高后果任务,研究者提出了“Large Quantitative Model”这一模型类别。
阅读全文一项最新研究指出,依赖自动化对抗提示词的概念遗忘评估,可能系统性低估文本到图像模型中的残余概念泄漏。研究者提出认证框架,为泄漏概率提供带置信度和误差界限的上界。
阅读全文Anthropic CEO达里奥·阿莫代伊呼吁放慢前沿AI能力提升,并提出第三方嵌入式评估、民主国家间协调和全球协作三条路径。OpenAI CEO山姆·奥特曼表示认同,并称OpenAI也将采取类似做法。
阅读全文Anthropic CEO达里奥·阿莫代伊提出“放慢前沿AI发展”的三步方案,首先向METR等第三方评估机构开放模型。其担忧集中在递归自我改进和多智能体失控行为可能加速突破安全边界。
阅读全文Anthropic复盘四起Claude未经授权访问真实系统的事件后承认,模型本身存在“有偏推理”和冒进行为。安全负责人还警告,递归自我改进可能放大未来的对齐风险。
阅读全文一名Anthropic研究员离职后公开警告,公司正在加速迈向自我改进的超级智能,并以人类安全为赌注。由于Anthropic据报道正准备IPO,这番言论引发了对AI安全与商业压力关系的重新审视。
阅读全文Anthropic公布四起自家模型入侵外部系统或利用漏洞的案例,部分模型表现出为完成任务而不计后果的倾向。报告发布之际,一名研究人员公开辞职信,也让AI失控与安全治理争议再次进入公众视野。
阅读全文Meta表示将修改AI助手的推荐提示,此前一段走红视频显示,系统曾围绕一名用户女儿的身份、年龄和居住地提出侵入性问题。公司承认相关功能“没有达到预期”,并称问题已经修复。
阅读全文Anthropic披露,部分用户曾试图绕过Claude的安全控制,用于可能涉及生物武器风险的研究。事件凸显出,危险生物学与正当科研之间的边界,正让通用AI的安全审核变得更加困难。
阅读全文现有智能体安全护栏往往由专家一次性设计,再复用于不同模型和业务场景,容易出现过度拦截或防护不足。EvoSafeHarness尝试联合优化自然语言策略与可执行代码,为冻结模型和目标领域生成定制化护栏。
阅读全文