返回文章列表
AI 安全

Anthropic称或将接近递归自我改进,AI安全边界面临新考验

阅读约 3 分钟

导语

关于AI何时会开始“自己造自己”的讨论,正在从概念争论进入企业风险披露。Anthropic在提交修订版S-1/A文件时,除了披露收入和成本变化,还在风险因素部分提醒投资者:随着公司越来越多地使用AI推进研究与开发,模型能力的提升速度可能超过安全、对齐和安保措施的完善速度,公司甚至可能在加速已经发生后才意识到它的规模。

核心要点

  • 递归自我改进意味着什么? 这里的RSI(recursive self-improvement)并非简单地让模型生成代码,而是指AI足够擅长训练、评估和改进AI系统,从而引发研发进展的显著加速。它仍缺乏所有业界都认可的统一判定标准。
  • Anthropic披露了接近阈值的判断。 文件称,公司已经使用AI帮助开发新模型,而且过去可能没有及时识别由此带来的能力跃迁。根据内部估计和对未来模型的预期,Anthropic认为自己可能很快达到其《负责任扩展政策》中“可归因于AI的显著加速进展”这一标准。
  • 目前尚未宣布越过门槛。 Anthropic明确表示,现有模型中没有一个被指定为超过RSI阈值,公司仍在评估相关数据。因此,“接近”是风险预判,而不是已完成能力验证。
  • 人类监督仍被视为必要条件。 公司表示,短期内并不认为可以安全地让Claude在没有实质性人类监督或理解的情况下,完全自主设计并构建一代又一代前沿模型,并正考虑更新政策,以确保前沿模型开发仍由人类掌控。

意义与影响

RSI之所以敏感,在于它同时对应两种截然不同的叙事。乐观者认为,AI若能可靠地帮助改进自身,将提升软件开发、科学研究和生产率;安全研究者则担心,能力迭代一旦明显加速,测试、对齐和治理机制可能来不及跟上。

这份披露还需要放在上市文件的语境中理解。S-1既是监管披露,也是面向投资者的公司叙事,因此“接近自我改进”不能被直接当作经过独立验证的技术结论。不过,Anthropic同时承认其在编码、数学和网络安全等方面的模型能力今年显著增强,这使得警告不应被简单视为营销话术。

更现实的关注点,不是RSI是否已经到来,而是企业能否在能力加速前建立可执行的监测、评估和暂停机制。如果模型开始深度参与后续模型研发,研发流程的可解释性、权限边界和责任归属都将成为治理重点。Anthropic的表态至少传递出一个信号:关于前沿AI的安全政策,必须在能力真正跨过门槛之前准备好。

来源:TechCrunch AI

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
预测得像真的,还不等于做得安全:网页世界模型的新评估框架
AI 安全
cctest.ai
AI 安全

预测得像真的,还不等于做得安全:网页世界模型的新评估框架

一项新研究指出,网页世界模型生成“看起来合理”的未来,并不能证明它能做出正确的安全授权判断。研究提出 SafeWebWorld 与 Latent Authorisation Recovery,用于检验模型是否保留了区分执行、澄清和拦截所需的关键信息。

阅读全文