纳德拉警告：应假设所有 AI 模型都可能已被攻破

微软 CEO 萨提亚·纳德拉近日在社交平台 X 发布长文，讨论高度先进 AI 模型可能带来的风险，以及行业应如何建立更可靠的防护机制。他的核心判断是：未来不能继续把 AI 当成一组层层嵌套、却无法检查内部过程的“黑箱”，然后只根据模型给出的建议或动作决定接受与否。

关键主张

纳德拉提出的方向，重点不在于让模型看起来更聪明，而在于让它的行为能够被观察、约束和追溯：

• 从默认不信任开始。 他主张假设模型可能已经遭到破坏，并在系统启动之初就实施隔离，而不是等到发生事故后再补救。
• 保留可验证证据。 模型执行任务时，应留下防篡改、且人类能够阅读的记录，帮助调查人员理解系统做了什么、为何这样做。
• 强化外部监督。 及时披露事故、开展独立审计、使用可验证的数据，都是降低风险的重要组成部分。
• 设置“紧急刹车”。 获授权的人应始终能够在模型执行任务的中途暂停，甚至关闭模型。
• 推动技术标准化。 随着模型能力提高，隔离和控制技术也需要变得更复杂，并形成更广泛的行业标准。

这意味着什么

这套思路把 AI 安全的重点从“模型发布前是否通过测试”，进一步推向“模型运行时是否仍然可控”。传统评估往往集中在上线前的能力与风险测试，但一个能够持续行动、调用工具或影响外部系统的模型，风险可能出现在实际运行过程之中。因此，日志、权限控制、隔离环境和人工接管机制，可能与模型本身的性能同样重要。

纳德拉的表述也与近年来行业普遍关注的独立评估、事故披露和数据可验证性相呼应。不过，“默认模型已被攻破”并不等于断言所有模型确实发生了入侵，而是一种安全工程上的保守假设：即使内部状态无法完全确认，系统也不能因此失去控制权。

值得注意的是，文章多次使用“超级智能”描述 AI。这个词本身并不能替代具体的风险评估，真正关键的仍是模型能做什么、能接触哪些资源，以及人类能否在必要时看懂、限制并停止它。对企业而言，纳德拉的建议最终指向一个可操作问题：当 AI 不再只是回答问题，而是持续执行任务时，谁拥有最后的暂停按钮？

来源：The Verge AI