谁来制定人工智能的安全规则？

导语

人工智能正在进入金融、电信、国防、能源和医疗等高风险领域。随着模型能力提升，安全治理已经不是企业内部的产品问题，而是会影响竞争秩序、国家安全和公共利益的制度问题。Cohere 联合创始人兼 CEO Aidan Gomez 在这篇文章中提出一个尖锐问题：决定 AI 安全边界的，究竟应该是少数技术公司，还是一个更开放、可审查的公共治理体系？

需要说明的是，这是一篇来自 Cohere 负责人的立场文章，背景是 Anthropic CEO Dario Amodei 提出由领先 AI 实验室协调安全工作，并寻求政府提供有限反垄断豁免的路线图。因此，文中的批评带有明显的行业竞争和政策立场色彩，但其讨论的制度风险具有现实参考价值。

核心要点

• 争议不在于是否需要安全护栏。 Gomez 承认 AI 可能被用于攻击代码、关键基础设施和网络系统，尤其是在防御能力提升速度落后于攻击能力降低成本的情况下，建立审查和限制机制确有必要。
• 关键在于谁定义风险。 如果参与制定标准的主要是少数大型实验室，那么风险范围、评估门槛和技术推进速度都可能围绕这些公司的既有能力设计，其他开发者、政府和公众却缺乏充分发言机会。
• 反垄断豁免可能产生反效果。 允许竞争者协调产出和发展节奏，理论上可以为安全研究争取时间；但在实践中，也可能把现有巨头的规模、算力和资源优势转化为行业准入标准。
• 单一指标未必覆盖真实风险。 文章指出，风险不一定只取决于基础模型规模。较小模型通过工具调用、编排和验证，也可能形成新的攻击面；由多个模型组成的协同系统，风险形态也不同于单一模型。

历史教训与现实影响

为了说明“安全目标可能演变为市场保护”，文章回顾了两个案例。美国债券评级体系曾长期由少数获政府认可的机构主导，后来这些机构对复杂金融产品的评级失误放大了系统性风险。欧洲汽车行业也曾以安全和专业维修为理由，赋予制造商较强的标准制定权，最终却形成了需要多年改革才能松动的竞争壁垒。

这些案例并不意味着 AI 不应设立严格标准，而是说明标准与垄断并非同义词。更稳妥的治理方式，应当让规则制定者、独立评估机构、学术界、开源社区、各国政府、受影响行业和公众共同参与，并公开标准的依据、适用范围与申诉机制。评估框架也需要持续更新，不能只围绕当前大型模型的计算规模设计。

如果安全规则由少数公司闭门协商，再通过政府要求全行业遵守，短期内或许能提高协调效率，长期却可能削弱创新和替代方案。AI 治理真正要解决的，不只是“如何限制风险”，还包括“如何避免风险标准本身被利益结构塑造”。这场争论的结果，将影响未来 AI 市场是走向开放竞争，还是形成以安全名义加固的集中格局。

Hacker News