一场险些被AI幻觉点燃的军事行动，暴露决策链风险

导语

据TechCrunch援引CNN报道，今年春季，美国军方一项针对一艘中国船只的武装行动已经进入执行阶段，军机甚至一度升空。随后，官员发现推动行动的关键情报来自聊天机器人产生的“幻觉”，行动最终在最后关头被取消，避免了可能升级为国际冲突的局面。

这并不只是一次模型答错问题。更值得关注的是，错误信息如何被包装、传播，并在军事指挥体系中获得了足够的可信度。

核心要点

• 错误始于情报综合。 据报道，一名美国特种作战司令部分析员让AI聊天机器人整合公开来源数据与机密信号情报。模型误认了船只的货物清单，并得出了该船装载核武器项目组件的错误结论。
• 第二次调用放大了问题。 分析员随后再次使用工具，将错误发现整理成一份具有官方文件外观的摘要。形式上的专业感，可能掩盖了内容尚未得到独立核验的事实。
• 错误沿指挥链上行。 报告在对伊朗战争期间流转至多个指挥渠道，直到行动即将实施前才被识别。AI输出一旦进入正式流程，就可能不再被当作普通草稿审慎对待。
• 速度既是优势也是风险。 美国国防部门希望借助AI加快决策和“杀伤链”响应，但更快的情报处理同样意味着未经充分审查的错误可以更快抵达决策层。

意义与影响

GovAI研究学者、美国陆军退役军官Jake Steckler表示，军人必须理解大语言模型固有的不确定性，尤其是在目标选择、情报分析和行动规划等可能导致使用武力的场景中。这里的关键不是简单地把AI从军事系统中移除，而是明确哪些任务可以由模型辅助，哪些结论必须由具备相应权限和专业能力的人独立确认。

这起事件还揭示了一个容易被低估的风险：格式化能力会制造虚假的确定性。模型不仅可能生成错误事实，还能把错误内容改写成报告、摘要或简报，使其更容易获得组织信任。因此，防护措施不能只停留在模型层面的准确率测试，还应覆盖数据来源标注、机密信息处理、输出溯源、双人复核、权限隔离和不可跳过的人工审批。

对于高风险机构而言，采用AI的评价标准也不应只是“是否提高速度”。如果系统无法让使用者清楚看到证据、置信度和不确定性，速度可能反而压缩质疑空间。Steckler认为，优先追求部署速度可能导致更多事故，进而削弱军方人员对系统的信任，最终拖慢AI的长期采用。

这次险情没有证明AI毫无价值，却提醒决策者：在涉及生命和国际安全的领域，AI应当是可追溯、可质疑、可被及时叫停的辅助工具，而不能成为未经验证的权威来源。

来源：TechCrunch AI