一份AI幻觉情报，险些让美军登临中国商船

据CNN报道，美国方面曾险些依据一份由AI工具辅助生成的错误情报，对一艘中国商船采取拦截和登临行动。报道援引四名了解情况的消息人士称，这份报告由美国特种作战司令部一名分析员提交，错误判断船上运输的是与核武器项目有关的部件。美军一度准备在空中力量支援下登船，直到官员发现，报告所使用的聊天机器人错误识别了船只货物。

发生了什么

这起事件的关键并不是AI单独“决定”采取军事行动，而是生成式工具被嵌入了本应高度审慎的情报分析流程。报道称，分析员使用聊天机器人处理有关船舶货单的资料，系统将公开来源信息与政府掌握的机密信号情报混合，再输出一份情报报告。由于模型对材料作出了错误判断，未经充分核验的结论险些进入行动决策链条。

核心要点包括：

• 错误信息涉及中国商船及所谓核项目相关部件，潜在外交和军事后果极其严重；
• AI输出并非最终命令，但它可能影响分析人员的判断，并被包装成看似正式的专业报告；
• 问题暴露出模型幻觉、数据融合、来源可追溯性和人工复核之间的系统性风险；
• 美军整体仍在加快部署生成式AI，风险治理与应用扩张正在同步推进。

影响与警示

生成式AI的危险不只在于“答错一道题”。在情报、执法或军事环境中，一个未经验证的错误判断可能改变目标识别、行动优先级，甚至影响国家间的危机管理。模型能够流畅地组织材料，并不意味着它理解了事实关系；当公开资料和敏感数据被同时输入或拼接时，错误还可能获得更强的权威外观。

这起近失事件尤其值得关注，是因为美国国防部正在推动更广泛的AI应用。报道提到，国防部提出让更多数据可供AI处理，并已在政府生成式AI平台中引入来自Google、xAI等公司的模型；Anthropic也提供面向美国情报工作的定制版本。五角大楼此前还表示，大量军方人员已经使用相关工具协助工作。

美国政府过去曾强调，军事AI应审慎评估风险与收益，并保留负责人的指挥控制、人类监督和清晰的责任链条。但真正的安全标准不能停留在原则声明上，还需要对模型输入、输出、权限、日志和复核流程进行可审计设计。对于涉及武器、船舶拦截或国家安全的结论，AI最多应作为辅助检索和整理工具，不能成为未经验证的事实来源。

这起事件并不意味着军方不应使用AI，而是说明部署速度必须与验证能力同步。越是高风险的场景，越需要多源交叉核验、独立分析员复审、明确的人工否决权，以及在模型不确定时自动降级的机制。否则，AI提升的可能不仅是效率，也可能是错误抵达决策层的速度。

来源：Ars Technica AI