AIの幻覚で米軍が中国船を臨検寸前に

CNNは、AIツールの支援で作成された誤った情報報告をもとに、米軍が中国の商船を阻止し、船内に立ち入る寸前まで進んでいたと報じました。報道は、この事案を知る4人の関係者を情報源としており、米特殊作戦軍の分析官が提出した報告書が、船に中国の核兵器計画に関係する部品が積まれていると誤って判断していたとしています。

米軍は航空支援を伴う臨検を準備していたものの、報告作成に使われたチャットボットが積み荷を不正確に特定していたことが判明しました。AIが直接作戦を命じたわけではありません。しかし、検証されていない出力が正式な情報報告書に組み込まれ、実際の作戦判断に影響しかけた点が、この事例の核心です。

何が起きたのか

分析官は船の貨物明細に関する情報をチャットボットで分析したとされています。システムは、公開情報と政府が保有する機密の信号情報を組み合わせ、その結果を情報報告書として整理しました。問題は、モデルが資料の関係を正しく理解できなかったにもかかわらず、流暢で専門的に見える結論を出したことです。

主なポイントは次の通りです。

• 誤認された対象が核兵器関連部品だったため、外交・軍事上の影響が極めて大きかった;
• AIの出力が正式な文書に組み込まれ、信頼性が過大に見積もられた;
• 情報源の追跡、データ統合、幻覚の検出、独立した再確認に課題が残る;
• 国防分野で生成AIの利用が拡大する中で起きた。

意味すること

国家安全保障の現場では、AIが常に間違う必要はありません。一度の自信ありげな誤認でも、対象の識別や作戦の優先順位を変え、国家間の緊張を高める可能性があります。文章をうまくまとめられることと、事実関係を確認できることは別の能力です。公開情報と機密情報を組み合わせても、モデルの結論が自動的に正しくなるわけではありません。

米国防総省はAI活用を加速させています。報道によれば、より多くのデータをAIで利用できるようにする方針を掲げ、政府向け生成AI基盤にGoogleやxAIのモデルを加えています。Anthropicも米国の情報活動向けにカスタマイズしたモデルを提供しています。国防当局は、軍関係者の多くが生成AIツールを利用しているとも説明しています。

米政府はこれまで、軍事AIについて人間を意思決定のループに残し、責任ある指揮命令系統とリスク評価を確保する必要があると強調してきました。今回の事案は、こうした原則を実際の運用に落とし込む必要性を示します。入力と出力の記録、情報源の追跡、複数の担当者による再確認、AIの結論を拒否できる人間の権限が不可欠です。

軍がAIを使うべきでないという単純な話ではありません。重要なのは、導入の速度が検証能力を上回らないことです。兵器、船舶の臨検、国家安全保障に関わる判断では、AIは情報整理を補助できても、裏付けられた証拠と責任ある判断に置き換わることはできません。

出典：Ars Technica AI