AIの幻覚が米軍作戦を引き起こしかけた事案、意思決定の危うさを露呈

はじめに

TechCrunchがCNNを引用して報じたところによると、今年春、米国の軍用機がすでに飛行していた段階で、中国船に対する武装作戦を支えていた情報がAIチャットボットの幻覚に基づくものだと判明しました。作戦は最終段階で中止され、中国との深刻な衝突につながる可能性が回避されたとされています。

問題は、AIが単に間違えたことだけではありません。検証されていない出力が、どのように信頼性の高い情報資料へ変換され、指揮系統の中を通過したのかが重要です。

要点

• 誤りは情報の統合から始まった。 米特殊作戦司令部の分析担当者が、公開情報と機密のシグナル情報をまとめるためにチャットボットを利用したと報じられています。モデルは船の貨物明細を取り違え、核兵器計画に関連する部品を積んでいるという誤った結論を出しました。
• 2度目の利用が誤情報を強化した。 分析担当者はさらにツールを使い、誤った内容を公式文書のような要約に整えました。見た目の整った形式が、内容の未検証という弱点を覆い隠した可能性があります。
• 誤りは指揮系統を上った。 この情報はイランとの戦争中に複数の指揮経路へ共有され、作戦直前まで見抜かれませんでした。AIの出力が正式な業務フローに入ると、単なる下書きではなく、確認済みの情報として扱われる危険があります。
• 速度には裏面がある。 米国防総省は意思決定と「キルチェーン」を高速化する手段としてAIを重視しています。しかし、処理が速くなるほど、十分に検討されていない誤りも意思決定者へ早く届きます。

意味と影響

GovAIの研究者で、米陸軍の元将校でもあるJake Steckler氏は、大規模言語モデルに固有の不確実性を軍人が理解する必要があると述べています。特に、標的選定、情報分析、作戦立案のように、武力行使へつながる判断では、その重要性が高まります。

これは軍事組織がAIを全面的に避けるべきだという意味ではありません。むしろ、誤りの影響を前提に運用を設計する必要があります。高リスク用途では、情報源の出所、証拠と推測の区別、不確実性、利用履歴を明示し、独立した担当者が確認するまで、モデルの結論を作戦上の事実として扱えない仕組みが求められます。

今回の事案は、表示形式が幻覚を増幅するという点も示しています。AIは誤情報を作るだけでなく、それを簡潔な報告書や整ったブリーフィングへ変換できます。読みやすさは実務上便利ですが、検証されていない主張に不当な権威を与えることもあります。そのため、対策はモデルの精度評価だけでなく、機密データの取り扱い、アクセス権、監査記録、複数人による確認、武力行使前の人間による承認まで含めるべきです。

Steckler氏は、導入速度だけを優先すれば事故が起き、軍人のAIへの信頼を損なう可能性があると指摘しています。この事案はAIに役割がないことを示すのではなく、生命や国際安全保障に関わる判断では、AIを追跡可能で、疑問を呈でき、必要なら直ちに停止できる補助ツールにとどめるべきだと示しています。

出典：TechCrunch AI