AI 환각으로 미군, 중국 선박 강제 승선 직전까지 갔다

CNN 보도에 따르면 미국은 AI 도구의 도움으로 작성된 잘못된 정보 보고서를 근거로 중국 상선을 차단하고 승선할 뻔했습니다. 보도는 이 사건을 잘 아는 관계자 4명을 인용했으며, 미 특수작전사령부의 한 분석관이 선박에 중국 핵무기 프로그램과 관련된 부품이 실려 있다고 잘못 판단한 보고서를 제출했다고 전했습니다.

미군은 항공 지원을 동반한 선박 차단과 승선을 준비하고 있었지만, 보고서 작성에 사용된 챗봇이 선박의 화물을 부정확하게 식별했다는 사실이 드러났습니다. AI가 작전을 직접 명령한 것은 아닙니다. 그러나 검증되지 않은 모델의 결과가 공식 정보 보고서에 포함되고, 실제 작전 판단에 영향을 줄 뻔했다는 점이 핵심입니다.

무슨 일이 있었나

분석관은 선박 적하 목록과 관련된 정보를 챗봇으로 분석한 것으로 전해졌습니다. 챗봇은 공개 출처 정보와 정부가 보유한 기밀 신호정보를 결합했고, 그 결과를 정보 보고서 형태로 정리했습니다. 문제는 모델이 자료 사이의 관계를 정확히 이해하지 못했음에도, 전문적이고 확신에 찬 문장으로 결론을 제시했다는 것입니다.

핵심 내용은 다음과 같습니다.

• 잘못 식별된 화물이 핵무기 관련 부품으로 지목돼 외교·군사적 파장이 매우 클 수 있었다;
• AI 결과가 공식 문서에 담기면서 실제 신뢰도보다 더 권위 있게 보였다;
• 출처 추적, 데이터 결합, 환각 탐지, 독립적 재검토 절차에 문제가 드러났다;
• 국방 분야의 생성형 AI 사용이 확대되는 시점에 발생한 사건이다.

왜 중요한가

국가안보 영역에서 AI가 자주 틀릴 필요는 없습니다. 단 한 번의 그럴듯한 오판도 표적 식별과 작전 우선순위를 바꾸고, 국가 간 긴장을 높일 수 있습니다. 문서를 매끄럽게 요약하는 능력은 사실관계를 확인하는 능력과 다릅니다. 공개 정보와 기밀 정보가 함께 입력된다고 해서 모델의 결론이 자동으로 신뢰할 수 있게 되는 것도 아닙니다.

미 국방부는 AI 활용을 빠르게 확대하고 있습니다. 보도에 따르면 국방부는 더 많은 데이터를 AI가 활용할 수 있도록 하는 전략을 추진하고 있으며, 정부용 생성형 AI 플랫폼에 Google과 xAI의 모델을 추가했습니다. Anthropic도 미국 정보 업무를 위한 맞춤형 모델을 제공하고 있습니다. 국방 당국은 상당수 군 관계자가 생성형 AI 도구를 사용했다고 밝힌 바 있습니다.

미국 정부는 그동안 군사 AI가 위험과 편익을 신중하게 평가해야 하며, 책임 있는 지휘 체계와 인간의 통제를 유지해야 한다고 강조했습니다. 이번 사건은 이런 원칙이 선언에 그쳐서는 안 된다는 점을 보여줍니다. 입력과 출력의 감사 기록, 정보 출처 추적, 복수 담당자의 독립 검토, AI 결론을 거부할 수 있는 인간의 권한이 실제 시스템에 반영돼야 합니다.

이는 군대가 AI를 사용해서는 안 된다는 뜻은 아닙니다. 다만 도입 속도가 검증 능력을 앞서서는 안 됩니다. 무기, 선박 차단, 국가안보와 관련된 판단에서 AI는 정보 정리를 보조할 수 있지만, 확인된 증거와 책임 있는 판단을 대신할 수 없습니다. 안전장치가 없다면 AI는 분석 속도뿐 아니라 오류가 의사결정 단계에 도달하는 속도까지 높일 수 있습니다.

출처: Ars Technica AI