AI 환각이 미군 작전을 촉발할 뻔했다…의사결정 체계의 위험

들어가며

TechCrunch가 CNN을 인용해 보도한 내용에 따르면, 올해 봄 중국 선박을 상대로 한 미국의 무력 작전이 진행되던 중, 작전을 뒷받침한 정보가 AI 챗봇의 환각에서 비롯됐다는 사실이 확인됐습니다. 당시 군용 항공기가 이미 출격한 상태였지만, 작전은 마지막 순간 중단됐고 중국과의 심각한 충돌 가능성을 피한 것으로 전해졌습니다.

핵심 문제는 AI가 단순히 오답을 냈다는 데 있지 않습니다. 검증되지 않은 답변이 어떻게 신뢰할 만한 정보 문서로 포장되고, 지휘 체계를 통과했는지가 더 큰 쟁점입니다.

핵심 내용

• 오류는 정보 종합 과정에서 시작됐다. 미 특수작전사령부의 한 분석관이 공개 자료와 기밀 신호정보를 합치기 위해 챗봇을 사용했다고 보도됐습니다. 챗봇은 선박의 화물 목록을 잘못 식별했고, 해당 선박이 핵무기 프로그램과 관련된 부품을 운반한다는 잘못된 결론을 냈습니다.
• 두 번째 사용이 오류의 신뢰도를 높였다. 분석관은 다시 도구를 사용해 잘못된 판단을 공식 문서처럼 보이는 요약문으로 정리했습니다. 문서의 완성도가 내용의 검증 여부를 가리는 효과를 냈을 가능성이 있습니다.
• 오류는 지휘 계통을 타고 올라갔다. 이 보고서는 이란과의 전쟁 기간 여러 지휘 채널에 공유됐고, 작전이 임박해서야 문제점이 발견됐습니다. AI 출력이 정식 업무 절차에 들어가면 검토 전 초안이 아니라 이미 확인된 정보로 오인될 수 있습니다.
• 속도는 장점인 동시에 위험이다. 미 국방부는 의사결정과 ‘킬체인’을 가속할 수 있다는 이유로 AI를 주목하고 있습니다. 그러나 처리 속도가 빨라질수록 충분히 검토되지 않은 오류도 더 빠르게 지휘관에게 전달될 수 있습니다.

의미와 영향

GovAI 연구자이자 전 미 육군 장교인 Jake Steckler는 군 관계자들이 대규모 언어 모델에 내재한 불확실성을 이해해야 한다고 밝혔습니다. 특히 표적 선정, 정보 분석, 작전 계획처럼 무력 사용으로 이어질 수 있는 판단에서는 이 원칙이 더욱 중요합니다.

이는 군 조직이 AI를 포기해야 한다는 뜻은 아닙니다. 오히려 오류의 결과를 감안해 사용 방식을 설계해야 한다는 의미입니다. 고위험 업무에 투입되는 시스템은 정보의 출처, 증거와 추론의 구분, 불확실성, 생성 및 수정 이력을 명확히 보여줘야 합니다. 또한 독립적인 담당자가 확인하기 전에는 모델의 결론이 작전상의 사실로 취급되지 않도록 해야 합니다.

이번 사례는 문서 형식이 환각을 증폭할 수 있다는 점도 보여줍니다. 모델은 잘못된 사실을 만들어내는 데 그치지 않고, 이를 간결한 브리핑이나 정돈된 보고서로 바꿀 수 있습니다. 읽기 쉬운 형식은 실무에 도움이 되지만, 검증되지 않은 주장에 부당한 권위를 부여할 수도 있습니다. 따라서 안전장치는 모델 정확도만 평가해서는 부족하며, 기밀 데이터 처리, 접근 권한, 감사 기록, 복수 인원의 검토, 무력 사용 전 인간의 승인까지 포함해야 합니다.

Steckler는 도입 속도만 최우선으로 삼으면 사고가 발생하고, 군 구성원의 AI 신뢰가 약화돼 장기적으로 도입 자체가 느려질 수 있다고 지적했습니다. 이 사건은 AI가 국방 분야에서 무용하다는 증거가 아닙니다. 다만 생명과 국제 안보가 걸린 판단에서 AI는 출처를 추적할 수 있고, 언제든 이의를 제기할 수 있으며, 필요할 때 즉시 중단할 수 있는 보조 수단이어야 한다는 점을 분명히 합니다.

출처: TechCrunch AI