AI가 만든 가상 증인을 살인 사건 항소서에 넣은 변호사, 5천 달러 벌금

들어가며

생성형 AI는 법률 문서를 매끄럽고 설득력 있게 작성할 수 있습니다. 그러나 문장이 자연스럽다는 사실이 내용의 진실성을 보장하지는 않습니다. 뉴멕시코주 대법원은 살인 사건 항소서에 AI가 만든 허위 내용을 포함한 변호사 Stephen Aarons에게 5천 달러의 벌금을 부과하고 법정모독 판단을 내렸습니다.

보도에 따르면 해당 서류에는 실제로 존재하지 않는 증인과 그 증언이 등장했습니다. 경찰 증언에 관한 잘못된 내용과 총격범의 복장 및 외모에 대한 부정확한 서술도 포함됐습니다. 이는 사무실 내부의 초안에서 끝난 오류가 아니라, 살인 유죄 판결에 이의를 제기하는 공식 항소 절차에 제출된 문서에 들어간 사례입니다.

핵심 내용

• 법원이 문제 삼은 것은 검증 실패였습니다. 뉴멕시코주 대법원은 AI가 작성한 서류의 사실 주장과 법적 근거를 확인하지 않은 점을 지적했습니다. 그 결과 벌금과 법정모독 판단이 내려졌습니다.
• 변호사는 AI의 능력을 과대평가했습니다. 8월 심리에서 Aarons는 ChatGPT를 사용했고, 이 도구가 재판의 ‘완벽한 요약’을 만들어 줄 것으로 생각했다고 밝혔습니다. 고의로 법원을 속이려 하지 않았더라도, 이런 과신은 전문적 책임 문제로 이어질 수 있습니다.
• AI 환각은 사법 영역의 반복되는 문제입니다. C. 섀넌 베이컨 판사는 AI 환각 위험이 매일 보도되고 있는데도 왜 이를 인식하지 못했는지 질문했습니다. 이전에도 변호사와 로펌이 존재하지 않는 판례 인용, 잘못된 법률 인용, AI가 만든 오류 인용문을 제출해 문제가 된 사례가 있었습니다.

이번 사건의 의미

법률 문서에 필요한 것은 유창한 문장만이 아닙니다. 증인, 증언, 인용, 사실관계, 절차에 관한 서술은 사건 기록이나 권위 있는 법률 자료로 하나씩 확인할 수 있어야 합니다. 생성형 AI는 그럴듯한 문장을 예측해 만들 뿐, 특정 증인이 실제 재판에 나왔는지 또는 인용문이 판결문에 존재하는지 스스로 확인하지 않습니다. 정보가 부족하면 빈틈을 구체적으로 보이는 창작 내용으로 메울 수도 있습니다.

따라서 법률 업무에서 AI는 메모 정리, 문서 구조 제안, 자료 탐색 보조처럼 제한된 역할에 사용하는 편이 안전합니다. 중요한 주장은 원본 기록과 대조해야 하고, 판례와 법 조항은 원문으로 확인해야 하며, 제출 전에는 별도의 사람이 다시 검토해야 합니다. 특히 형사 사건에서는 허위 내용이 피고인의 권리와 법원의 판단에 영향을 줄 수 있습니다.

이번 처분은 책임의 위치도 분명히 보여 줍니다. AI를 사용하는 행위 자체가 곧바로 규정 위반이라는 뜻은 아니지만, 검증하지 않은 결과물을 법원에 제출한 책임은 문서에 서명하고 제출한 변호사에게 있습니다. 법률기관은 AI 사용 기록, 출처 확인, 제출 전 감사와 같은 절차를 마련할 필요가 있습니다. AI는 초안 작성 속도를 높일 수 있지만, 법적 판단과 사실 확인을 대신할 수는 없습니다.

출처: The Verge AI