ChatGPT가 만든 가짜 증언 제출한 변호사, 법원 제재 받아

들어가며

생성형 AI는 방대한 기록을 요약하고 문서 초안을 만드는 데 도움을 줄 수 있다. 그러나 원자료에 없는 내용을 그럴듯하게 만들어내기도 한다. 이번 뉴멕시코주 사건은 그런 오류가 검증되지 않은 채 법원에 제출될 경우, 단순한 기술적 실수가 아니라 변호사의 직업적 책임 문제가 된다는 사실을 보여준다.

사건의 경과

뉴멕시코주의 형사 변호사 Stephen Aarons는 살인 유죄 판결을 받은 피고인의 항소를 맡았다. 그는 준비 과정에서 먼저 Rev.com을 이용해 재판 음성을 AI로 전사한 뒤, 전사본과 사건 기록, 쟁점 정리, 일부 증거개시 자료를 ChatGPT에 입력했다.

그 결과 작성된 항소 서면에는 실제 재판에 출석하지 않은 사람들의 증언이 들어갔다. 주 대법원 명령에 따르면, 존재하지 않는 경찰관과 관계자들이 증인으로 등장했고, 협박과 관련된 발언, 총격범의 옷차림과 외모에 관한 설명도 실제 기록과 맞지 않거나 조작된 내용이었다. 실제로 존재하는 판례 역시 그 의미가 부정확하게 설명됐다.

이번 사건은 허구의 판례를 인용한 사례와는 구별된다. 하지만 법원 기록에 없는 사실을 증언으로 제시하고 실제 판례를 잘못 설명했다는 점에서, 법원에 대한 정확성과 성실성 의무를 위반한 문제로 다뤄졌다. Aarons는 서면에 서명해 제출하기 전에 사실관계와 법적 근거를 확인하지 않았고, 이 문제를 의뢰인에게 알리지도 않았다고 인정했다.

그는 당시 AI가 사실을 환각하듯 만들어낼 수 있다는 사실을 몰랐으며, ChatGPT가 사건 진행을 정확하게 요약할 것이라고 생각했다고 설명했다. 원래 전사본보다 여러 자료를 함께 ChatGPT에 입력한 과정에서 오류가 발생했다고도 말했다.

법원의 조치

뉴멕시코주 대법원은 Aarons를 직접 법정모독으로 판단하고 5000달러의 벌금을 주 변호사회의 의뢰인 보호기금에 납부하도록 했다. 또한 징계기관에 사건을 넘겼고, 관련 절차가 진행되는 동안 그가 대법원에 출석해 변론하는 것을 제한했다. 기존 서면은 기록에서 삭제됐으며, 피고인에게는 새로운 변호사가 선임될 예정이다.

재판부가 강조한 핵심은 자료의 출처가 AI인지, 신입 변호사인지, 다른 전문가인지와 관계없이 서명하는 변호사가 내용의 정확성을 확인해야 한다는 점이다. AI의 오류 가능성을 몰랐다는 주장은 검증 의무를 면제하지 않는다.

의미와 영향

이 사건은 법률 분야의 AI 정책이 사용 허용 여부에만 머물러서는 안 된다는 점을 보여준다. 더 중요한 것은 어떤 자료를 입력했는지 추적할 수 있는지, 사실과 인용을 어떻게 검증하는지, 최종 책임자가 누구인지다. AI는 기록 정리나 초안 작성에는 유용하지만, 증언의 실제 존재나 판례의 정확한 의미를 보증하지 않는다.

법률기관은 원자료와 프롬프트를 보관하고, 모든 사실을 기록 원문과 대조하며, 판례를 별도로 확인하고, 제출 전 사람이 전체 문서를 검토하는 절차를 마련해야 한다. “AI는 틀릴 수 있다”는 안내만으로는 충분한 통제가 되지 않는다.

생성은 검증과 다르다. 변호사가 법원 문서에 서명하는 순간 책임을 지는 주체는 AI 모델이 아니라 변호사다. 이번 사건은 이 원칙을 놓칠 경우, 제재가 변호사에게만 그치지 않고 의뢰인의 항소 절차와 권리에도 직접 영향을 줄 수 있음을 보여준다.

출처: Ars Technica AI