AI 글을 ‘사람답게’ 바꾸면 사실도 그대로일까?
들어가며
AI가 만든 글을 더 자연스럽게 고쳐 AI 탐지기에 걸리지 않도록 하는 ‘텍스트 휴머나이저’가 확산되고 있다. 공개 리더보드는 주로 탐지 회피율과 임베딩 유사도를 측정한다. 그러나 글이 사람처럼 보이는 것과 원문의 검증 가능한 사실이 유지되는 것은 같은 문제가 아니다.
이번 연구는 숫자, 날짜, 사람 이름, 기관 이름, 따옴표로 표시된 인용 구간을 사실 단위로 정하고, 인간화 전후의 변화를 추적했다. 규칙 기반 검사기는 두 명의 AI 주석자가 검증했으며 정밀도는 0.841.00, 재현율은 0.930.95였다. 다만 인간 주석을 사용하지 않았다는 한계가 있어, 이 수치를 완전한 전문가 검증으로 해석해서는 안 된다.
핵심 결과
- 2026년 10월 공개 휴머나이저 리더보드의 상용 도구 11개는 모두, 관련 사실 단위가 포함된 문서의 35~65%에서 최소 하나의 단위를 변경하거나 삭제했다.
- 가장 많이 바뀐 것은 인용 구간이었다. 인용을 제외하고 숫자와 이름만 세어도 11개 중 10개 도구가 해당 문서의 20% 이상에서 최소 하나를 수정했다. 2026년 9월 결과도 19~50%로 비슷했다.
- 공개된 12B 휴머나이저는 미국 연방기관의 사실 밀도 높은 문서에서 숫자와 이름의 최소 97%를 보존했다. 그러나 그대로 유지하라는 지시를 받았음에도 인용 구간의 67~78%를 다시 표현했다.
- 사실 단위 보존율과 탐지 회피 성능의 관계는 뚜렷하지 않았다. 도구 간 스피어만 상관계수는 -0.46이며 95% 신뢰구간은 -0.65~0.08이었다. 오픈 모델의 공개 파일 4개에서도 사전 등록된 단조로운 상충 관계는 확인되지 않았다.
- 인간 원문, AI풍 재작성, 인간화 재작성으로 구성한 비교에서 범용 의사결정 모델 Jev는 인간 원문과 인간화 문서를 AUROC 0.864로 구분했다. 하지만 임계값 0.5에서는 인간 원문의 24%를 AI 생성물로 분류했다.
의미와 영향
이 결과는 ‘탐지기를 속였는가’만으로 인간화 도구를 평가해서는 안 된다는 점을 보여준다. 인용문이 바뀌면 단순한 문체 수정이 아니라 출처의 의미를 바꾼 의역이 될 수 있다. 숫자, 날짜, 고유명사의 작은 변화도 뉴스 기사, 연구 보고서, 공공 문서와 기업 자료에서는 중요한 오류로 이어질 수 있다.
AI 탐지기 자체의 한계도 드러났다. 2026년 모델이 만든 AI풍 재작성에 대해 두 가지 난이도 기반 탐지기의 AUROC는 0.37과 0.39로 무작위 추정보다 낮았다. 줄바꿈을 제거해도 결과는 개선되지 않았다. Jev가 상대적으로 높은 성능을 보였지만 인간 글의 24%를 오판했다는 점은, 탐지 결과를 저자 판별이나 부정행위의 단독 증거로 사용해서는 안 된다는 뜻이다.
앞으로의 리더보드는 탐지 회피와 유사도뿐 아니라 사실 보존율도 함께 공개해야 한다. 사용자는 인간화된 글을 배포하기 전에 숫자, 날짜, 이름, 인용문을 다시 확인해야 한다. 연구진이 검사기와 항목별 결과를 공개한 것은 더 책임 있는 텍스트 평가 체계를 만드는 데 활용될 수 있다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…