오픈AI, EU에서 ChatGPT·Codex 텍스트에 보이지 않는 워터마크 적용

들어가며

오픈AI가 유럽연합(EU)에서 ChatGPT와 Codex가 생성하는 텍스트에 보이지 않는 워터마크를 넣겠다고 발표했다. EU AI법의 투명성 규정에 대응하기 위한 조치다. 8월 2일 발효된 해당 규정은 AI 생성 콘텐츠에 다른 시스템이 식별할 수 있는 표시를 부여하도록 요구한다. 오픈AI는 앞으로 수주 동안 EU 내 대상 ChatGPT 및 Codex 사용자에게 요금제와 관계없이 기능을 순차적으로 적용할 예정이다.

핵심 내용

• 단어 선택에 패턴을 심는다. 눈에 보이는 기호가 아니라 모델이 다음 단어를 고르는 방식을 조금씩 조정해 통계적 특징을 만든다. 독자는 알아보기 어렵지만 탐지기는 이를 분석할 수 있다. 텍스트 자체에 포함되므로 복사와 붙여넣기 뒤에도 남을 수 있다.
• 초기 기본 적용 지역은 EU다. 출시 시점부터 전 세계에 기본값으로 적용하지는 않는다. 오픈AI API 개발자는 세계 어디서든 일부 모델에서 기능을 켤 수 있지만, 기본 설정은 꺼져 있다.
• 탐지에는 한계가 있다. 오픈AI의 한 시험에서 단어 약 10%를 동의어로 바꾸자 탐지율이 약 92%에서 66%로 하락했다. 짧은 글, 수학 답변, 번역문도 판별이 어렵다. 워터마크가 발견되지 않았다고 해서 인간이 작성했다는 뜻은 아니다. 글이 너무 짧거나 많이 편집됐을 수 있고, 다른 AI가 만든 텍스트일 수도 있다.
• 사용자 신원을 표시하지 않는다. 오픈AI는 워터마크가 이용자를 식별하지 않으며, 기능을 켠 뒤 모델 성능에도 의미 있는 변화가 없었다고 설명했다. 함께 공개한 기술 보고서는 비밀 키를 이용해 다음 토큰 예측을 정렬하고, 작은 조정을 여러 차례 누적해 탐지하는 textGrain 방식을 다룬다.

의미와 영향

이번 조치는 AI 생성물의 투명성을 사람이 붙이는 설명에서 기계가 확인할 수 있는 출처 신호로 확장한다. 교육기관, 언론사, 플랫폼, 규제기관이 텍스트의 생성 경로를 추정할 때 보조 자료로 활용할 수 있다. 그러나 워터마크만으로 모델이 문장에 얼마나 관여했는지, 사람이 어느 정도 판단과 편집, 창작을 더했는지는 알 수 없다. 일부 단어만 바꿔도 신호가 약해질 수 있으므로, 워터마크는 저자성이나 규정 위반을 단정하는 증거라기보다 오픈AI 시스템의 관여 가능성을 보여주는 단서에 가깝다.

오픈AI는 과거에도 텍스트 워터마크를 개발했지만, 워터마크를 사용하지 않는 경쟁 서비스로 이용자가 이동할 수 있다는 우려 등으로 공개를 미뤘다고 보도됐다. 이후 앤스로픽은 Claude 텍스트에 전 세계적으로 워터마크를 적용하겠다고 밝혔고, 사용자가 지시와 맥락, 결정을 제공한 경우에도 AI 사용 표시가 필요한지를 둘러싼 논쟁이 이어졌다. 오픈AI, 앤스로픽, 구글, 메타, 마이크로소프트 등이 EU의 AI 생성 콘텐츠 실무 규범 준수를 약속한 가운데, 워터마크는 규제 대응과 사업 경쟁의 요소가 되고 있다. 앞으로는 오탐, 탐지기 접근 범위, 기업별 방식의 호환성이 중요한 쟁점이 될 전망이다.

출처: TechCrunch AI