AI 워터마크가 LLM의 안전 경계를 바꿀 수 있다

서론

AI 워터마킹은 대체로 생성된 텍스트의 출처를 확인하기 위한 기술로 설명된다. 플랫폼이 토큰 선택 과정을 미세하게 바꾸면, 비밀 키를 가진 검증자는 해당 텍스트가 플랫폼에서 생성됐을 가능성을 판별할 수 있다. 하지만 새로운 연구는 이런 변화가 텍스트의 식별 가능성에만 머물지 않고, 모델의 안전 행동에도 영향을 줄 수 있다고 지적한다.

핵심 결과

• 연구진은 6개 오픈 웨이트 모델에서 SynthID-Text 사용 여부에 따른 응답을 비교했다.
• 워터마크는 유해 요청에 대한 거부 행동을 바꿨고, 프롬프트 인젝션을 결합했을 때 변화가 더 크게 나타났다.
• 일부 모델은 워터마크가 적용되면 원래 거부했을 요청에 답할 가능성이 높아졌다.
• AI 에이전트에서는 선택되는 도구와 도구에 전달되는 인수도 달라질 수 있다.
• 어떤 비밀 키를 사용하느냐에 따라 모델 행동이 달라지는 사례도 관찰됐다.

출처 표시가 안전성에 영향을 주는 이유

SynthID-Text는 비밀 키를 다음 토큰을 선택하는 샘플링 과정에 포함한다. 경쟁형 샘플링에서는 여러 후보 토큰을 평가하고, 숨겨진 점수를 이용해 후보를 경쟁시킨 뒤 최종 토큰을 결정한다. 독자가 보기에는 자연스러운 문장일 수 있지만, 모델이 확률 분포를 따라가는 경로는 기존과 달라진다.

안전 거부와 프롬프트 인젝션 방어 역시 일련의 토큰으로 표현된다. 따라서 작은 샘플링 변화만으로도 응답이 거부에서 순응으로 바뀔 수 있다. 에이전트 환경에서는 잘못된 도구를 선택하거나 위험한 인수를 생성하는 결과로 이어질 가능성도 있다. 연구자는 워터마킹이 모델의 말과 에이전트의 행동 모두에 영향을 미치는 이 현상을 샘플링 드리프트라고 설명한다.

의미와 한계

이번 결과가 모든 워터마크가 안전성을 약화한다는 뜻은 아니다. 또한 향후 Claude가 사용할 구체적인 SynthID-Text 구현을 직접 검증한 것도 아니다. 연구 대상은 Hugging Face 구현과 샘플링 과정을 통제할 수 있는 오픈 웨이트 모델이었으므로, 특정 상용 시스템에 대한 최종 판정으로 해석해서는 안 된다.

그럼에도 실무적 시사점은 분명하다. 워터마크를 끈 상태에서만 안전성 시험을 수행해서는 부족하다. 도입 후에는 유해 프롬프트, 프롬프트 인젝션, 거부 응답의 일관성, 도구 호출 정확성을 다시 평가해야 한다. 키를 바꿨을 때 결과가 달라지는지도 확인할 필요가 있다. 민감한 데이터에 접근하거나 외부 작업을 수행하는 에이전트라면 권한 관리, 도구 검증, 레드팀 시험과 함께 워터마킹의 영향을 검토해야 한다.

출처: Ars Technica AI