Patreon, AI 학습 크롤러에 ‘요청’ 대신 직접 차단으로 대응

들어가며

창작자 멤버십 플랫폼 Patreon이 AI 스크래핑 대응 수위를 높인다. TechCrunch에 따르면 Patreon은 Cloudflare와의 협력을 확대해, 창작자의 콘텐츠를 허가 없이 AI 모델 학습에 사용하려는 봇의 접근을 직접 차단할 예정이다.

핵심은 robots.txt에만 의존하지 않겠다는 점이다. robots.txt는 웹사이트가 크롤러에게 접근 가능 범위를 알려주는 오래된 방식이지만, 실제 준수 여부는 크롤러 운영자의 선택에 달려 있다. Patreon은 창작자의 동의가 스크래퍼의 선의에 맡겨져서는 안 된다는 입장으로, 기술적 차단에 나서고 있다.

핵심 내용

• 요청에서 집행으로 전환: Patreon은 2023년부터 AI 크롤러를 억제하기 위한 조치를 취해 왔다. 하지만 AI 스크래핑이 더 정교해지면서 단순한 안내나 요청만으로는 충분하지 않다고 판단했다.
• Cloudflare 기술 활용: Patreon은 Cloudflare의 AI Crawl Control을 사용해 AI 관련 정책과 집행 도구를 업데이트한다. Cloudflare는 웹사이트 운영자가 AI 봇 접근을 제한할 수 있는 도구와 Pay Per Crawl 같은 기능도 제공하고 있다.
• 노출 면적의 변화: Patreon의 많은 콘텐츠는 유료 장벽 안에 있어 일반 크롤러가 접근하기 어려웠다. 그러나 새롭게 설계된 Home Feed와 짧은 글 형식의 Quips 같은 발견 기능은 일부 콘텐츠가 크롤러에 노출될 가능성을 높일 수 있다.
• 모든 봇을 막는 것은 아님: Patreon은 페이지를 인덱싱하고 정보를 정리해 사용자를 다시 Patreon으로 보내는 봇은 허용하겠다고 밝혔다. 차단 대상은 무단으로 AI 학습에 활용하려는 크롤러다.

의미와 영향

이번 조치는 AI 시대의 콘텐츠 이용을 둘러싼 긴장을 잘 보여준다. 창작자는 더 많은 독자와 팬을 만나야 하지만, 그렇다고 자신의 작품이 자동으로 AI 모델 학습 데이터가 되는 데 동의한 것은 아니다.

Patreon의 접근은 동의를 단순한 정책 문구가 아니라 실제 접근 통제 방식으로 구현한다는 점에서 의미가 있다. 창작자에게는 자신의 콘텐츠 사용 방식을 더 강하게 통제할 수 있는 기반이 되고, AI 기업에는 고품질 콘텐츠 접근이 더 제한적이고 협상 중심으로 바뀔 수 있다는 신호가 된다.

더 넓게 보면 웹은 검색 인덱싱, 사용자 유입, AI 학습을 서로 다른 용도로 구분하는 방향으로 움직이고 있다. Patreon의 결정이 AI 학습 데이터 논쟁을 모두 해결하는 것은 아니지만, 플랫폼들이 “긁어가지 말라”는 요청에서 “접근을 통제하겠다”는 단계로 이동하고 있음을 보여주는 사례다.

출처: TechCrunch AI