AI 대기업들, 웹사이트의 AI 학습 거부를 위한 공통 신호 지원

생성형 AI 기업들이 웹 콘텐츠를 계속 수집하면서, 게시자와 사이트 운영자는 각 회사의 크롤러를 따로 확인하고 AI 학습 허용 여부를 개별적으로 설정해야 했다. OpenAI, 구글, 마이크로소프트, 앤트로픽은 이제 여러 AI 사업자에게 사이트의 의사를 한 번에 전달할 수 있는 공통 신호를 지원하겠다고 밝혔다.

robots.txt에 들어가는 ‘policy token’

제안된 방식은 ‘policy token’이라고 불린다. 앤트로픽에서 표준 업무를 담당하는 기술 책임자 Kevin Kelley가 제안했으며, 인터넷 엔지니어링 태스크포스(IETF) 관련 논의의 일부로 추진되고 있다. 이 신호는 검색엔진과 아카이브 등 웹 크롤러의 접근 규칙을 전달해 온 robots.txt 파일에 들어갈 예정이다.

현재 AI 학습에 콘텐츠를 사용하지 말라는 의사를 밝히려면, 사이트가 각 AI 기업의 크롤러를 따로 식별하고 차단 규칙을 작성해야 한다. 공통 token은 여러 기업이 같은 선언을 읽고 처리하도록 만드는 것이 목적이다. OpenAI, 구글, 마이크로소프트, 앤트로픽은 해당 신호를 발견하면 AI 크롤러의 접근을 제한하겠다고 설명했다. 앤트로픽은 이미 이를 도입했고, OpenAI는 향후 수개월 안에 구현할 예정이다. 구글과 마이크로소프트는 내년 지원을 계획하고 있다.

마이크로소프트는 AI 학습과 AI grounding을 구분하는 세부 제어 기능도 제공하겠다고 밝혔다. grounding은 환각을 줄이기 위해 AI 모델이 검증된 정보원과 연결되도록 하는 방식이다. 또한 사이트가 이런 AI 활용을 거부하더라도 Bing 검색 결과에서 사라지는 것은 아니라고 설명했다. 구글 역시 기존에 AI 검색 기능 노출 여부와 모델 학습 사용 여부를 제어하면서 일반 검색 노출에는 영향을 주지 않는 설정을 제공해 왔다.

기대 효과와 남은 한계

공통 신호가 널리 적용되면 게시자는 AI 기업별 규칙을 따로 유지해야 하는 기술적·관리적 부담을 줄일 수 있다. 일반 검색에는 허용하지만 모델 학습에는 거부하는 것처럼, 콘텐츠 사용 목적별로 다른 의사를 표현하기도 쉬워진다. AI 기업 입장에서도 회사마다 다른 규칙과 크롤러 설정을 해석해야 하는 파편화를 줄일 수 있다.

다만 이 방식이 콘텐츠 권리와 보상 문제를 해결하는 것은 아니다. robots.txt와 policy token은 기계가 읽을 수 있는 의사 표시일 뿐이며, 실제 효과는 각 크롤러가 이를 지키는지에 달려 있다. 메타는 공통 신호에 대한 지지를 밝혔지만, 자사가 해당 설정을 준수할지는 명확히 하지 않았다. 게시자들은 크롤러에 이용료를 청구할 수 있는 Really Simple Licensing 표준이나 AI 크롤러를 기본 차단하는 Cloudflare의 방식도 함께 검토하고 있다.

이번 움직임의 핵심은 새로운 설정 하나보다 검색, 정보 검색, grounding, 모델 학습을 구분해 관리할 수 있는 업계 공통 언어를 만드는 데 있다. 주요 기업이 약속대로 구현한다면 사이트 운영자는 AI 기업과의 경계를 더 간단하게 관리할 수 있다. 그러나 표준과 집행 방식이 정착되기 전까지는 기존의 기업별 규칙과 접근 제어를 함께 사용해야 할 가능성이 높다.

출처: The Verge AI