Cloudflare, AI 크롤러를 검색·에이전트·학습 트래픽으로 세분화

도입

Cloudflare가 AI 시대의 웹 크롤링 문제를 더 세밀하게 다루기 시작했다. 과거 논의의 중심은 AI 모델 학습을 위해 웹 콘텐츠를 무단으로 가져가는 문제였다. 그러나 이제 검색 서비스는 직접 답변을 제공하는 엔진으로 바뀌고 있고, AI 에이전트는 사용자를 대신해 웹사이트에 접속해 작업을 수행한다.

이런 상황에서는 단순히 “AI 봇을 차단한다”는 선택지만으로 충분하지 않다. Cloudflare는 봇이 AI인지 아닌지를 따지기보다, 그 봇이 사이트에서 무엇을 하는지에 따라 분류하겠다는 방향을 제시했다.

세 가지 핵심 분류

Cloudflare가 제안한 AI 관련 트래픽의 주요 범주는 다음과 같다.

• Search(검색): 콘텐츠를 수집하거나 색인화해 나중에 질문에 답하는 데 사용하는 행위다. Cloudflare는 이 유형이 추천 트래픽이나 공정한 보상으로 이어져야 한다고 본다.
• Agent(에이전트): 사람을 대신해 실시간으로 작업을 수행하는 자동화 접근이다. 채팅 서비스의 fetch 봇이나 브라우저를 조작하는 AI 에이전트가 여기에 포함된다.
• Training(학습): 모델을 학습하거나 미세 조정하기 위해 콘텐츠를 가져가는 크롤러다. 핵심은 데이터가 모델 능력의 일부로 흡수된다는 점이다.

이 분류의 의미는 명확하다. 사이트 운영자는 더 이상 “AI 봇인가 아닌가”만 볼 것이 아니라, 해당 자동화가 무엇을 저장하고, 어떤 목적으로 사용하며, 콘텐츠를 어떻게 재배포할 수 있는지를 따져야 한다.

더 세밀한 제어 옵션

Cloudflare는 고객이 이 세 가지 유형을 각각 관리할 수 있도록 할 계획이다. 무료 요금제 고객도 대상에 포함된다. 기존의 광범위한 AI 봇 차단 방식보다, 예를 들어 검색 색인은 허용하되 모델 학습은 차단하는 식의 선택이 가능해진다.

또한 Cloudflare는 여러 목적을 가진 크롤러를 하나의 라벨로만 취급해서는 안 된다고 강조한다. 한 회사의 자동화 시스템이 검색 색인, 에이전트 동작, 모델 학습을 모두 수행한다면, 이를 별도 크롤러로 분리해 사이트 운영자가 목적을 이해하고 권한을 나눠 부여할 수 있어야 한다는 주장이다.

2026년 기본값 변경

자료에 따르면 Cloudflare는 2026년 9월 15일부터 새로 온보딩되는 도메인에 새로운 기본 설정을 적용할 예정이다. 광고가 표시되는 페이지에서는 Training과 Agent가 기본 차단되고, Search는 기본 허용된다.

광고가 있는 페이지는 사람이 방문해 주목하고, 그 주목이 수익화된다는 전제를 가진다. 학습 크롤러나 에이전트가 이 과정을 우회하면 사이트 운영자는 방문자와 수익 기회를 잃을 수 있다. 반면 Search는 상대적으로 방문자를 다시 보내는 성격이 강한 자동화로 분류된다.

중요한 변화는 다목적 크롤러에도 적용된다. Search와 Training을 동시에 수행하는 크롤러는 모든 목적에 따라 판단된다. 운영자가 Training을 차단하면, Googlebot, Applebot, BingBot처럼 다목적 성격을 가진 크롤러도 가장 제한적인 규칙에 따라 영향을 받을 수 있다. 다만 Cloudflare는 고객이 이러한 기본 변경을 원하지 않을 경우 설정에서 제외할 수 있다고 설명한다.

의미와 영향

이번 변화는 웹 콘텐츠와 AI 시스템 사이의 오래된 거래가 흔들리고 있음을 보여준다. 과거에는 크롤링을 허용하면 검색 유입을 얻는다는 균형이 있었다. 하지만 AI 답변 엔진과 에이전트는 원본 사이트 방문을 줄이면서도 콘텐츠 가치를 활용할 수 있다.

Cloudflare의 새 분류가 보상 문제를 곧바로 해결하는 것은 아니다. 그러나 검색, 사용자 대리 실행, 모델 학습을 구분함으로써 사이트 운영자에게 더 현실적인 통제권을 제공한다.

기업 고객을 위해서는 BotBase도 제공된다. 이는 알려진 봇과 에이전트를 대시보드에서 검색하고 확인할 수 있는 데이터베이스이며, 우선 가시성에 초점을 맞춘다. 향후에는 자동화 트래픽을 직접 제어하는 관리 영역으로 확대될 수 있다.

AI 트래픽 관리는 이제 단순 차단에서 목적 기반 접근 규칙으로 이동하고 있다. 앞으로의 쟁점은 “크롤링을 허용할 것인가”를 넘어 “어떤 목적으로, 누구를 위해, 어떤 대가로 접근하는가”가 될 가능성이 크다.

출처: Hacker News