Cloudflare、AIトラフィックを検索・エージェント・学習に分類

導入

Cloudflareは、AI時代のクローラー管理をより細かい段階へ進めようとしている。これまでの議論は、主に「AIモデルの学習に自分のコンテンツを使わせるべきか」という一点に集中していた。しかし現在では、検索エンジン自体が回答エンジン化し、AIエージェントがユーザーの代わりにWebサイトを訪問するようになっている。

そのため、単に「AIボットをブロックする」だけでは、サイト運営者の実情に合わなくなってきた。Cloudflareは今回、ボットをAIかどうかで線引きするのではなく、その行動目的で分類する考え方を示した。

3つの分類

Cloudflareが重視するAI関連トラフィックは、主に次の3種類だ。

• Search（検索）：サイトの内容を収集・索引化し、後で質問に答えるために利用する行動。理想的には、参照トラフィックや公平な見返りにつながるべきものと位置づけられている。
• Agent（エージェント）：人間の依頼を受け、リアルタイムに作業を完了するための自動アクセス。チャットサービスの取得ボットや、ブラウザを操作するAIエージェントなどが含まれる。
• Training（学習）：モデルの訓練や微調整のためにコンテンツを取得するクローラー。取得されたデータがモデル能力の一部として吸収される点が特徴だ。

この分類の狙いは、サイト上で何が行われているのか、何が保存されるのか、そしてコンテンツがどのように再利用されるのかを明確にすることにある。

新しい管理オプション

Cloudflareは、これら3カテゴリを個別に管理できる機能を顧客へ提供する。対象には無料プランの利用者も含まれる。従来の「AIボットをブロックする」という大まかな設定に比べ、検索は許可し、学習は拒否するといった細かい判断がしやすくなる。

またCloudflareは、複数の目的を持つクローラーについても、単一のラベルではなく全ての用途で扱うべきだと主張している。検索インデックス、エージェント機能、モデル学習を同じ自動化システムで行う企業に対しては、用途ごとにクローラーを分けることを促している。

2026年のデフォルト変更

素材によれば、Cloudflareは2026年9月15日から、新たにCloudflareへ追加されるドメインに新しいデフォルト設定を適用する予定だ。広告が表示されるページでは、TrainingとAgentをデフォルトでブロックし、Searchはデフォルトで許可する。

広告ページは、人間の訪問と注意を前提にした収益化の場である。AI学習やエージェントによる取得がその訪問を置き換える場合、サイト運営者の収益機会が損なわれる可能性がある。一方、検索は訪問者を送り返す可能性が高い行動として扱われる。

さらに、SearchとTrainingを兼ねる多目的クローラーは、その全ての用途に基づいて判定される。サイト運営者がTrainingをブロックした場合、Googlebot、Applebot、BingBotのような多目的クローラーも影響を受ける可能性がある。ただし、Cloudflareは顧客がこのデフォルト変更を選択しない設定も可能だとしている。

意義と影響

この動きは、Webの古い取引関係が揺らいでいることを示している。かつては「クロールを許す代わりに検索流入を得る」という関係が成り立っていた。しかしAI回答やエージェントは、元のサイト訪問を減らしながらコンテンツの価値を利用する可能性がある。

Cloudflareの新方針は、補償問題そのものを解決するものではない。それでも、検索、代理実行、モデル学習を区別することで、サイト運営者により現実的な選択肢を与える。

企業向けには、既知のボットやエージェントを検索できるBotBaseも提供される。まずは可視化が中心だが、将来的には自動化トラフィックの管理拠点へ広がる可能性がある。

AIクローラーをめぐる議論は、単純な許可・拒否から、用途に応じたアクセス管理へ移りつつある。

出典：Hacker News