AI大手4社、ウェブサイトのAI学習拒否を共通信号で実現へ

生成AI企業によるウェブコンテンツの収集が続くなか、サイト運営者はAI企業ごとにクローラーを確認し、学習や取得を許可するかどうかを個別に設定してきた。OpenAI、Google、Microsoft、Anthropicは、この分断を減らすため、複数のAI事業者に一度で意思を伝えられる共通の仕組みを支持すると表明した。

robots.txtに共通の「policy token」

提案されている仕組みは「policy token」と呼ばれる。Anthropicで標準化を担当するKevin Kelley氏が提案し、インターネット技術タスクフォース（IETF）における議論の一部として進められている。tokenは、ウェブサイトがクローラーへのアクセス方針を示すrobots.txtの中に置かれる予定だ。

現在、AI学習への利用を拒否したいサイトは、各社のクローラーに対して別々の設定を用意する必要がある。共通tokenは、同じ意思表示を複数のAI企業が読み取れるようにすることを目指す。OpenAI、Google、Microsoft、Anthropicは、サイト上でこの信号を確認した場合、AIクローラーによるアクセスを制限すると説明している。Anthropicはすでに対応済みで、OpenAIは今後数カ月以内、GoogleとMicrosoftは来年の対応を予定している。

Microsoftは、AIモデルの学習とAI groundingを分けて管理できる詳細な設定も提供するという。groundingは、幻覚の低減を目的に、モデルを検証済みの情報源へ接続する仕組みだ。また、AI用途への拒否設定をしても、ウェブサイトがBing検索結果から消えるわけではないとしている。Googleもこれまで、AI検索機能への表示やモデル学習への利用を制御しつつ、通常の検索での表示には影響させない設定を提供してきた。

出版社にとっての意味と限界

共通信号が広く実装されれば、出版社やサイト管理者は複数企業向けのルールを保守する負担を減らせる。「検索には載せるが、モデル学習には使わせない」といった、より細かな意向も一つの仕組みで示しやすくなる。AI企業にとっても、各社が異なる規則やクローラー名を採用することによる混乱を抑えられる。

ただし、この仕組みだけでコンテンツ利用をめぐる問題が解決するわけではない。robots.txtやpolicy tokenは、あくまで機械可読な意思表示であり、実効性は各クローラーが遵守するかどうかに左右される。Metaは共通信号への支持を示したものの、自社が設定を尊重するかは明らかにしていない。出版社側では、クローラーに利用料を求めるReally Simple Licensingや、AIクローラーを標準で遮断するCloudflareの仕組みも検討されている。

今回の動きは、単なる設定項目の追加にとどまらず、検索、情報取得、grounding、学習を区別して扱うための共通言語づくりといえる。主要企業が約束どおり対応すれば、サイト運営者はAIとの境界を管理しやすくなる。しかし、標準と運用が定着するまでは、従来の企業別ルールやアクセス制御も併用する必要がある。

出典：The Verge AI