Cloudflareは9月15日（米国時間）、ウェブサイトの検索結果への表示を維持しながら、AI学習への利用を拒否できる新設定「Disallow AI Training」の提供を開始したと発表した。あわせて、コンテンツを収集するクローラーに透明性と説明責任を求める認定区分「Accountable」を導入した。

　背景にあるのは、検索用とAI学習用の情報を同じクローラーで集める「兼用クローラー」の存在だ。従来は適切な制御手段がない場合、AI学習を拒否するためにクローラーを遮断すると、検索結果にも表示されなくなる問題があった。

　新しい管理機能では、従来の「Block AI Bots」という一括設定を、検索、AI学習、利用者に代わってウェブを閲覧・操作するAIエージェントの3つに分け、個別に設定できるようにする。また「Bot Preference Sync」では、サイト運営者が一度設定した意向を、対応するクローラーに自動で反映する。設定はいつでも変更できる。

　「Accountable」の認定には、AI学習を明確に拒否できること、AIによる検索要約への掲載を拒否できること、検索とAI学習それぞれのコンテンツ利用をURL単位で開示すること、学習を拒否しても従来の検索順位に影響しないと公に明言すること、という4要件を設けた。運営者は要件を満たすか、期限内に満たすと約束する必要がある。

　Apple、Google、Microsoftの3社は、基準をすでに満たしているか、満たすための具体的な期限を示したため認定された。検索用と学習用のクローラーを分けている主要AI企業も「Accountable」に分類される。一方、基準を満たさない兼用クローラーは、サイト側がAI学習を拒否した時点でブロックされる。ただし、Bingのrobots.txtによる学習拒否への対応は2027年初めを予定しており、それまではこの設定だけでBingに拒否の意向が自動的に伝わるわけではない。

　AI要約への掲載を拒否する設定は、現状では事業者ごとに行う必要がある。Cloudflareは、コンテンツをAI要約にどの程度含めるかを1カ所で管理できる仕組みを、2027年初めまでに実現することを目指している。