あなたのサイト、あなたのルール：全顧客向けの新しいAIトラフィックオプション

1年前、Cloudflareは最初の「コンテンツ独立記念日」を宣言し、ウェブサイト所有者がAIボットをワンクリックでブロックできる機能を提供しました。しかし、その後の1年で状況は変化し、より微妙な制御が求められるようになりました。コンテンツを保護しつつも検索トラフィックを完全に失いたくないという声が多く寄せられました。そこで、第2回記念日となる今回、CloudflareはAIトラフィックを3つの使用例——検索、エージェント、トレーニング——に分類し、それぞれを個別に管理できる新オプションを全顧客に提供します。

検索ボットは検索エンジンのインデックス作成を目的とし、通常は参照トラフィックをもたらします。エージェントボットはChatGPT-Userなど、ユーザーに代わってリアルタイムで行動します。トレーニングボットはコンテンツをモデル学習に使用します。Cloudflareは、複数の目的を持つボットは別々のクローラーとして運用すべきと主張し、透明性を高めます。

2026年9月15日から、広告表示ページではデフォルトでトレーニングとエージェントボットがブロックされ、検索ボットは許可されます。これは、広告ページが人間の注意を引き、収益を生むことを重視するためです。多目的ボット（Googlebotなど）は最も制限の厳しいルールに従います。顧客は設定画面でいつでもデフォルトを変更できます。

エンタープライズ顧客向けには、BotBaseという新データベースを提供します。これはすべての既知ボットの分類と動作を一覧表示し、フィルタリングやルール作成を容易にします。また、コンテンツ使用シグナル（use=immediate、reference、full）を導入し、robots.txtでボットのコンテンツ再利用レベルを指定できるようにしました。Cloudflareは今後も、ボットの動作とコンテンツ使用の追跡を強化し、ウェブサイト所有者にさらなる制御手段を提供する予定です。