1年前、Cloudflareは最初のコンテンツ独立記念日を宣言し、ウェブサイト所有者にコンテンツの管理権を取り戻す手段を提供しました。30年間維持されてきたクローラーとサイト所有者の間の暗黙の合意——「我々がクロールし、あなたは紹介トラフィックを得る」——はもはや成立していません。AIはすべてを取り、何も返さず、サイト所有者にとって生存に関わる脅威となっています。そこで我々はワンクリックの「AIボットをブロック」オプションと、ペイ・パー・クロール市場を立ち上げました。
この1年で多くが変わりました。昨年7月、AIボットに関する議論は補償なしのAIトレーニングのブロックに集中し、コンテンツがモデルトレーニングに使われてもサイト所有者に価値が還元されないというWin-Loseの取引が指摘されました。しかし今、コンテンツ所有者はコンテンツを保護したいと願い、自らが丹念に作成・キュレーション・共有したオリジナルコンテンツに対して補償を受けるべきだという、よりきめ細かな要望が現れています。また、コンテンツを一律にロックダウンすることは万能薬ではなく、サイト所有者は「毎回すべての自動化をブロックする」以外の選択肢を求めています。
小規模サイトを運営する場合、問題は誰かがあなたのコンテンツでモデルをトレーニングする可能性だけではありません。そもそも誰もあなたを見つけられないことです。そのため、検索結果に表示されてAIにトレーニングさせるか、発見可能性を失うリスクを取るかというファウスト的取引を迫られます。既存の検索プロバイダーが検索とトレーニングに同じボットを使うなら、これは不公平に有利に働き、新規参入者が競争格差を縮めようと回避的行動を取るインセンティブにもなります。
現在、AIはどこにでも存在し得ます。Google検索はAIによる並べ替えから、結果ページで直接質問に答える完全なアンサーエンジンへと変わりました。Googleだけが特別ではなく、「検索」はこの方向に進んでいます。
今日何が「AI」に該当するかの線引きを議論しても、基準は明日には変わるかもしれません。そこで、ボットを主に「AIか否か」で定義するのではなく、ボットやエージェントの行動についてより深い問いを立てます。私のサイトで何をしているのか？何を保存しているのか？私のコンテンツをどう再共有するのか？
これらの問いに答えるには、顧客が重視するAIユースケースに沿った、よりきめ細かな実用的分類法が必要です。そこでAIトレーニングだけにとどまらず、全顧客が管理できるようにしたい3つのAIユースケースに焦点を当てます。
検索：後で質問に答えるためにコンテンツを収集・索引する行動。鍵は、検索が後でクエリに応答するためにサイトのデータベースを積極的に構築することです。サイト所有者は紹介トラフィックや他の公平な補償を期待すべきです。
エージェント：通常リアルタイムで、人の代わりに何かを完了するために行動する自動化された行動。チャットフェッチボット（ChatGPT-Userなど）やブラウザ利用エージェント（GeminiやClaudeがChromeを操作するなど）が含まれます。鍵は、仕事を完了するためにウェブアプリを訪れ、しばしば人間が待っていることです。
トレーニング：コンテンツを取得してモデルをトレーニングまたは微調整するクローラー。鍵は、データがAIの基盤アーキテクチャに永久に吸収され、能力向上に使われることです。
多くの人気クローラーは上記のいずれかに分類され、複数にまたがるものもあります。我々は上記3つ以外の行動も分類しています（広告検証、フィード取得、エージェント取引など）。しかし、すべてのサイト所有者がこれら3つのAI中心ユースケースへのアクセスを簡単に管理できるべきだと考えます。ボット運営者はクローラーを分離すべきです。それがサイト所有者への透明性を高め、なぜそのクローラーが訪問しているかを理解し、付与するアクセスを管理しやすくするからです。検索インデックスを構築し、エージェントとして動作し、トレーニングデータを収集する自動化を1社が運営するなら、3つの別々のクローラーに分離することを強く推奨します。
我々は、進化する自動化トラフィックの世界を代表する拡張可能な分類システムを望んでいます。ボットの目的を追跡すること自体は新しいことではありませんが、新しい分類法には今日のボットトラフィックの状態をよりよく反映するいくつかの更新が含まれます。最も注目すべきは、多目的ボットは1つだけでなくすべての目的で追跡されるべきだという認識です。
我々は、Cloudflareネットワーク上のすべてのサイト所有者に、さまざまな種類のAIトラフィックを管理するより多くの選択肢を提供したいと考えています。以前発表した「AIボットをブロック」管理プリセットには、モデルトレーニング用データをクロールする単一目的ボットが含まれていました。しかしすべてのAI利用が同じではなく、顧客には必要な制御が必要です。そこで、検索、エージェント、トレーニングのクローラーという3つの主要ユースケースに基づいてAIトラフィックを管理する機能を立ち上げます。これらの新オプションにより、顧客はAIボットトラフィック管理をより細かく調整でき、無料プランの顧客も含まれます。
2026年9月15日、これら3分類に新しいデフォルトを設定します。Cloudflareに新規参加するすべてのドメインについて、トレーニングとエージェントのカテゴリは広告を表示するページでデフォルトでブロックされ、検索はデフォルトで許可されます。広告はサイト所有者が人間に訪問して見てほしいと意図したシグナルであり、収益化可能でビジネスを支えるものです。したがって、これらのページでは人間の注意力を最終目標とし、それを妨げる可能性のあるボット（トレーニングとエージェント）を遠ざけます。一方、検索は最も自然に訪問者を呼び戻す行動であり、許可することがほとんどのサイト所有者の利益になると考えます。
9月15日に適用されるもう1つの変更は、多目的クローラー（特に検索とトレーニングを組み合わせたもの）が、そのすべての行動に従って許可/ブロックされることです。これはサイト所有者への透明性の呼びかけに沿ったものです。デフォルトは最も制限の厳しい適用ルールによって執行されるため、Googlebot、Applebot、BingBotなどの多目的クローラーは、トレーニングをブロックすることを選択した顧客（新しいAIトラフィック管理オプションまたは従来のAIボットブロックサービスを通じて）によってブロックされます。
もちろん顧客の選択が最優先です。新しいデフォルト設定をオプトアウトしたいサイト所有者は、9月15日までいつでもセキュリティ設定でマークでき、検索目的でもクロールするトレーニングクローラーに変更を望まないことを確認できます。また、9月15日が近づくにつれてデフォルト変更の通知を続け、デフォルトと異なる設定を選びたい顧客が機会を得られるようにします。
また、エンタープライズBot管理の新機能として大幅な可視性アップデートを発表します。Cloudflareが追跡するボットディレクトリが成長するにつれ、ボットを適切なグループで管理し、特定のボットの詳細を理解したいという要望も高まっています。
BotBaseを導入します。BotBaseは、検証済みボットやエージェントを含むすべての既知ボットを追跡する新しいデータベースです。Cloudflareダッシュボード上でボットディレクトリ全体の包括的で検索可能なビューを提供します。まず可視性に取り組み、今年後半にはBotBaseを拡張して、サイト上の既知の自動化コンテンツの直接制御センターを提供します。
この新しいビューにより、エンタープライズBot管理顧客はすべての検証済みボット/エージェントの完全なカタログと、更新された分類法での位置を確認できます。これはCloudflareダッシュボードで動的に表示されたことのないビューです。特定のボットを正確にターゲットにしたい顧客は、そのボットからの全トラフィックを簡単にフィルタリングし、検出IDをコピーしてセキュリティルールに使用できます。これらはすべて専用ページで公開され、Bot Management設定カードからアクセスできます。
BotBaseの構築にあたり、ボット間でスケーラブルで強力な洞察を構築するためのすべての情報を考慮したいと考えました。その1つが更新された分類法の基礎であり、ボットがサイト上で何をするかという行動に基づいています。これらの分類を以下に分け、各ボットは1つ以上の行動に分類されます。
検索：検索エンジン結果に表示されるためにサイトをスキャンするクロール。エージェント：人間の代わりにページを訪れるユーザー指示のエージェント。トレーニング：モデルをトレーニングまたは微調整するためのクロール。トランザクション：ユーザーの代わりにチェックアウトを実行。データ収集：価格スクレイピング、競合インテリジェンス収集、サードパーティ分析を含む。セキュリティテスト：脆弱性スキャンやペネトレーションテストを含む。SEO：SEOクロール、サイト監査、アクセシビリティチェック。広告検証：広告配置検証、広告詐欺検出。ソーシャル/リンクプレビュー：ソーシャルプラットフォームやメッセージアプリのリンクプレビュー。フィード取得：RSSリーダー、ポッドキャストアグリゲーター、ニュースフィードボットを含む。監視と運用：稼働時間監視、Webhook、ヘルスチェックを含む。ハイライトされた行は、全顧客が利用できる新しい設定可能なオプションを示します。
顧客が重要と述べたもう1つの情報は、ボットのコンテンツ利用です。ボットがコンテンツをクロールした後に何を保持し、再共有するかということです。これに対処するため、Bot管理顧客が「コンテンツ利用」に基づいて選択・ブロックできる機能を構築しています。この設定は最も寛容なものから最も制限的なものまで3レベルに設定できます。immediate：対話するが保存・再利用しない。reference（デフォルト）：索引、抜粋、リンクバック。full：要約と複製。これらの値はボット分類と組み合わせて、「検索、SEO、広告検証に使われるすべてのボットを許可するが、reference利用レベルまで」といった微妙なルールを表現できます。これによりサイト所有者は個々のボットごとのルール管理ではなく、合理的なグループで意思決定できます。
これをさらに支援するため、本日から新しいシグナル「use」をテストします。これはContent Signalsを拡張し、robots.txtに存在します。これは最初のバージョンのContent Signalsの3フィールドを拡張し、同じ選好を表現する4番目のオプションフィールドを追加します。use=immediate、use=reference、use=full。robots.txtに記載される他のすべての項目と同様に、コンテンツ利用の値はサイト所有者の選好を示すもので、直接ブロックを発行するものではありません。我々はこの拡張のサポートを追加しています。既に管理robots.txtを有効にしているすべての顧客（robots.txtの先頭に「検索のためのクロールはOK、トレーニングのためのクロールはNG」という選好を付加する）は、use=referenceの選好がrobots.txtに追加されます。