Cloudflare、広告付きWebページから検索・スクレイピングボットをデフォルトでブロックへ

Cloudflareは水曜日、広告を掲載する顧客ウェブサイトへの混合用途クローラーのアクセスをデフォルトでブロックすると発表しました。これは、サイトパブリッシャーがAIサービスとの関わり方をより細かく制御できるようにする継続的な取り組みの一環です。

アップル、グーグル、マイクロソフトのBingが運営するクローラーは、Cloudflareの決定の影響を受ける可能性がありますが、各巨大テクノロジー企業はAIオプトアウトを提供しており、制裁を回避できる可能性があります。

ウェブクローラーは様々な目的でウェブサイトに自動的にネットワークリクエストを行います。グーグルは数十年にわたり、検索インデックスに含めるためにウェブサイトを訪問するためにクローラーを使用してきました。過去数年間で、多くのクローラーがAIモデルのトレーニング用にコンテンツを収集するためにサイトを訪問し始めました。これにより、様々な対策が講じられています。パブリッシャーは、AI企業がモデルに取り込むためにスクレイピングするコンテンツに対して公正な報酬を受け取っていないと感じています。

しかし、グーグルのクローラーであるGooglebotは、検索インデックス作成とAIトレーニングのためのコンテンツ収集を兼ねているため、サイトパブリッシャーはブロックするとGoogle検索結果から消える恐れがあるため、このボットの存在を受け入れる傾向があります。マイクロソフトのBingbotも同様の状況です。アップルもまた、Applebotクローラーをインデックス作成業務に加えてAIデータ収集に利用しています。アップルは6月、「Applebotによってクロールされたデータは、Apple Intelligence、サービス、開発者ツールなど、Apple製品全体の生成AI機能を支えるApple基盤モデルのトレーニングにも使用される可能性がある」と述べています。

アップルとグーグルは、パブリッシャーがAIデータ収集をオプトアウトできるrobots.txtディレクティブ（Applebot-ExtendedやGoogle-Extendedなど）をサポートしています。Bingは、データ収集をブロックするrobotsメタタグのcontent="noarchive"属性をサポートしています。しかし、他のクローラー事業者は自主的なrobots.txtを無視することがよくあります。そのため、Cloudflareはサイト所有者に宣言的なコンテンツゲートを提供することを目指しています。

Cloudflareの共同創業者兼CEOであるMatthew Princeは声明で、「現在、インターネット上のトラフィックの大半は人間ではないため、持続可能なエコシステムが出現するよう、より一層迅速に行動する必要があります。Cloudflareの新しいツールとパートナーシップは、ウェブサイト所有者に可視性と商業機会を提供し、明確で透明性のある意図を持つボットを持つAI企業に報酬を与えます。提案するデフォルト変更が、混合用途クローラーに検索とエージェント使用・トレーニングを分離するよう促すことを期待しています」と述べています。

2026年9月15日から、新規Cloudflare顧客と既存顧客の新規サイトでは、デフォルトで検索クロールは許可されるが、広告が表示されるページからのトレーニングとエージェントはブロックされます。この変更は、設定を変更していない無料層の顧客にも適用されます。同社は「これにより、収益を生み出すコンテンツは、コンテンツ所有者の明示的な許可なしにクロールできないことが保証されます」と述べています。

人間が広告ブロッカーを使用し、Cloudflareが広告ページからボットをブロックすることで、多くのマーケティング材料が忘却の彼方に送られる可能性があります。しかし、Cloudflareの顧客は、デフォルトのサイト設定を変更することで、広告付きページへのクローラーの再許可が可能です。

Cloudflareはさらに2つの変更を行います。「Pay Per Crawl」は「Pay Per Use」に改名されます。そのアイデアは、コンテンツが取得されたときだけでなく、価値を生み出したときにパブリッシャーに報酬を与えることです。そのために、CloudflareはAPIベースの検索企業Ceramic.aiと提携し、パブリッシャーのコンテンツがCeramic.aiの検索結果に表示されるたびに報酬が支払われるようにします。また、AIエージェント向け検索エンジンYou.comとも協力し、エージェントからの需要があるたびにコンテンツ支払いを生成します。

最後に、Cloudflareは新しいビジネスインサイトダッシュボードを導入し、パブリッシャーにボットがコンテンツをどのように消費しているか、AIモデルがどれだけのトラフィックを送信しているかについての可視性を提供します。