AIエージェントクローラーに許可が必要に：取得方法

Cloudflareは、2024年9月15日より、広告を表示するウェブページへのAIエージェントクローラーのアクセスをデフォルトでブロックすると発表した。これらのクローラーは、ユーザーに代わってリアルタイムでページを取得するボットであり、従来の検索インデックス用クローラーとは異なる。Cloudflareは7月1日にこの変更を発表し、それまで単一だった「AIボットブロック」スイッチを3つのカテゴリに細分化した。「検索」は後で質問に答えるためにページをインデックスするボット、「エージェント」はChatGPTのフェッチボットやブラウザ駆動エージェントを含むユーザー向けのリアルタイム自動システム、「トレーニング」はモデルの重みにコンテンツを取り込むクローラーである。これらのコントロールは、無料層を含むすべての顧客に対して7月1日から有効になった。

9月15日からはデフォルト設定が変更され、広告表示ページでは「トレーニング」と「エージェント」がブロックされ、「検索」は許可される。新しいデフォルトは、Cloudflareに新規オンボーディングするドメイン、既存顧客が設定する新サイト、および既存の無料層顧客に適用される。希望しないユーザーは、期日までにセキュリティ設定でオプトアウトできる。

Cloudflareの論理は、広告はページが人間の訪問用に構築された証拠であり、検索クローラーは読者をページに送り返す紹介であるのに対し、ページを読んで答えを他の人に渡すボットは紹介ではないというものだ。Cloudflareはネットワークレベルでブロックを実施するため、robots.txtのような無視可能な提案ではなく、エージェントクローラーの実質的なアクセスは大幅に制限される。広告で支えられたページはまさにエージェントが求めるページであり、そこにはニュース、レビュー、価格情報、製品記事がある。企業エージェントにとっての失敗モードは訴訟ではなく、沈黙か、まだ到達可能なものから構築された回答である。

複雑な要素として、Googlebotは検索とトレーニングの両方を単一のボットでクロールするため、トレーニングをブロックするとGooglebotもブロックされる。CloudflareのCEOマシュー・プリンスは、この変更が「混合用途クローラーに検索とエージェント使用・トレーニングを分離するよう促す」ことを期待していると述べた。

エージェントを実行する企業はまず、どのCloudflareアカウントが「エージェント」クラスとして扱われるかを把握する必要がある。分類はオプトインではなく行動ベースであり、リアルタイムで閲覧するリサーチエージェントは意図せず捕捉される。完全な失敗ではなく、カバレッジの低下が予想される。解決策は、ユーザーエージェント文字列の書き換えではなく、交渉によるアクセスである。出版社は自社の層を確認し、無料層のユーザーは9月15日に自動的に新デフォルトが適用されることを認識すべきだ。そして、トレーニングをブロックする価値があるかどうかを判断する必要がある。

注目すべきメカニズムは課金である。「クロールごとの支払い」から「使用ごとの支払い」への移行が進んでいる。Ceramic.aiはコンテンツがAI検索結果に表示された場合に出版社に支払い、You.comはエージェントがプレミアムコンテンツにアクセスした場合に支払う。Cloudflareによると、AIクローラートラフィックの半数以上は変更されていないページの再取得に費やされており、両者に無駄がある。

この分類の弱点は、AI企業が自社のボットの行動を自己申告することに依存している点である。トレーニングクローラーをトレーニングとして分類したくない企業には明らかなインセンティブがある。発表ではこれを防ぐ方法は説明されていない。オープンウェブへの無制限のアクセスは30年間無料だったが、今や請求書が明細化されつつある。9月までにアクセスを整理したエージェント構築者は対応可能な問題に直面しているが、403エラーで気づく者はその場で再構築を余儀なくされるだろう。