Cloudflare、AIウェブの経済レイヤー構築を目指す

人工知能は瞬く間にウェブの姿を変えている。GoogleのAI Overviewsが回答を直接提供するようになり、かつて検索結果のトップを占めていた出版物は要約に取って代わられ、ユーザーはクリックすることなく情報を得られるようになった。トラフィックは大幅に減少している。この現実に対応するため、Cloudflareは水曜日、パブリッシャー向けの一連のアップデートを発表した。新しいクローラーの分類、分析ダッシュボード、Answer Engine Optimizationツール、そしてPay Per Crawlプログラムの拡張により、同社はAIウェブの経済的なパイプ役になろうとしている。

「排除」から「取引」へのシフト

1年前、Cloudflareの提案は防衛的なもので、ウェブサイト所有者がAIクローラーをブロックできるようにするというものだった。今や同社は「エージェント経済」のための「レール」構築を語る。AIエージェントがウェブを閲覧し、コンテンツを収集し、場合によっては購入まで行うなら、訪問されたサイトへの補償を処理する仕組みが必要だ。Cloudflareはその役割を自ら担おうとしている。

アクセスではなく価値に対する支払い

約1年前、CloudflareはPay Per Crawlを開始し、パブリッシャーがAI企業によるページ取得の価格を設定できるようにした。今度はPay Per Useへと移行し、コンテンツが実際にAI生成回答に使われた場合に報酬が支払われる。旧モデルではAIクローラーがサイトにアクセスするだけで支払いが発生したが、新モデルでは価値に対して支払いが行われる。これはアフィリエイトマーケティングやライセンス契約に近く、はるかに難しい問題だ。どのコンテンツがどの回答に寄与したかを把握するための帰属インフラがまだ大規模には存在しないからだ。

クローラーにはより明確なラベルが必要

さらに技術的かつ政治的な点として、CloudflareはAI企業に対し、すべてのクローラーをひとまとめにするのをやめるよう求めている。現在、大手AI企業の単一ボットが検索インデックス、モデル訓練、エージェントタスクを同時に行うことがあり、サイト所有者は用途ごとに許可・拒否を判断できない。9月15日以降、Cloudflareは新規および無料サイトのデフォルト設定を変更する。AI検索クロールはオンに、訓練とエージェントアクセスは広告支援ページでオフ（オプトイン制）とする。混合用途のクローラーは完全にブロックされる。これは明らかにGoogleを狙ったもので、Googleのバンドル方式により、AIネイティブ競合の約2倍のコンテンツにアクセスできると指摘する。クローラーの意図を分離することは、パブリッシャーとAI企業の間で機能する市場の前提条件だ。サイト所有者が「検索のためのインデックス」と「モデル訓練のための利用」を区別できなければ、すべてをブロックする方向に傾くからだ。

AI回答への最適化

Cloudflareはビジネスチーム向けのAttribution Business Insightsダッシュボードも発表する。これはGoogle Search ConsoleのAI版であり、検索エンジンがChatGPTやPerplexityなどに置き換わった場合の指標を提供する。さらにAnswer Engine Optimization（AEO）を導入し、パブリッシャーが自社のコンテンツがAI生成回答でどのように引用されるかを理解できるようにする。これはSEOとは異なる最適化問題であり、現時点で適切なツールを持つ者はほとんどいない。

インフラとしての競争優位

Cloudflareはすでにウェブサイトとインターネットの間に位置し、トラフィックを監視し、ページの変更を把握できる。変更がない場合はクローラーに後で来るよう指示でき、これにより現在のAIクロールトラフィックの50%以上を削減できるという。このユニークな立場を活かし、Cloudflareはアクセス管理、帰属、そして最終的には支払いを処理するレイヤーになろうとしている。AIエージェントが情報収集の主要手段となるなら、次の戦いは最も賢いモデルを構築する者ではなく、誰もが依存するインフラを構築する者を巡るものになるとCloudflareは賭けている。