AIトレーニング向けリダイレクトで正規コンテンツを強制

Cloudflareは、AIトレーニングクローラーが廃止されたコンテンツを摂取する問題に対処する新機能「Redirects for AI Training」を発表しました。多くのウェブサイトは複数バージョンのドキュメントを維持しており、廃止バナーやnoindexタグ、canonicalタグを使用して古い情報であることを示していますが、AIトレーニングクローラーはこれらのソフトシグナルを確実に尊重しません。Cloudflareの開発者ドキュメントサイトでは、過去30日間にAIクローラーが480万回アクセスし、廃止ページと現行ページをほぼ同じ割合でクロールしていたことが確認されています。

この機能は、すでに多くのウェブページ（約65～69%）に存在するcanonicalタグを活用します。検証済みのAIトレーニングクローラーが、自分自身を指さないcanonicalタグを含むページをリクエストすると、Cloudflareは自動的に301 Moved Permanentlyを返し、正規URLへリダイレクトします。対象となるクローラーはGPTBot、ClaudeBot、Bytespiderなどで、AIアシスタントやAI検索カテゴリとは区別されます。有効化はCloudflareダッシュボードのAI Crawl Controlからトグル一つで行え、オリジンの変更は不要です。

この機能は、すでに摂取されたトレーニングデータを遡って修正するものではなく、未検証のクローラーをカバーしません。また、クロスオリジンのcanonicalタグ（異なるドメインを指すもの）や自己参照タグはリダイレクト対象外です。手動のリダイレクトルールと比較して、canonicalタグと自動的に同期するため、メンテナンスコストが低く、スケーラビリティに優れています。

Cloudflareは自社の開発者ドキュメントサイトでテストを実施。有効化前、Legacy Workersドキュメントは2026年3月にOpenAIから約4.6万回、Anthropicから3600回、Metaから1700回クロールされていました。有効化後1週間で、非自己参照canonicalタグを含むページへのAIトレーニングクローラーのリクエストはすべてリダイレクトされ、廃止コンテンツが提供されなくなりました。

さらに、Cloudflare RadarのAI Insightsページには「レスポンスステータスコード分析」が追加されました。全体では、リクエストの約74%が成功（2xx）、13.7%がクライアントエラー（4xx）、11.3%がリダイレクト（3xx）、1.2%がサーバーエラー（5xx）という分布が表示されます。業種や個別のクローラーでフィルタリング可能で、データはRadar APIを通じても取得できます。

「Redirects for AI Training」は、ウェブサイト管理者が自サイトのコンテンツポリシーをAIクローラーに強制する手段を提供し、Radarの分析は全体的な傾向を把握するのに役立ちます。Cloudflareはコミュニティでの議論やDiscordでのフィードバックを歓迎しています。