AgentRail：Webサイト向けAIエージェントフレンドリー層

AgentRail は、増加する AI エージェントトラフィックに特化して設計された、新しい Cloudflare エッジレイヤーソリューションです。その核となるアイデアは、既知の AI エージェント（GPTBot や ClaudeBot など）に対しては構造化された Markdown コンテンツを直接返し、人間のユーザーや従来の検索エンジンクローラーには通常通り HTML ページを提供するというものです。この区別により、オリジンサーバーの負荷を大幅に削減できるだけでなく、AI エージェントに対して一貫性のあるクリーンなデータソースを提供できます。

プロジェクトは複数のサブパッケージで構成されています：@agentrail/bot-detector はリクエストの発信元を正確に分類します（AI エージェント、検索クローラー、ブラウザなど）。@agentrail/markdown-extractor は HTML から決定的な Markdown を抽出します。@agentrail/crawler はサイトマップの解析、リンクの発見、クロール処理を管理します。@agentrail/worker は Cloudflare Worker のランタイム環境です。さらに、create-agentrail スキャフォールドツールにより、開発者は迅速にプロジェクトを立ち上げることができます。

AgentRail のリクエスト処理フローは非常にインテリジェントです。既知の AI エージェントが初めてページをリクエストした際、KV ストアに対応する Markdown が存在しない場合、システムは元の HTML を返すと同時に、Cloudflare の ctx.waitUntil メカニズムを使ってバックグラウンドで Markdown を生成し KV に保存します。これにより、同じ AI エージェントからの後続のリクエストは遅延なく直接 Markdown を取得できます。また、バックグラウンドの Cron トリガーが定期的にサイトマップをクロールし、KV キャッシュを能動的にウォームアップします。

プロジェクトは柔軟なデプロイオプションを提供しています。スキャフォールドツールを使えば、正しい KV ネームスペース設定を含む Worker プロジェクトをワンコマンドで生成し、依存関係を自動インストールできます。Cloudflare アカウントをお持ちの場合は、npm run deploy を実行するだけでデプロイが完了します。また、手動での KV ネームスペース設定もサポートしており、さまざまな開発環境に対応できます。

注目すべき点として、AgentRail は主要な AI クローラーのデフォルトリストを提供する一方で、Googlebot や Bingbot などの従来の検索エンジンクローラーを明示的に除外しているため、従来の SEO に影響を与えません。これにより、AI アプリケーションの構造化データ需要を満たしつつ、ユーザーエクスペリエンスや検索ランキングを損なうことなく、ウェブサイト所有者は AI エージェントのアクセスをエレガントに管理・最適化できます。

オープンソースであり、Apache-2.0 ライセンスの下で公開されているため、コミュニティは自由に利用・貢献できます。