AIクローラーのトラフィックがGooglebotに匹敵

あなたのサイトがHacker Newsのトップページに掲載された後、トラフィックとクローラーの状況はどう変わるでしょうか？AIクローラーのアクセスはGoogleと同等か？どのクローラーが最も攻撃的か？最も節約的か？

「Google just made you a search quality rater. You won't get paid.」という記事がHacker Newsのトップページに掲載されました。著者のAjay CはClaudeを使って簡単なクローラー検出器を構築し、30日間の既知クローラーのアクセスデータを記録しました。

結果は、24種類のクローラーによる240,060回のアクセスのうち、AIクローラー（35.0%）と検索エンジンクローラー（35.0%）で同率トップでした。SEOツールが21.2%、ソーシャルプレビューが8.6%、インターネットアーカイブが0.2%を占めました。

最も活発なクローラー（1日あたりのヒット数）

• Googlebot: 1,228回/日、計36,840回、1,474ユニークパス
• Bingbot: 1,187回/日、計35,610回、1,785ユニークパス
• AmazonBot: 1,101回/日、計33,040回、1,442ユニークパス
• MajesticBot: 1,062回/日、計31,860回、2,026ユニークパス
• ChatGPT-User: 812回/日、計24,350回、239ユニークパス
• ClaudeBot: 581回/日、計17,430回、647ユニークパス
• AhrefsBot: 485回/日、計14,550回、1,279ユニークパス
• LinkedInBot: 478回/日、計14,340回、わずか15ユニークパス

最も丁寧なクローラー（パスあたりのヒット数が低いほど丁寧）

• AhrefsBot: 11.4回/パス
• Applebot: 11.9回/パス
• MajesticBot: 15.7回/パス
• SemrushBot: 16.2回/パス
• Bingbot: 20.0回/パス
• AmazonBot: 22.9回/パス
• Googlebot: 25.0回/パス
• ClaudeBot: 26.9回/パス

最も執着的なクローラー（少数のパスを繰り返しアクセス）

• LinkedInBot: 956回/パス、計14,340回、15パス
• FacebookBot: 170.3回/パス、計6,130回、36パス
• ChatGPT-User: 101.9回/パス、計24,350回、239パス
• Internet Archive: 16.0回/パス、計480回、30パス

最も網羅的な探索者

• MajesticBot: 2,026ユニークパス
• Bingbot: 1,785
• Googlebot: 1,474
• AmazonBot: 1,442
• AhrefsBot: 1,279
• ClaudeBot: 647
• Applebot: 575

珍しい訪問者

• Internet Archive: 480回、2日間アクティブ
• Baiduspider: 480回、9日間
• DuckDuckBot: 470回、11日間
• Twitterbot: 160回、4日間
• DotBot: 80回、5日間
• Pinterestbot: 70回、4日間
• Google-Extended (Gemini): 60回、1日間
• Screaming Frog: 50回、5日間

データはmojodojo.ioの本番データベースにあるnexus_bot_visitsテーブルに基づき、ユーザーエージェントのサブストリングマッチングにより32種類の既知クローラーパターンを検出しています。未知または偽装されたUAは除外されています。